И что я могу сделать, против него?

Здравствуйте, Василий. 

Вы, являясь частным лицом продали товар также частному лицу, соответственно ваши отношения не входят в поле закона о защиты прав потребителей, а регулируются на основе правил заключения договора купли-продажи. 

Договор вам был заключен устно, что не противоречит действующим нормам ГК. 

Как вы описали ситуацию, человек купил колонку, проверил его и оплатил стоимость покупки. Далее соответственно стал возражать. Что тут может быть дальше?

В данной ситуации покупатель может обратиться в суд, при этом ему придется доказать не только обстоятельство продажи ненадлежащего товара, но факт того, что у вас вообще были отношения по договору куп-продажи. Так как договор вы не составляли, ему остается ссылаться на переписку ( если такая имеется, показание свидетелей и т.д).

Если у покупателя нет даже этих доказательств его исковое заявление не оставят без движения. 

ГПК РФ Статья 131. Форма и содержание искового заявления:
 

2. В исковом заявлении должны быть указаны:

5) обстоятельства, на которых истец основывает свои требования, и доказательства, подтверждающие эти обстоятельства;

Если покупатель все же соберет необходимы доказательства, то возбудят гражданское дело. 

Но вы можете и не явится на суд, если уверены, что колонка была в исправном состоянии. Уже по заявлению ответчика либо по инициативе суда будет назначена экспертиза и только в том случае, если экспертиза подтвердит, что дефект был еще до передачи товара покупателю, вам придётся вернуть уплаченную сумму.