Как быть, если агентство требует неустойку?

Здравствуйте. Следующий случай: Я заключил предварительный договор продажи моей квартиры через агентство и в протоколе согласования у них был пункт: "заказчик(я) обязан оплатить услуги исполнителю(агентство) в сумме 50000 рублей, после подписания настоящего протокола согласования". От предварительного договора я отказался и выплатил несостоявшемуся покупателю аванс данный им мне и неустойку в размере аванса. Тут агентство показало на этот пункт(указанный выше) и сказало платить им 50000. Правы ли они или я могу не платить им?