Помогите пожалуйста

Доброго времени суток. Ситуация такая. Мы с женой продаем квартиру, риэлтор нашел покупателя. Они нам дали задаток, подтвердили его договором, в котором прописана в случае отказа с нашей стороны неустойка в размере суммы задатка и ограничение по сроку сделки. С риэлтором был разговор про единовременную сделку трех сторон, так как мы расширяемся. На данный момент, мы из-за ипотечного агентства не укладываемся в срок. Продать не можем пока не определимся с покупкой (куда мы с двумя детьми). Подскажите пожалуйста как нам быть, мы готовы вернуть задаток, но неустойку просто нет возможности.