В праве я отказать возрасте задатка покупателю?

Добрый день!!! Подскажите, пожалуйста ответ на мой вопрос! Я продаю дом, нашелся покупатель, который хочет купить дом, но полной суммы у него не было для покупки. Поэтому он внес задаток.Написали расписку о том что он (покупатель) покупает у меня (продавец) дом,оставляет задаток. Расписка остается у него на руках (покупатель). Прошло 2 недели и человек решил отказался от покупки дома. И требует вернуть задаток. Имею ли я право отказать ему в возврате денег??? Т.к мы сняли объявление со всех сайтов, при этом нам звонили другие покупатели, но мы были вынуждены им отказать!