Что делать, если собственник дома не хочет возвращать деньги за аренду?

Добрый день.

Заключили договор найма, оставили аванс( именно аванс, а не задаток) 50% от стоимости. Через день обстоятельства поменялись и на запланированую дату мы решили уехать в другой город. ( до даты заезда еще 4 недели). Позвонили собственнику, объяснили ситуацию. Денег он возвращать не хочет, ссылаясь на пункт договора, где указано,что при необоснованном отказе от исполнения договора, отказавшаяся сторона оплачивает штраф в размере суммы, внесенной на тот момент, за наем. Законно ли это? Также выяснилось, что есть 2-ой собственник о котором наймодатель не предупредил-его супруга.