Бывший сожитель требует всю сумму, полученную им с продажи авто и вложенную в квартиру по ипотеке

Я проживала с мужчиной,собирались расписаться. У его матери был дом,который мы решили продать и купить совместное жильё. Его мать оформила на моё имя нотариальную доверенность что я имею право от её имени заключать сделку и оформлять документы. Дом мы продали за 600 тыс.руб. 299100 руб. я от продажи дома погасила кредит за машину,иначе мне отказывали во взятии ипотеки. Мы выбрали дом и я стала собирать документы на покупку дома. Ему в ипотеке отказывали и созаемщиком он не подходил,так как мы не зарегистрированы и он нигде не работал,дохода не имел. Я ему об этом сказала и дом оформила в ипотеку,первоначальный взнос у меня - мат.капитал. дети от первого брака,общих нет. У нас произошёл разлад и мы разошлись. Я сказала,что 299100 я потратила их и буду возвращать,но не ему а его матери. Его матери сказала чтобы она выслала мне реквезиты и данные счёта. Однако он и его мать требуют чтобы я отдала 600000 руб,грозят подать на меня в суд. Никаких письменных обязательств и расписок мы не писали,толь вышеуказанная нотариальная доверенность. Ответьте,имеют ли они право взыскать с меня 600 т.руб и как мне в таком случае быть?