Здравствуйте, купили квартиру, половиной мат капитала а половиной наличными

Здравствуйте, купили квартиру, половиной мат капитала а половиной наличными. Сделку оформляли через нотариуса, она уверела нас что все будет хорошо, через месяц позвонила нотариус и сказала что т.к наша квартира признана аварийным жильем нельзя расплачиваться мат капиталом, но раньше об этом не хозяйка не нотариус не позаботились узнать. Мы попросили по хорошему, бывших хозяев вернуть нам ту часть где мы отдали за наличные на что получили угрозы что они тоже пойдут в суд и подадут на нас за что мы еще будет платить не устойку. И что бы съехали оттуда.

Что нам сейчас делать? Мы хотим уже наши деньги обратно и покупать другую квартиру

Как правильно поступить в этой ситуации??