Раздел квартиры в бараке после развода и возможность получения новой жилплощади

Добрый день! После развода поделили квартиру .по 49% каждому из бывших супругов и по 1% каждому ребенку . В итоге в квартире проживаю я с двумя детьми . Бывший супруг на правах собственника приходит в любое удобное для него время , не предупреждая нас заранее. Может прийти рано утром или поздно вечером , или вообще когда нас нет дома и устраивать проверки. На мои просьбы оповещать заранее о приходе сказал , что имеет право . Это понятно . Но наши личные граница в этот момент нарушаются , так как он может приходить в неудобное для нас время. Как быть в такой ситуации ? Благодарю

После развода зять уклонялся от оплаты ипотеки и алиментов по устной просьбе переводила деньги дочери. Ипотеку закрыла страховка в связи со скоропостижной смертью дочери . Бывший зять намерен теперь заселится в квартиру уже поменял замки мне нет доступа в наследство вступаю. Возможно получит компенсацию с бывшего зятя