Понятно что делить будем, но он не дает спокойно жить, что делать?

Здравствуйте, брали с мужем ипотеку , он созаемщик, я собственник.

Я и дети прописаны в квартире, он на своей собственности. Первоначальной взнос 50% были мои деньги от продажи квартиры доставшейся мне в наследство, могу ли я выгнать мужа из квартиры, если он не собственник и не прописан в ней. Имеется ввиду до развода и раздела имущества. Понятно что делить будем, но он не дает спокойно жить, что делать?