Как выписать из дома родственника, не являющегося собственником?

Добрый день! Купили дом, оформили с мужем в совместную собственность. Отец является собственником 1/5 квартиры с женой от второго брака и 3 детьми от неё. Отец попросился прописаться к нам в дом, т.к. с ней не живет и отношений никаких с ней нет, но они не в разводе. Живет он в коттедже у знакомых и работает сторожем. Я сдуру прописала его в декабре 2016 г. на постоянной основе. Отец с моей мамой развелся, когда мне было 12 лет, с тех пор никакой помощи от него нет уже 35 лет как. Дом мы с мужем купили на свои деньги. Теперь вот он желает вселиться и жить с нами. а мы с ним так не договаривались. Договаривались о простой регистрации. Что можно предпринять?