Как сделать родственников без право на жилплощадь

Я являюсь собственником квартиры,которая находится в ипотеке.Прописала маму с братом,брату долю отдала,он пустил деньги на ветер и продолжает жить с нами,за квартиру не платит.В суд обращаться не хочется.Я боюсь за квартиру,у меня двое детей.Выписываться он не хочет,как мне сделать,что-бы он был прописан без право на жилплощадь?И потом не требовал ни он, ни его будущие дети с моих детей долю.