Здравствуйте, если регистрация (прописка, постоянная, то только в судебно порядке, признавать утратившим право пользования, если временная регистрации, то можно и без суда, через регистрационный орган — заявление приносите, а возможно у Вас уже и срок прошёл его регистрации в квартире. Если на постоянной основе он у Вас как член семьи собственника вселён был, обычно так указывают в документах, то
При определении продолжительности срока, на который за бывшим членом семьи собственника жилого помещения сохраняется право пользования жилым помещением, суду следует исходить из принципа разумности и справедливости и конкретных обстоятельств каждого дела, учитывая материальное положение бывшего члена семьи, возможность совместного проживания сторон в одном жилом помещении и другие заслуживающие внимания обстоятельства.
(Постановление Пленума Верховного Суда РФ от 02.07.2009 N 14 «О некоторых вопросах, возникших в судебной практике при применении Жилищного кодекса Российской Федерации»)
4 года вполне разумный срок, обращайтесь в суд.