В судебном порядке на основании ч. 4 ст. 31 ЖК РФ собственник жилого помещения вправе лишить права пользования квартирой бывшего члена семьи.
В Вашем случае квартира принадлежит по праву собственности детям, в связи с чем их отец останется для них членом семьи и в случае расторжения брака между ним и матерью детей, в связи с чем лишить права пользования квартирой по данному основанию отца собственников квартиры в случае, если отец проживает в квартире совместно с детьми, не получится.
Согласно ч. 1 ст. 31 ЖК РФ
К членам семьи собственника жилого помещения относятся проживающие совместно с данным собственником в принадлежащем ему жилом помещении его супруг, а также дети и родители данного собственника. Другие родственники, нетрудоспособные иждивенцы и в исключительных случаях иные граждане могут быть признаны членами семьи собственника, если они вселены собственником в качестве членов своей семьи.
Т.е. дети и родители признаются по смыслу ЖК РФ членами семьи при условии совместного проживания.
На основании ч. 4 ст. 31 ЖК РФ
В случае прекращения семейных отношений с собственником жилого помещения право пользования данным жилым помещением за бывшим членом семьи собственника этого жилого помещения не сохраняется.
Т.е. чтобы отец детей мог быть признан бывшим членом их семьи по смыслу ч. 1 ст. 31 ЖК РФ, в целях лишения его права пользования квартирой, он должен выехать из квартиры и проживать по другому адресу. Тогда критерия совместного проживания с детьми не будет, и по этому основанию по иску собственников квартиры он может быть лишен права пользования данной квартирой при условии доказанности факта проживания по иному адресу.