Может ли он выгнать детей и внуков?

Добрый день.

Бывший муж может заявиться в суд и получить доступ к объекту принудительно. В зависимости от того. какая площадь квартиры, расположение помещений и др. — возможно выделение 1/2 в натуре (комнате будет присвоен отдельный кадастровый/условный номер), чтобы не было доступа бывшего мужа к иным помещениям.

Выселить он никого не может, потому что у Вас вторая доля есть и формально они будут проживать на Вашей жилплощади.

Я бы предложил с него в суде взыскать половину расходов на коммуналку (если Вы ее оплачивали), но только по срокам сможете за последние 3 года. Но это только как рычаг влияния на него при обсуждении спорных вопросов при проживании.