Могут ли меня с детьми выписать из квартиры?

Здравствуйте! В 3-х комнатной квартире прописаны 4 несовершеннолетних детей и 3 взрослых. Мои родители(мать и отец) и 2 внучки(от сестры,которая умерла),они являются опекунами у детей. И я(сын) и мои 2 детей. Я уже давно в этой квартире не живу,лет 17. Неоднократно предлагал квартиру приватизировать,и выкупить свою долю,но они не давали согласия. Теперь они говорят,что выпишут меня с детьми через суд. Т.к. мы купили с женой квартиру через мат. Капитал и у нас есть собственность. Как мне быть? Я не хочу лишиться права собственности в той квартире.