Может ли супруг осудить детей если я подам на алименты?

Добрый вечер. Хотела бы спросить у Вас по поводу своей ситуации.

Дело в том, что три года тому назад мой супруг выпроводил меня с двумя нашими маленькими дочками ( старшей было 3, младшей -год) из своей трехкомнатной квартиры, потому что завел любовницу. Долгое время, вплоть до конца 2015 г. я скиталась с детьми по съемным квартирам. В период с 2013 по февраль 2015 г. мой супруг выплачивал мне алименты по договоренности под мою расписку, в размере 6 тыс .руб. на всех детей.Развестись с ним официально сразу я не могла-он угрожал, что в случае развода отсудит детей, и отдаст их в детский дом, так как , по его словам, эти дети -от меня, а значит , они его враги. Отсудит на основании того, что он владеет трехкомнатной квартирой и имеет статус преподавателя институте. А я на момент брака с ним была студенткой Духовного училища. Профессионального статуса (из-за декретов) не получила и своего жилья (вплоть до 2015 года) не имела.

Для того, чтобы развестись с супругом, мне пришлось в феврале 2015 года с детьми уехать из нашего города. Но, через полтора месяца (то есть , в апреле 2015 года)мы вернулись.С тех пор супруг и вовсе не платит детям ни копейки. Детьми совершенно не интересовался, целый год. Пока в конце февраля уже 2016 года я сама не позвонила ему. Мы как -раз лежали с детками с гриппом в больнице.Нужна была его материальная помощь. Но, в обмен на нее( на эти 6 тыс. рублей), он потребовал, чтобы я по холоду привела к нему больных детей,даже не спросив, как они себя чувствуют. (У меня сохранились его смс.)Эти условия его на тот момент были для нас невыполнимы. В ответ на мое намерение подать на алименты официально, мой супруг снова стал угрожать мне судом, что отнимет детей, на основании того, что своего дохода я не имею. ( Я подрабатываю, а в основном, -дома с детьми( дети не садовские. От сада пришлось отказаться, так они часто в нем болели.Мне помогает моя мама-пенсионерка. Она живет с нами, и мой папа-высылает нам деньги, регулярно. ) Подскажите, пожалуйста, как воздействовать на моего бывшего мужа, чтобы он все-таки стал выплачивать алименты, без риска для меня потерять детей? Заранее, благодарю Вас за ответ. С уважением, Катерина.