Здравствуйте, мы с мужем разведены, я не подавала на алименты думала сама справлюсь, он мне подкидывал

Добрый день. 

Основания для лишения родительских прав регламентированы Статьей 69 СК РФ.

Родители (один из них) могут быть лишены родительских прав, если они:
уклоняются от выполнения обязанностей родителей, в том числе при злостном уклонении от уплаты алиментов;
отказываются без уважительных причин взять своего ребенка из родильного дома (отделения) либо из иной медицинской организации, образовательной организации, организации социального обслуживания или из аналогичных организаций;

злоупотребляют своими родительскими правами;

жестоко обращаются с детьми, в том числе осуществляют физическое или психическое насилие над ними, покушаются на их половую неприкосновенность;

являются больными хроническим алкоголизмом или наркоманией;
совершили умышленное преступление против жизни или здоровья своих детей, другого родителя детей, супруга, в том числе не являющегося родителем детей, либо против жизни или здоровья иного члена семьи.

Лишить человека родительских прав не так просто, нужно доказать основания. Это крайняя мера для суда. Если все так, как вы описываете,  навряд ли суд пойдет на лишение прав.