Лишение род прав

Для начала Вам нужно понимать, что для лишения родительских прав необходимы основания, которые указаны в статье 69 Семейного кодекса РФ

уклоняются от выполнения обязанностей родителей, в том числе при злостном уклонении от уплаты алиментов;отказываются без уважительных причин взять своего ребенка из родильного дома (отделения) либо из иной медицинской организации, воспитательного учреждения, учреждения социальной защиты населения или из аналогичных организаций;злоупотребляют своими родительскими правами;жестоко обращаются с детьми, в том числе осуществляют физическое или психическое насилие над ними, покушаются на их половую неприкосновенность;являются больными хроническим алкоголизмом или наркоманией;совершили умышленное преступление против жизни или здоровья своих детей либо против жизни или здоровья супруга.

Лишение родительских прав производится в судебном порядке.

Дела о лишении родительских прав рассматриваются по заявлению одного из родителей или лиц, их заменяющих, заявлению прокурора, а также по заявлениям органов или организаций, на которые возложены обязанности по охране прав несовершеннолетних детей (органов опеки и попечительства, комиссий по делам несовершеннолетних, организаций для детей-сирот и детей, оставшихся без попечения родителей, и других).
Дела о лишении родительских прав рассматриваются с участием прокурора и органа опеки и попечительства.
При рассмотрении дела о лишении родительских прав суд решает вопрос о взыскании алиментов на ребенка с родителей (одного из них), лишенных родительских прав.

Получается, что конкретно в Вашем случае Вашего бывшего супруга будет очень сложно лишить родительских прав лишь при условии, что он не занимается воспитанием ребенка.