Могу ли я лишить отца родительских прав на детей?

Вы можете обратиться в суд с заявлением о лишении его родительских прав. Из указанной информации, на мой взгляд, оснований у Вас недостаточно. Но попробовать Вы можете.

Законом установлены следующие основания для лишения родительских прав:

уклоняются от выполнения обязанностей родителей, в том числе при злостном уклонении от уплаты алиментов;
отказываются без уважительных причин взять своего ребенка из родильного дома (отделения) либо из иной медицинской организации, воспитательного учреждения, организации социального обслуживания или из аналогичных организаций;
злоупотребляют своими родительскими правами;
жестоко обращаются с детьми, в том числе осуществляют физическое или психическое насилие над ними, покушаются на их половую неприкосновенность;
являются больными хроническим алкоголизмом или наркоманией;
совершили умышленное преступление против жизни или здоровья своих детей, другого родителя детей, супруга, в том числе не являющегося родителем детей, либо против жизни или здоровья иного члена семьи.

Указанные основания должны быть доказаны.