Могу ли я лишить его родительских прав?

Можете поставить такой вопрос в суде. нужны будет свидетели, которые все это подтвердят. Отдел опеки вашего района должен будет дать заключение в суд, считают ли  они целесообразным лишать его прав. 

Статья 69. Лишение родительских прав

Родители (один из них) могут быть лишены родительских прав, если они:
уклоняются от выполнения обязанностей родителей, в том числе при злостном уклонении от уплаты алиментов;
отказываются без уважительных причин взять своего ребенка из родильного дома (отделения) либо из иной медицинской организации, образовательной организации, организации социального обслуживания или из аналогичных организаций;
злоупотребляют своими родительскими правами;
жестоко обращаются с детьми, в том числе осуществляют физическое или психическое насилие над ними, покушаются на их половую неприкосновенность;
являются больными хроническим алкоголизмом или наркоманией;