Добрый день, Ирина.
Исходя из того, что Вы указали в своем вопросе, то лишить родительских прав у Вас бывшего супруга не получится. Основания для лишения родительских прав указанны в ст. 69 Семейного кодекса, а именно:
Родители (один из них) могут быть лишены родительских прав, если они:
уклоняются от выполнения обязанностей родителей, в том числе при злостном уклонении от уплаты алиментов;
отказываются без уважительных причин взять своего ребенка из родильного дома (отделения) либо из иного лечебного учреждения, воспитательного учреждения, учреждения социальной защиты населения или из аналогичных организаций;
злоупотребляют своими родительскими правами;жестоко обращаются с детьми, в том числе осуществляют физическое или психическое насилие над ними, покушаются на их половую неприкосновенность;
являются больными хроническим алкоголизмом или наркоманией;
совершили умышленное преступление против жизни или здоровья своих детей либо против жизни или здоровья супруга.
Но вот требование супруга, о том, что он желает общаться со своим ребенком абсолютно законно. Если Вы ему будите запрещать это, то он вправе будет обратиться в суд. Что бы этого не произошло могу посоветовать заключить с ним соглашение, в которому укажите когда он имеет право общаться с ребенком, где будет общаться, в Вашем присутствии или же без Вашего присутствия и так далее.
С Уважением, Сергей.