Здравствуйте,
Статья 69 СК Лишение родительских прав
Родители (один из них) могут быть лишены родительских прав, если они: уклоняются от выполнения обязанностей родителей, в том числе при злостном уклонении от уплаты алиментов; отказываются без уважительных причин взять своего ребенка из родильного дома (отделения) либо из иной медицинской организации, воспитательного учреждения, учреждения социальной защиты населения или из аналогичных организаций; злоупотребляют своими родительскими правами; жестоко обращаются с детьми, в том числе осуществляют физическое или психическое насилие над ними, покушаются на их половую неприкосновенность;
являются больными хроническим алкоголизмом или наркоманией;
совершили умышленное преступление против жизни или здоровья своих детей либо против жизни или здоровья супруга.
Теперь давайте разбираться -лишить родительских прав Вас он не может. Но из того что Вы написали, речь скорее идет изъятии у Вас ребенка в рамках Ст. 65 СК
3. Место жительства детей при раздельном проживании родителей устанавливается соглашением родителей. При отсутствии соглашения спор между родителями разрешается судом исходя из интересов детей и с учетом мнения детей. При этом суд учитывает привязанность ребенка к каждому из родителей, братьям и сестрам, возраст ребенка, нравственные и иные личные качества родителей, отношения, существующие между каждым из родителей и ребенком, возможность создания ребенку условий для воспитания и развития (род деятельности, режим работы родителей, материальное и семейное положение родителей и другое).
В то же время учитывая, что отец ребенка ребенком не занимается, привязанность ребенка к Вам и малый возраст ребенка, суд должен оставить ребенка с Вами.