Могут ли у меня забрать ребенка, если не давать видеться с внуком?

Здравствуйте, Дина!

Для того чтобы лишить вас родительских прав нужны серьезные основания.

Статья 69. СК РФ Лишение родительских прав
Родители (один из них) могут быть лишены родительских прав, если они:
уклоняются от выполнения обязанностей родителей, в том числе при злостном уклонении от уплаты алиментов;
отказываются без уважительных причин взять своего ребенка из родильного дома (отделения) либо из иной медицинской организации, воспитательного учреждения, организации социального обслуживания или из аналогичных организаций;
(в ред. Федеральных законов от 24.04.2008 N 49-ФЗ, от 25.11.2013 N 317-ФЗ, от 28.11.2015 N 358-ФЗ)
злоупотребляют своими родительскими правами;
жестоко обращаются с детьми, в том числе осуществляют физическое или психическое насилие над ними, покушаются на их половую неприкосновенность;
являются больными хроническим алкоголизмом или наркоманией;
совершили умышленное преступление против жизни или здоровья своих детей, другого родителя детей, супруга, в том числе не являющегося родителем детей, либо против жизни или здоровья иного члена семьи.
(в ред. Федерального закона от 30.12.2015 N 457-ФЗ)

Если вы не достигнете соглашения мирным путем, то вопрос о порядке общения бабушки с внуком может быт решен в судебном порядке.

Статья 67. СК Право на общение с ребенком дедушки, бабушки, братьев, сестер и других родственников
1. Дедушка, бабушка, братья, сестры и другие родственники имеют право на общение с ребенком.
2. В случае отказа родителей (одного из них) от предоставления близким родственникам ребенка возможности общаться с ним орган опеки и попечительства может обязать родителей (одного из них) не препятствовать этому общению.
3. Если родители (один из них) не подчиняются решению органа опеки и попечительства, близкие родственники ребенка либо орган опеки и попечительства вправе обратиться в суд с иском об устранении препятствий к общению с ребенком. Суд разрешает спор исходя из интересов ребенка и с учетом мнения ребенка.
В случае невыполнения решения суда к виновному родителю применяются меры, предусмотренные законодательством об административных правонарушениях и законодательством об исполнительном производстве.
(в ред. Федерального закона от 30.12.2015 N 457-ФЗ)