Здравствуйте у меня проблемама возникла жена умерла, ребенка на некоторое время поселил у бабушки, женился

Здравствуйте, Дмитрий. 
Для того чтобы лишить вас родительских прав, должны быть определенные основания, такие как уклонения от воспитания ребенка  либо отрицательное воздействие на развитие ребенка. 
В данном случае ваша теща пригрозила вам лишением, ссылаясь на то что вы уклоняетесь от общения с ребенком. Но если вы действительно участвуете в его воспитании, обеспечиваете его полностью, думаю, проблем не будет.

Тем более если у вашей бабушки нет никаких претензий и она может подтвердить ваше участие в жизни ребёнка. 

Здравствуйте,

Вы пишете

 ребенка не хочет отдавать обратно 

Вы хотите его забрать? Если так вам нужно обратиться в суд с иском. Бабушка не обязана отдавать вам ребенка, чтобы забрать его против ее воли нужно решение суда. Ситуация достаточно распространенная, решаемо.

Коллега пишет

думаю, проблем не будет.

Тем более если у вашей бабушки нет никаких претензий и она может подтвердить ваше участие в жизни ребёнка. 

С этим не согласен, вполне может создать вам проблем. Если ребенка забирать, чем дольше тянуть, тем будет сложнее.

С уважением, Андрей Козырев