Законно ли родители жены не отдают мне (отцу) ребёнка?

Мне поставили запрет и мы с женой решили чтоб она поехала на заработки , а я чтоб по месту себе искал работу - мы так и сделали но так как у нас маленький ребёнок мы оставили его у родителей жены бывало перепадало мне поработать (ремонт квартир) . Я бывало приходил брал ребёнка на неделю потом назад отводил к Родителям Жены , но в один прекрасный день я пришёл взять ребёнка а они устроили скандал и отказались мне его отдавать и выгнали с ихнего дома !!! Я думал обратиться с заявлением в Полицию но мне сказали что жена из-за этого может пострадать вплоть до лишения родительских прав! так ли это? Ребёнок прописан в доме где живут родители Жены и там же жена прописана!