Как уберечь ребенка от общения с недобросовестным отцом и его родственниками?

Здравствуйте! Помогите найти решение проблемы: с мужем в разводе уже 1,5 года, От брака остался сын 2,3 года, он не видится и не общается с сыном, постоянно ищет причины платить как можно меньше алиментов( то в центр занятости станет на учет, то еще какие-нибудь проблемы придумывает....) при этом, я точно знаю( мы живем в одном маленьком городе) что он работает неофициально(занимается ремонтом, покраской и перепродажей автомобилей).Меня оставил с огромными долгами(кредиты брались на меня, и он отказывается от помощи в их выплате) Он так работал и до нашего брака и во время брака... Никаких прав на ребенка не предъявляет, пока... Но до меня доходят слухи, что его родители(бабушка и дедеушка моего сына), говорят знакомым и том, что "нет, внука, мы очень любим и ждем с ним встречи))) Просто сейчас он маленький, памперсы ему покупай, попу вытирать сам не умеет и т.д., а вот через годик, как подрастет, мы на него КОНЕЧНО же права предъявим... а сейчас, зачем он нам, проблем много с ним"!!!!!!!! Я очень обижена на всю его семью и не хочу, чтобы в дальнейшем, они все смогли иметь хоть какую возможность общаться с ребенком, подскажите, как действовать? Лишить ведь родительских прав не получится, как я понимаю(ведь хоть 420руб- 1,500 рублей/месяц он платит)??? Можно ли попробовать усыновить ребенка другому мужчине? Или это намного сложнее??? Или уехать по-дальше от этой семейки и пусть сами если захотят 1000 километров едут, чтобы осуществить свои потребности во встрече с уже подросшим "унучиком")))) Помогите!