Сын не хочет приезжать к матери, бабушка влияет негативно

Добрый вечер! На основании Семейного кодекса РФ родители являются законными представителями несовершеннолетних детей. 

В статье 63 Семейного кодекса РФ закреплено право и обязанность родителей по воспитанию своих детей.
Родители несут ответственность за воспитание и развитие своих детей. Они обязаны заботиться о здоровье, физическом, психическом, духовном и нравственном развитии своих детей.
Родители, осуществляющие родительские права в ущерб правам и интересам детей, несут ответственность в установленном законом порядке.

Ваш вопрос, скорее всего, больше находится не в юридической плоскости, а в нравственной. 
Если ребенок проживает не с Вами и его воспитанием занимаются иные лица, то единственный способ исключить негативное влияние — ограничить ребенка от общения с такими лицами.  У Вас, как у родителя, есть все законные основания для этого.