Здравствуйте, Вячеслав!
Странно, что Вы спохватились спустя почти два года после достижения сыном совершеннолетия.
Если исполнительный документ был предъявлен в пенсионный отдел МВД, обратитесь туда, если исполнительное производство возбуждено приставом — в ФССП. Возможно, с Вас до сих пор взыскивают задолженность, а не сами алименты.
По поводу обратного взыскания алиментов надо разбираться чья вина и взыскивать убытки с виновного лица, с получателя алиментов взыскать вряд ли получится (ст. 116 СК РФ), хотя можно попробовать, так как может усматриваться злоупотребление правом.
Если у Вас еще остались вопросы, Вы можете задать их мне в рамках индивидуальной платной консультации в чате (стоимость и время консультации согласовываются там же).