Здравствуйте.
Нет, забрать иск или как-то повлиять на задолженность Вы не сможете.
Во-первых, ни ГПК, ни ФЗ об исполнительном производстве не указывают на названное Вами обстоятельство, как на основание для замены стороны по делу.
Во-вторых, изначально алименты взыскиваются в Вашу пользу. Однако, Ваша мама всё это время Вас содержала, фактически исполняя обязанности не только за себя, но и за Вашего отца. То есть, условно говоря, Вами эти алименты были получены в форме содержания со стороны матери.
Я понимаю, что внутри семьи возник некий конфликт, и Вы хотите защитить своего отца, но к сожалению это невозможно сделать. Единственный вариант — договориться с матерью.