В вашем случае все зависит от суда, вернее судьи к которому по падет это дело, и от позиции отца ребенка. Если он придет в суд и скажет, что действительно не интересуется ребенком, то суд может пойти на встречу и удовлетворить иск.
То, что вы отказались от алиментов — возможно сыграет роль, т.к. отец может сказать, что против лишения его родительских прав, а алименты от него вы сами не хотите принимать. Стоит понять одно- это алименты не ваши, и вы не имеет право отказываться от них, это денежные средства на ребенка.
Если нужна помощь в составлении иска о лишении родительских прав с учетом ваших обстоятельств — пишите в чат.