И насколько тяжело это будет сделать?

Здравствуйте, возможно, если в течение этого периода он привлекался к административной ответственности за неуплату алиментов.(с заявлением к приставу о привлечении к адм.ответственности можете обратиться и вы), после того, как он привлекался неоднократно по ст.5,3,5,1 КоАП РФ, можно привлечь его к уголовной ответственности за злостное уклонение от уплаты алиментов.

СК РФ Статья 69. Лишение родительских прав
 

 
Родители (один из них) могут быть лишены родительских прав, если они:

 
уклоняются от выполнения обязанностей родителей, в том числе при злостном уклонении от уплаты алиментов;

 
отказываются без уважительных причин взять своего ребенка из родильного дома (отделения) либо из иной медицинской организации, образовательной организации, организации социального обслуживания или из аналогичных организаций;

(в ред. Федеральных законов от 24.04.2008 N 49-ФЗ, от 25.11.2013 N 317-ФЗ, от 28.11.2015 N 358-ФЗ, от 28.03.2017 N 39-ФЗ)
(см. текст в предыдущей редакции)
 
злоупотребляют своими родительскими правами;

 
жестоко обращаются с детьми, в том числе осуществляют физическое или психическое насилие над ними, покушаются на их половую неприкосновенность;

 
являются больными хроническим алкоголизмом или наркоманией;

 
совершили умышленное преступление против жизни или здоровья своих детей, другого родителя детей, супруга, в том числе не являющегося родителем детей, либо против жизни или здоровья иного члена семьи.

(в ред. Федерального закона от 30.12.2015 N 457-ФЗ)
(см. текст в предыдущей редакции)