Здравствуйте,
В вашем случае можно говорить об административном правонарушении, ответственность за которое предусмотрена частью 2 статьи 5.35 КоАП. Однако проблема в том, что 1) такие дела рассматривается по месту жительства матери, 2) в отсутствие решения суда о порядке общения/месте жительства детей привлечь к ответственности очень сложно (все должностные лица будут отправлять вас в суд).
Проблема решается обращением в суд с иском об определении места жительства детей (п.3 ст. 65 СК РФ) или иском об определении порядка общения (п.2 ст. 66 СК РФ), смотря чего вы хотите добиться.
Вам очень целесообразно обратиться как минимум за консультацией и составлением документов к юристу. Откладывать решение проблемы не стоит, поскольку это потом будет использовано против вас и отношения с детьми могут за время вашего бездействия разрушиться.
Обращайтесь, буду рад вам помочь.
С уважением, Андрей Козырев