Здравствуйте,
С мнениями коллег не соглашусь, для уголовной или семейно-правовой (в т.ч. лишения или ограничения родительских прав) ответственности нужны веские основания.
Вы же просто не можете договориться, когда и как отец общается с ребенком. Проще всего обратиться в суд с заявлением о определении места жительства и порядка общения ребенка — суд установит, что ребенок проживает с вами и определит, когда отец может его забирать и на какой период, либо установит что общение производится в вашем присутствии и/или по вашему месту жительства.
Если отец придет за ребенком в иное время, ребенка вы вправе не отдавать, можете вызвать полицию. А для начала можно обратиться с заявлением в органы опеки и ПДН, в котором изложить ситуацию и попросить провести профилактическую беседу и оказать содействие в разрешении конфликта и заключении соглашения о воспитании ребенка.
Алименты отец выплачивает? Если нет, к требованиям можно добавить взыскание алиментов.
С уважением, Андрей Козырев