При этом его отношение ко мне всегда было ужасное, постоянные стычки и скандалы из-за пустяков (к примеру

Здравствуйте, анонимно!

Если любому гражданину стали известны факты нарушения прав и законных интересов несовершеннолетнего ребенка (детей) в семье, он имеет право обратиться с жалобой в орган опеки и попечительства для защиты прав ребенка (детей). 

По результатам жалобы орган опеки может начать процедуру как ограничения или лишения родительских прав родителей (опекунов) в судебном порядке, так и отобрать ребенка из семьи в случае наличия непосредственной угрозы жизни и здоровью ребенка (детей) на основании ст. 77 СК РФ

.Если органу опеки и попечительства стали известны факты нарушения прав ребенка в семье, он обязан в течение трех дней со дня получения таких сведений провести обследование условий жизни ребенка (п. 3 ст. 56, п. 1 ст. 122 СК РФ).

 Если в ходе проверки факты, указанные в поступившей жалобе, подтвердились, и они представляют угрозу жизни или здоровью ребенка, инспектор органа опеки и попечительства принимает решение об отобрании ребенка у родителей (родителя) с обязательным составлением соответствующего акта. В акте должны быть указаны факты, свидетельствующие о фактах наличия непосредственной угрозы жизни и здоровью ребенка (детей), которые позволяют осуществить данную меру без решения суда.