Что делать, если бывший парень угрожает из-за долга без расписки?

Здравствуйте. Отправляйте человека в суд. Я так понимаю долг Вы фактически в переписке признали. 

есть угрозы и физической расправой.

 по этому поводу может обратиться в полицию с просьбой провести проверку по ст. 119 УК РФ в порядке ст. ст. 144-145 УПК РФ

1. Дознаватель, орган дознания, следователь, руководитель следственного органа обязаны принять, проверить сообщение о любом совершенном или готовящемся преступлении и в пределах компетенции, установленной настоящим Кодексом, принять по нему решение в срок не позднее 3 суток со дня поступления указанного сообщения. 

что ко мне придет служба опеки и прокуратура и заберут ребёнка,

 на основании чего интересно? Пустые угрозы.

Раз договора у Вас не было, то стоит обратить внимание на ст. 162 ГК РФ

1. Несоблюдение простой письменной формы сделки лишает стороны права в случае спора ссылаться в подтверждение сделки и ее условий на свидетельские показания, но не лишает их права приводить письменные и другие доказательства.