Добрый день,
Для того, чтобы забрать ребенка у Вас, отцу необходимо будет лишить Вас родительских прав, это достаточно сложное дело, такое решение может принять только суд и для этого должны быть весомые доказательства. Если Вы не употребляете наркотики или не злоупотребляете спиртным, то доказать он этого не сможет, только слов купленных свидетелей для этого недостаточно.
В случае, если он незаконно заберет Вашего ребенка, то он сам совершит преступление и правоохранительные органы должны будут стать на Вашу защиту.
Я бы рекомендовал Вам обратиться в полицию по месту Вашего жительства с заявлением об имеющимся конфликте и о его угрозах. Скорее всего по данному факту уголовное дело не будет возбуждено, но, по крайней мере, в случае дальнейшего развития данного конфликта, Вы сможете ссылаться на то, что Вы уже информировали правоохранительные органы об этих фактах.