Я не хочу ему давать документ, так как не верю ему, что может вернуть.Я говорю чтобы взял дубликат свидетельства о рождении, на что он отказался

Здравствуйте Ольга вы вправе не давать ему ничего даже если он напишет в полицию вам за это ничего не будет, так как вы не нарушали закон 

Он может заказать дубликат 

Здравствуйте, Ольга!

С вашей стороны отказ передать оригинал свидетельства о рождении ребенка мужчине, с которым вы не живете, не является нарушением закона, за которое полиция будет привлекать вас к ответственности.

Поскольку ребенок записан на него (то есть, отцовство установлено в ЗАГСе, и он указан в свидетельстве о рождении), мужчина является законным родителем и имеет равные с вами права в отношении ребенка.

Однако:

Оригинал свидетельства о рождении не требуется отцу для осуществления его родительских прав. Этот документ нужен для редких случаев (получение паспорта, выезд за границу, оформление пособий, где он является заявителем).
Оригинал документа не должен постоянно находиться у одного из родителей (если вы не договорились об этом).
Угроза написать заявление в полицию не имеет серьезных последствий для вас:

Полиция не занимается гражданско-правовыми и семейными спорами о передаче документов. Это не уголовное преступление и не административное правонарушение.
Ваш отказ дать ему оригинал свидетельства о рождении не является основанием для привлечения вас к ответственности или лишения вас родительских прав.
Отец, как законный родитель, имеет право самостоятельно получить дубликат свидетельства о рождении в органах ЗАГС, независимо от вашего согласия. Ему достаточно предъявить свой паспорт и копию свидетельства (если она у него есть) или знать данные ребенка.
Вы действуете правильно, так как уже был случай, когда мужчина не хотел возвращать документ.

Сообщите ему, что, поскольку он является законным отцом, он вправе и обязан сам получить дубликат свидетельства о рождении в ЗАГСе (это быстро и недорого).
Не отдавайте оригинал: Вы имеете право хранить единственный экземпляр оригинала, поскольку чаще всего он нужен матери (для медицинских учреждений, оформления пособий по месту жительства и т.д.).
Если ему нужен документ для конкретной цели (например, для оформления визы), предложите ему прийти с вами в соответствующую организацию и показать документ там, либо сделать нотариально заверенную копию.
Не бойтесь его угроз. Передача или непередача оригинала свидетельства о рождении — это ваш личный вопрос, не регулируемый уголовным или административным правом. Настаивайте на том, чтобы он получил дубликат.