Можно ли ограничить общение отца с ребёнком и требовать встреч только при матери

Если Вы хотите изменить сложившийся порядок общения с ребенком, то вправе обратиться в суд с исковым заявлением об определении порядка общения отца с ребенком по предложенному Вами варианту, в том числе, в Вашем присутствии, и с ограничением по времени общения, на основании ст. 66 Семейного Кодекса РФ:

Если родители не могут прийти к соглашению, спор разрешается судом с участием органа опеки и попечительства по требованию родителей (одного из них). 

Но в суде Вам надо обосновывать, почему Вы хотите установить именно такой порядок общения отца с ребенком, и представить доказательства того, что иной порядок вреден для здоровья и воспитания ребенка.

В иске укажите все обстоятельства, о которых вы пишите в своем вопросе.Но, в соответствии со ст.56 ГПК РФ, данные обстоятельства должны быть подтверждены надлежащим образом.Это могут быть следующие доказательства.

 несколько угроз записаны на аудио, говорит ребёнку гадости обо мне и о моей семье, угрожает забрать его, 

В суде заявите ходатайство о том, чтобы суд прослушал указанные записи.Потом заявите ходатайство о их приобщении к материалам гражданского дела.

несколько раз доводил ребенка до слёз,

Здесь так же аудиозаписи, показания свидетелей.

с сыном обязательно что-то случается (лёгкая травма, рвота, заболевание и т. д.).

Медицинские документы, справки и т.п.

Я продолжу далее.

Забыла сообщить, что он месяц лежал в психдиспансере, у меня справки нет, только фото и голосовые в его неадекватном состоянии

Заявите ходатайство об истребовании сведений из диспансера.

На основании этого смогу ли я как-то повлиять на встречи отца с сыном, присутствовать на них? 

Вы в иске укажите свой порядок общения, который предлагаете вы, с учетом вышесказанного, с учетом здоровья ребенка, его занятости и режима дня ребенка.Отец, вероятно, предложит свой график.Ну а суд установит тот, который максимальным образом отвечает интересам ребенка.