Алексей, добрый день.
Родители имеют равные права и несут равные обязанности в отношении своих детей (родительские права). Это прямо предусмотрено ст. 61 СК.
Вы не вправе препятствовать матери в ее общении с ребенком. Однако Вы можете заключить с матерью ребенка соглашение, в котором предусмотрите порядок ее общения с сыном, в т.ч. время и место общения. Здесь многое зависит в т.ч. от возраста ребенка, его привязанности к одному из родителей и другим членам семьи, а также от других обстоятельств. Либо Вы можете установить такой порядок посредством суда.
Запретить общение с посторонним для ребенка человеком можно только в судебном порядке и при наличии доказательств, что указанное лицо вредит интересам ребенка. Достаточно сложная процедура с привлечением органов опеки, психологов и т.д.