По общему правилу Вы не вправе препятствовать общению ребенка со вторым родителем, за исключением случаев, когда такое общение приносит вред ребенку.
Порядок общения может быть определен соглашением в письменной форме. При этом, при недостижении соглашения, порядок общения может быть определен в судебном порядке, то есть запрет ночевок может быть установлен только судом.
Для принятия судом решения по этому вопросу в Вашу пользу необходимо мотивированно подтвердить неприемлемость такого порядка общения второго родителя с ребенком. Одного Вашего нежелания недостаточно, поскольку по закону отец имеет право на общение с ребенком, участие в его воспитании.
Просто факт проживания с другой женщиной не свидетельствует о негативном влиянии на ребенка. Площадь жилого помещения имела бы принципиальное значение при определении места проживания ребенка, однако, полагаю, об этом спора у Вас нет.
В судебных спорах по вопросам воспитания детей принимает участие орган опеки и попечительства, который может дать соответствующую оценку условиям пребывания ребенка у отца во время встреч