Здравствуйте,
Вопрос сложный и он прямо не урегулирован законом. Тут можно применять норму о том, что права не могут осуществляться в нарушение прав других лиц, в вашем случае прав ребенка и его родителя. При этом если ребенок маленький, об общении родители договориться не могут и решают вопрос через суд, суд может не только обязать впускать отца ребенка в квартиру, но и возложить на мать ребенка обязанность присутствовать при общении.
Также нужно учитывать приоритет защиты прав и интересов ребенка перед правами собственника жилья. При это проживать в квартире отец безусловно права не имеет. Права родителя и ребенка регулируются в основном статьями 55, 65 и 66 СК РФ.
Также отец может обратиться в органы опеки и они проведут проверку жилищно-бытовых условий, в которых проживает ребенок.
С уважением, Андрей Козырев