Стоит ли опасаться, если отец выскажет желание забрать ребёнка?

Здравствуйте) Находясь в законном браке с мужем 1,5года, не живем с ним совместно полгода.Имеется годовалый ребёнок, прописанный вместе с отцом в Москве в 3х комнатной квартире(и ещё 3 человека). У меня же фактическая прописка в двушке в МО в квартире тети, но живу с родителями в съемной квартире.Находусь в отпуске по уходу за ребёнком. Дочка привязана ко мне и моей маме. Отец дочери в воспитании участия не принимает, приезжает в выходные, постоянно с ребёнком не контактирует(то компьютер, то бутылка пива).Иногда выделяет некую сумму денег. Совместно нажитого имущества нет.

С кем в суд оставит ребёнка? Стоит ли опасаться, если отец выскажет желание забрать ребёнка, то дочку заберут у меня ?