Как защитить свою семью от преследований со стороны "бывшего", если он - отец ребёнка?

Здравствуйте!

Я рассталась с отцом ребёнка вскоре после его рождения. С тех пор у малышки новая семья - мы уже два года живём с молодым человеком, ребёнок с первых лет жизни любит его и считает своим папой.

Недавно объявился родной отец ребёнка - он пытается использовать факт отцовства, чтобы разрушить нашу семью. Полюбовно договариваться не хочет, звонками доводит меня до истерик. Требует, чтобы ему разрешали видеться с ребёнком в удобное для него время.

Отцовство подтверждено, в браке мы не состояли, алиментов он не платит, живёт в другом городе.

Я понимаю, что, видимо, не имею законных оснований отказать ему в праве видеть ребёнка, но хочется знать и свои права. Как защитить свою семью от хамского поведения с его стороны? Стоит ли судиться с ним, и если да - то как подготовиться к суду? Я волнуюсь за психику дочери, которой придётся объяснять, что у неё теперь "два папы". Боюсь, что он будет настраивать ребёнка против отчима и делать тому подобные вещи.

Анна, 30 лет