На каком основании он может забрать ребёнка?

Здравствуйте, Олеся!

Чтобы у него было даже формальное право «забрать» ребенка, он должен официально являться отцом ребенка.

Поскольку брак между Вами, насколько я понимаю, не зарегистрирован, то он не вправе требовать, чтобы он был указан в качестве отца в свидетельстве о рождении ребенка.

У него есть только впоследствии право обратиться в суд с иском об установлении его отцовства (ст. 49 Семейного кодекса РФ).