Здравствуйте,
Ограничить вы не можете, можете просто забирать ребенка, если он находится не с матерью в силу п.1 ст. 63 и п.1 ст. 68 Семейного кодекса: родители имеют преимущественное право на обучение и воспитание своих детей перед всеми другими лицами; родители вправе требовать возврата ребенка от любого лица, удерживающего его у себя не на основании закона или не на основании судебного решения. Сожитель никаких прав в отношении ребенка не имеет, факт сожительства правовых последствий не порождает.
При этом родительские права неотчуждаемы, осуществляются непосредственно и не подлежат передаче другим лицам
С уважением, Андрей Козырев