Здравствуйте, Ольга.
Семейный кодекс РФ не регламентирует порядок общения родителей, лишенных родительских прав, с детьми.
Суды вообще не вообще право на общение не относят к личным неимущественным правам родителей.
Исходя из этого, рассматривайте забирание отцом ребенка из садика как его обязанность, которая у него осталась после лишения прав.
Однако вам следует помнить, что если отец лишен родительских прав по основаниям психического заболевания, алкоголизма, наркомании или за попытку причинить ребенку вред (убить), то вы подвергаете ребенка опасности, доверяя этому человеку ребенка.