Здравствуйте, Наталья!
В соответствии с законодательством РФ родители имеют равные права и обязанности в отношении своих несовершеннолетних детей. Соответственно, Ваш бывший супруг как отец детей имеет право забирать детей и общаться с ними в любое время, без Вашего присутствия, а Вы не должны препятствовать такому общению, за исключением случаев, когда такое общение может причинить вред физическому либо психическому здоровью детей.
При этом, Вы с бывшим супругом можете заключить соглашение в письменной форме о порядке общения с детьми, либо обратиться в суд с исковым заявлением об определении порядка общения с детьми.