Как согласовать график работы нотариуса, если он не совпадает с моим?

С бывшей женой имеем одного общего ребенка. Ребенку 11 лет. Бывшая жена не разрешает забирать ребенка к себе, оправдывая это тем, что у меня другая семья (гражданская жена и ребенок) и ребенок их не знает. Мы живем в разных городах и часто ездить к ним, чтобы увидеться с ребенком я не могу. При всем при этом ребенок хочет ко мне приехать и познакомиться с моей новой семьей. Что делать в данной ситуации? Имеет ли право бывшая жена запрещать мне забирать ребенка к себе обосновывая это тем, что ребенок не знает мою нынешнюю жену? Имеет ли смысл обращаться с иском в суд, чтобы мне разрешили забирать ребенка к себе хотя бы на несколько дней?