Начнем с того, что Семейным кодексом РФ провозглашены равные права и обязанности отца и матери в отношении ребенка. Из этого следует, что да, отец имеет право взять к себе ребенка. Вместе с тем, установлен принцип, согласно которому интересы ребенка превыше всего, и родители должны руководствоваться прежде всего ими. Так что поступок отца может быть расценен двояко: с одной стороны, и ребенку без матери плохо, с другой же — мать и так не с ребенком проводит время, передав его чужому человеку, а уж отец лучше постороннего.
Возникший между вами спор лучше постараться решить полюбовно, миром, исходя из того, что сыну нужна любовь и забота обоих родителей, что вы оба его любите и желаете ему самого лучшего, но в то же время, ребенка действительно нужно на что-то содержать. Хочет ваш экс-муж, чтобы вы постоянно сидели с сыном, пускай оплачивает вам и ему содержание, при чем не минимальные алименты, а нормальные деньги. Если нет такой возможности, договоритесь по-очереди сидеть с ребенком, подстроив соответственно свои рабочие графики.
Ну а окончательную точку в споре поставит только суд. Для этого вам придется подать иск об определении места жительства ребенка, взыскании алиментов на ребенка и себя, возможно еще — и об определении порядка общения с ребенком.