Может ли мать отказать в вывозе ребёнка отцу в другой город?

Вариантов всего два: решение вопроса через суд, либо заключение вышеупомянутого соглашения. 

СК РФ исходит из того, что родители равны в своих правах,  100 запрет Вы установить не можете. 

СК РФ Статья 65. Осуществление родительских прав 

 2.Все вопросы, касающиеся воспитания и образования детей, решаются родителями по их взаимному согласию исходя из интересов детей и с учетом мнения детей. Родители (один из них) при наличии разногласий между ними вправе обратиться за разрешением этих разногласий в орган опеки и попечительства или в суд.

Если есть основания считать, что при проживании с отцом будут нарушены интересы сына, то подавайте в суд на развод. 

Также целесообразно заключить в письменной форме соглашение о порядке осуществления родительских прав родителем, проживающим отдельно от ребенка.

Статья 66. Осуществление родительских прав родителем, проживающим отдельно от ребенка
 
2. Родители вправе заключить в письменной форме соглашение о порядке осуществления родительских прав родителем, проживающим отдельно от ребенка.

Такое решение позволит контролировать порядок и длительность нахождения ребенка у другого родителя.

Вы, как родители вправе заключить в письменной форме соглашение о порядке осуществления родительских прав отцом детей.В том случае, если мнение у вас будут расходиться по основаниям, изложенным здесь в тексте вопроса, поскольку я  понимаю вашу обеспокоенность в части

Считаю неприемлемым увозить далеко, мы живём в Краснодаре, надолго и главное к другой женщине, с которой живёт муж, при том, что он работает и неизвестно с кем будет все время мой ребёнок.

и вы не сможете  прийти к соглашению, спор может быть разрешен судом по требованию, к примеру, отца ребенка. 

По требованию отца суд вправе определить порядок осуществления родительских прав им, а именно порядок общения, где и будет прописана возможность (или такое требование  не будет удовлетворено  судебным актом) брать на период отпуска сына к себе домой.