Здравствуйте,
В этом случае нужно руководствоваться п.2 ст. 65 и п.2 ст. 66 Семейного кодекса. Если вы не можете договориться, один из вас может обратиться в суд и установить порядок общения ребенка с отцом, предусмотреть в нем отпуск в т.ч. с правом выезда за пределы России.
Поскольку ребенку уже есть 5 лет, вероятность что такой иск удовлетворят, довольно высокая. Для начала вы можете направить матери письменно предложение согласовать отпуск, указать страну, место пребывания, срок поездки, а затем обратиться с заявлением в органы опеки и попечительства.
Отказ согласовать поездку или необоснованный ее запрет может расцениваться как злоупотребление родительскими правами, нарушение права ребенка на отдых и на общение с родителем, нарушение прав родителя, проживающего отдельно от ребенка. Но многое будет зависеть от ваших отношений с ребенком, сложившегося порядка общения, т.е. от того, насколько комфортно и безопасно ребенку с вами.
Обращайтесь, если у вас есть вопросы, буду раз помочь
С уважением, Андрей Козырев