Могу ли я по закону не отпускать ее в отпуск с ним?

Здравствуйте, Елена. Отвечу Вам сразу — можете не отпускать. Далее разъясню, как Вам объяснить свое решение бывшему мужу.

Действительно, в соответствии с п. 1 ст. 55 Семейного кодекса РФ, 

Ребенок имеет право на общение с обоими родителями, дедушкой, бабушкой, братьями, сестрами и другими родственниками. Расторжение брака родителей, признание его недействительным или раздельное проживание родителей не влияют на права ребенка.

 В случае раздельного проживания родителей ребенок имеет право на общение с каждым из них. Ребенок имеет право на общение со своими родителями также в случае их проживания в разных государствах.

Конечно же Ваш бывший муж может сослаться на ст. 66 Семейного кодекса РФ,

Родитель, проживающий отдельно от ребенка, имеет права на общение с ребенком, участие в его воспитании и решении вопросов получения ребенком образования.

Родитель, с которым проживает ребенок, не должен препятствовать общению ребенка с другим родителем, если такое общение не причиняет вред физическому и психическому здоровью ребенка, его нравственному развитию.

и требовать дать дочь для поездки в отпуск, мотивируя, тем, что Вы препятствуете его общению с ребенком.

Вот подвожу итог, что в данной ситуации самому факту общения законного представителя (бывшего мужа) и несовершеннолетней дочери, Вы не препятствуете, а лишь отказываете в поездке на 14 дней, ссылаясь на то, что у Вас есть опасения за здоровье, безопасность, эмоциональное состояние дочери, и Вы, в данной ситуации защищаете права своего ребенка.

В иных ситуациях спорные вопросы решаются через суд, а суд принимает решение основываясь на соблюдение прав и интересов несовершеннолетнего.

Всего Вам доброго.