Добрый день, Людмила!
Конечно нет. Этим он нарушает ваше право на отпуск.
Если вы были в графике отпусков, то вы вправе в него идти.
Работодатель только в исключительных случаях может издать приказ об отзыве сотрудника из отпуска. К вашему случаю это не относится.
Сообщите директору, что не готовы выходить из отпуска, в случае его несогласия сообщите, что готовы подать жалобу в трудовую инспекцию.
Если же и это не остудит работодателя, то идите в отпуск и выключите телефон.
Если работодатель применит к вам санкции, то обжалуйте их в трудовую инспекцию.