И должен ли я возвращать ему деньги?

Добрый день, требование может быть законным, но автоматически ничего возвращать вы не обязаны. Работодатель вправе требовать сумму за «авансом» использованный отпуск, если вы уволились до конца рабочего года, за который он был предоставлен, — за исключением ряда оснований увольнения. Если в день увольнения удержание не сделали, теперь вернуть можно только добровольно по вашему согласию или по решению суда.

Когда работодатель вправе требовать:
— Если вы уволились по собственному желанию, по соглашению сторон или в большинстве «обычных» оснований — да, за неотработанные дни отпуска можно взыскать (ст. 137 ТК РФ).
— Нельзя взыскивать, если увольнение произошло по причинам, не зависящим от работника, например: ликвидация/сокращение; призыв на военную/альтернативную службу; медицинские противопоказания при отсутствии подходящих вакансий; отказ от перевода при переезде работодателя в другую местность; восстановление прежнего работника на должности и др. В этих случаях удержаний за «неотработанный отпуск» быть не должно.

Попросите письменное требование с расчетом:
    — основание увольнения и дата увольнения;
    — ваш «рабочий год» (12 месяцев, за который предоставлялся отпуск);
    — сколько дней отпуска вы заработали к дате увольнения и сколько использовали;
    — сумма к возврату и как посчитана (среднедневной заработок).