Если ваша должность в соответствии с трудовым договором и должностной инструкцией предусматривает исполнение обязанностей по уборке помещений и т.п., то переводить Вас на другую должность можно только с Вашего согласия.
Ст.72.1. Трудового кодекса РФ:
Перевод на другую работу — постоянное или временное изменение трудовой функции работника и (или) структурного подразделения, в котором работает работник (если структурное подразделение было указано в трудовом договоре), при продолжении работы у того же работодателя, а также перевод на работу в другую местность вместе с работодателем. Перевод на другую работу допускается только с письменного согласия работника, за исключением случаев, предусмотренных частями второй и третьей статьи 72.2 настоящего Кодекса.