Или только по приказу и с согласия работника это делается?

Ответ на ваш вопрос зависит от того, о какой именно «смене офиса» идет речь: меняется ли при этом населенный пункт (местность) и как именно сформулировано место работы в трудовом договоре. 

Если ваш работодатель просит вас временно поработать в другом офисе, но в пределах того же города, и при этом ваша должность, обязанности и структурное подразделение (отдел) не меняются — это законное перемещение.

Статья 72.1 ТК РФ прямо говорит, что перемещение на другое рабочее место у того же работодателя в той же местности не требует согласия работника.
Работодатель обязан издать приказ и ознакомить вас с ним, но отказаться от такой работы вы не можете, если только это не противопоказано вам по состоянию здоровья.