Или придётся перезаключить договор?

Договор коммерческого найма, который был заключен представителем арендодателя по доверенности, является действительным на период действия указанной доверенности, т.к. по истечении срока доверенности, ее отзыва представитель уже не может представлять интересы собственника-арендодателя в отношениях с Вами как арендаторами (нанимателями).

Проверить действительность доверенности Вы можете самостоятельно на сайте Федеральной нотариальной палаты.

В случае, если доверенность действительно была собственником квартиры отозвана, Вам  достаточно будет заключить доп.соглашение к договору, в котором прописать, что со стороны арендодателя с даты, когда доверенность была отозвана, действует сам собственник квартиры, и что оплату арендных платежей Вы будете осуществлять непосредственно собственнику (в ДпС к договору прописать способ оплаты — наличные или по счету и реквизиты счета, если оплата будет безналичной.).