Или надо было расторгнуть договор и чтоб поставщик (контрагент) вернул предоплату?

Варианты поведения зависят исключительно от сторон договора.

По общему правилу, закрепленному ст. 450 ГК РФ договор может быть расторгнут или изменен по соглашению сторон.

Соответствующее соглашение, в силу ст. 452 ГК РФ 

1. Соглашение об изменении или о расторжении договора совершается в той же форме, что и договор, если из закона, иных правовых актов, договора или обычаев не вытекает иное.

Поэтому при достижении соглашения с контрагентом Вы в письменной форме можете заключить соглашение, который определить произошедший пожар обстоятельствами непреодолимой силы, не позволившей исполнить своевременно принятые договором обязательства и продлить действие договора на новый срок.

При этом по смыслу ст. 425 ГК РФ 

2. Стороны вправе установить, что условия заключенного ими договора применяются к их отношениям, возникшим до заключения договора, если иное не установлено законом или не вытекает из существа соответствующих отношений.

Вы можете распространить действие данного соглашения на обстоятельства, имевшие место до его заключения (на произошедший пожар и проводимое в связи с ним расследование).

Соответственно Вы с контрагентом в силу принципа свободы договора, вольны самостоятельно определить условия дополнительного соглашения и порядок его исполнения.

В частности, как уже сказал им можно

— установить новый срок исполнения

— освободить стороны от последствий несвоевременного исполнения, сняв обязанность по выплате пени (штрафа, неустойки, если они установлены договором)

— расторгнуть договор на условиях возврата внесенной предоплаты.

У Вас есть полная свобода действий в выборе как перечисленного так и любого иного варианта поведения, при взаимном согласии контрагентов. 

Почему не имели право? Вы направили средства в соответствии с договором. О каком отсутствии права в таком случае можно говорить?

Вы выполнили условие договора, направив предварительную оплату, значит все сделали правильно.