Договор — это двухсторонняя сделка.
ст. 425 ГК РФ Договор вступает в силу и становится обязательным для сторон с момента его заключения.
Статья 310 ГК РФ запрещает в одностороннем порядке отказываться от исполнения обязательств, за исключением случаев, предусмотренных договором – так называемый принцип неизменности обязательства.
Таким образом Ваш вариант отказа от передачи залога неправомерный, равно как и отказ от договора.
В договоре прописан порядок его рассторжения. Нарушение этого порядка является поводом для обращения в суд.
Вы можете изменить условия договора только по соглашению сторон. Таким образом, рекомендую провести с владельцем квартиры переговоры, объяснить ему ситуацию и прийти к соглашению. Учитывайте, что у него тоже могут быть с этим связаны определенные расходы — если сдачей квартиры занимался агент, то он вполне мог заплатить агенту его гонорар с момента подписания договора, а следовательно Вам придется компенсировать эти расходы.