Как прекратить договор ипотеки на землю?

Здравствуйте. Я являюсь председателем дачного кооператива. У нас заключен договор на покупку земли в ипотеку с бывшим собственником. С части земель мы недавно сняли обременение, то есть оплатили и стали полноценными собственниками. Другую часть мы выкупить не в состоянии - нет новых участников кооператива уже долгое время. Рынок земли стоит. В договоре есть оговорка, что если какая-то из сторон пожелает расторгнуть договор, то за нами останется то количество земли, за которое мы заплатили. Но бывший собственник даже при выделе участков в количестве соток, за что мы оплатили фактически, стал угрожать, оказывать давление на меня и на других членов кооператива. Якобы под предлогом того, что он теперь не сможет продать оставшиеся куски, что мы разодрали участок и т.д. Но это не совсем так. Ему просто не хочется заниматься продажами самостоятельно. И ему, конечно же, удобно, чтобы этим занимались мы - пиарили себя в интернете, на форумах и т.д. Есть и другие сложные сопутствующие проблемы, которые усугубляют эту ситуацию. Как нам безболезненно выйти из этого договора?