Здравствуйте! Я полагаю, что со стороны застройщика угрозы признать договор недействительным это своеобразный способ борьбы с дольщиками которые потенциально пойдут в суд за неустойкой. Судебная перспектива минимальна, так как договор фактически был договором присоединения, вы были ограниченны в возможности изменять его условия, а приняли договор подписав его.
Наказать застройщика не просто можно, но и нужно. Законный способ взыскание неустойки, для дольщиков физических лиц применяется двойная неустойка.
Из практики скажу суды любят снижать неустойку по ст. 333 ГК РФ. Вам необходимо будут доказать в суде, что задержка строительства неблагоприятно отразилась на вашей семье. Приобщите к делу свидетельства о рождении детей, договор аренды жилья, справки с работы, документы о тяжелом материальном положении.
И еще совет, чтобы не платить госпошлину укажите в иске на то, что квартира приобреталась для личного использования, на основании закона о защите прав потребителей госпошлина не оплачивается.