Хочу узнать как мне поступить?

Добрый день.

Не слушайте их, пусть подают в суд. Судья в любом случае обязана принять заявление о применении срока исковой давности.

Согласно ст.199 ГК РФ

1. Требование о защите нарушенного права принимается к рассмотрению судом независимо от истечения срока исковой давности.

2. Исковая давность применяется судом только по заявлению стороны в споре, сделанному до вынесения судом решения.
Истечение срока исковой давности, о применении которой заявлено стороной в споре, является основанием к вынесению судом решения об отказе в иске.

Кроме того на тот момент Вы даже не были собственником квартиры. Обязательно в первом же судебном заседании попросите суд приобщить к материалам дела заявление о пропуске исковой давности.

Удачи Вам!