Если позволите, то здравствуйте. Худшее что Вам грозит — это иск об истребовании имущества из чужого незаконного владения. Однако считаю, что у бывшего хозяина истёк срок исковой давности. Так в «Обзоре судебной практики по делам, связанным с истребованием жилых помещений от граждан по искам государственных органов и органов местного самоуправления» (утв. Президиумом Верховного Суда РФ 25.11.2015) сказано:
К искам об истребовании недвижимого имущества из чужого незаконного владения применяется общий срок исковой давности, исчисляемый со дня, когда публично-правовое образование в лице уполномоченных органов узнало или должно было узнать о нарушении своего права и о том, кто является надлежащим ответчиком по иску о защите этого права (ст. 200 ГК РФ).
Поэтому во время судебного заседания достаточно сделать заявление о пропуске срока и ему в иске откажут. В виду того, что срок прошёл бывший хозяин не имеет права мешать Вам в строительстве. Это самоуправство, преследуется по закону. Если у Вас появится желание, то могу составить документы на платной основе.