Добрый вечер!
Теоретически такое может случиться. Но все зависит от разрешений (получали ли вы на строительство, что хотели строить, что делали с этим участком), назначения земли.
Ст. 284 ГК РФ предусматривает изъятие земельного участка, который не используется по целевому назначению.
«Земельный участок может быть изъят у собственника в случаях, когда участок предназначен для ведения сельского хозяйства либо жилищного или иного строительства и не используется по целевому назначению в течение трех лет, если более длительный срок не установлен за— может быть изъят.»
главное это — «может быть». Если вруг такое произойдет- дело будет идти через суд.
Важны ваши действия — почему не удалось построить, что именно планировали строить.