Как урегулировать спор по границе участков, если сведения в кадастре не совпадают с реальностью?

Здравствуйте! Подскажите по ситуации. Есть забор (наш), ему лет 20, если не более. В прошлом годе сосед выяснил, проверив точки из кадастра по GPS на местности, что нужно этот забор двигать в нашу сторону, на 2-4 метра в разных местах. Теперь думает судиться похоже.

Так же есть старые столбики, правда уже несколько только, от соседского старого забора, он еще древнее нашего был. Наш сейчас стоит в 20-60см в нашу сторону от их старого забора.

Возникает вопрос перспектив.

Забор старый, в кадастр точки вносили по существующим границам, по этим заборам. А теперь неведомо как эти точки уплыли. Мы тоже проверили координаты из кадастра, действительно точки смещены к нам.

Как отстоять свою правоту? Чужого не надо и так свой забор в свое время ставили отступя от ихнего. Но свое отдавать нет никакого желания. Дело происходит в деревне.