Не совпадают юридическая и фактическая границы смежных участков

Добрый день! Вопрос заключается в следующем, у меня в собственности зем.участок, приобретен как ранее учтенный. Собственник смежного зем.участка в период моего отсутствия возвел постройки на моем участке, я соответственно обратился к кадастровому инженеру за уточнением границ своего участка. По результатам кадастровых работ факт захвата части моего участка соседом подтвердился, кроме того, росреестр также установил нарушение землепользования со стороны соседа. Однако сосед утверждает, что строение он возвел на своем участке, границы которого в 2006 году ему указали землеустроители, которые выезжали к нему на участок, вот в этих границах он и построил, и он не виноват в том, что сейчас каким то чудным образом (GPS) устанавливают границы и они вдруг не совпали с юридическими границами наших участков. И я не могу понять как объяснить ему и наверное в дальнейшем суду, что якобы вбитые в 2006 году колышки в пределах которых он построил не подтверждают законность фактически занимаемого его постройками участка. При этом, его земельный участок стоит на кадастровом учете и именно от его юридической границы отталкивался кадастровый инженер когда уточнял границы моего участка. И действительно ли в периметре этих колышек он построил? Возможно вбили эти колышки то и правильно, но что мешает зайти за них?