Чужие ворота на моем земельном участке

Здравствуйте! Помогите, пожалуйста, разобраться в ситуации. Несколько лет назад приобрели земельный участок, соседствующий с нашим магазином. На этой земле уже находились забор и ворота, через которые беспрепятственно проезжали владельцы других земельных участков, расположенных позади нашего. Исходя из данных межевого дела, на землю под воротами не наложены никакие обременения, сервитут установлен там, где проходит забор. Мы закрыли ворота и прорезали проход там, где он должен быть по бумагам. Теперь объявился человек, который заявил, что ворота и забор принадлежат ему, а мы их захватили. Будет разбирательство. Скажите, пожалуйста, есть ли в наших действиях какие-то нарушения? О том, что ворота принадлежат третьим лицам при покупке земли нас не предупреждали. Что делать? Кто прав? Имели ли мы право на эти ворота и забор при покупке земельного участка или, действительно, наши действия можно расценивать как захват?