Возможно ли погасить нотариальное согласие?

Добрый день. Я являюсь индивидуальным предпринимателем. Продаю строительные материалы. Рядом сосед построил дом менее 1 метра от границы. Категория земель НСТ. В момент когда он начал строить дом, строительная база уже работала два года! Сосед стал писать жалобы председателю садового товарищества, что строительная база доставляет ему дискомфорт и требует прекращения предпринимательской деятельности! Я обратился к нему с вопросом: что мне нужно сделать, чтоб дальше продолжал свою деятельность? Ведь когда ты строил дом, база уже существовала!!! Сосед мне ответил: напиши мне нотариальное согласие на то что у меня нет возражений по поводу постройки дома менее одного метра от границы и жалоб не будет! После этого устного разговора, я в течении недели сделал данное согласие у нотариуса и торжественно ему вручил! В результате, после получения данного согласия с моей стороны, он продолжает писать жалобы на работу моей организации! Выполнить его требование о прекращении деятельности я не могу, тк это является моим основным источником дохода моей семьи. Жена не работает, ухаживает за ребенком инвалидом! Вопрос: могу ли я оспорить, погасить, свое нотариальное согласие и подать на него в суд? Как быть в этой ситуации? Спасибо за ответ.