Добрый день! В силу п. 1 ст. 263 ГК РФ собственник земельного участка может возводить на нем здания и сооружения, осуществлять их перестройку или снос, разрешать строительство на своем участке другим лицам. Эти права осуществляются при условии соблюдения градостроительных и строительных норм и правил, а также требований о целевом назначении земельного участка (пункт 2 статьи 260).
При этом какими правилами руководствоваться зависит от того, на какой земле Вы строите, если это СНТ — то один вопрос — действует СП 53.13330.2011., если ИЖС то другой вопрос. Однако что касается забора, то как правило расстояние между забором и жилым домом должно быть не менее 3-х метров. Что касается соглашение, то при смене соседей оно Вам не особо поможет если новых соседей что-то не устроит.