Формально сосед может отказаться от передачи земли, потому что право собственности на переданную часть участка у Вас возникает только с момента государственной регистрации в ЕГРН - до этого момента земля юридически остаётся его, независимо от подписанного акта согласования границ.
Акт согласования границ по ст. 40 ФЗ-221 фиксирует лишь согласие смежника с местоположением новой границы - это технический документ для кадастрового инженера, а не правоустанавливающий документ на переход права. Само по себе межевание без завершённой регистрации никакой защиты Вам как собственнику этой земли не даёт.
Но есть важный нюанс: если помимо акта согласования между Вами и соседом заключалось письменное соглашение (о перераспределении участков, дарении, купле-продаже), то его отказ довести дело до регистрации - это уклонение от исполнения обязательства, а не просто "передумал". Такое можно принудить через суд.
Отдельный риск - именно стройка. Если Вы уже начали строить на этой части, а переход права не зарегистрирован, объект формально возводится на чужой земле, и есть шанс, что его признают самовольной постройкой (ст. 222 ГК РФ) с требованием снести.
Получите конкретный план действий по ситуации: что сделать дальше, какие документы подготовить и на какие сроки ориентироваться.