Должен ли я убрать бревно, которое лежит возле ограды?

Здравствуйте Вячеслав. Да Вы должны убрать бревно с самовольно занятого  земельного участка. Судя по всему вы нарушили права Администрации, как собственника земельного участка и собственник вправе требовать устранение нарушений. Статья 60 ЗК РФ, Восстановление положения, существовавшего до нарушения права на земельный участок, и пресечение действий, нарушающих право на земельный участок или создающих угрозу его нарушения:

1. Нарушенное право на земельный участок подлежит восстановлению в случаях:
1) признания судом недействительным акта исполнительного органа государственной власти или акта органа местного самоуправления, повлекших за собой нарушение права на земельный участок;
2) самовольного занятия земельного участка;
3) в иных предусмотренных федеральными законами случаях.
2. Действия, нарушающие права на землю граждан и юридических лиц или создающие угрозу их нарушения, могут быть пресечены путем:
1) признания недействительными в судебном порядке в соответствии со статьей 61 настоящего Кодекса не соответствующих законодательству актов исполнительных органов государственной власти или актов органов местного самоуправления;
2) приостановления исполнения не соответствующих законодательству актов исполнительных органов государственной власти или актов органов местного самоуправления;
3) приостановления промышленного, гражданско-жилищного и другого строительства, разработки месторождений полезных ископаемых и торфа, эксплуатации объектов, проведения агрохимических, лесомелиоративных, геолого-разведочных, поисковых, геодезических и иных работ в порядке, установленном Правительством Российской Федерации;
4) восстановления положения, существовавшего до нарушения права, и пресечения действий, нарушающих право или создающих угрозу его нарушения.