Во-первых, удостоверьтесь, что это действительно судебный пристав-исполнитель. Представитель закона обязан предъявить служебное удостоверение в развернутом виде. Кроме этого, объяснить ситуацию: зачем он пришел, на основании какого документа действует.
ФЗ о судебных приставах от 21 июля 1997 г. № 118-ФЗ наделяет судебных приставов широким кругом прав: в том числе - требовать пропуска в любое помещение, если это необходимо для исполнения его обязанностей. Охрана территории не является препятствием для входа в помещения и хранилища, занимаемые (принадлежащие) должниками, проводить осмотры площадей, делать замеры, при необходимости вскрывать их.
Оскорбление, чинение препятствий в исполнении решения суда или более того применение какого-либо физического насилия может стоить Вам как минимум административной ответственности.