Нет, отказать в доступе лицу, участвующему в деле, из-за отсутствия у него доверенности вы не можете.
Статья 84 ГПК РФ наделяет правом присутствовать при проведении экспертизы всех «лиц, участвующих в деле». Ответчик (сторона по делу) является таковым по прямому указанию закона и реализует это право лично, а не через представителя, поэтому доверенность ему для этого не требуется. Более того, препятствуя любому из таких лиц (включая ответчика) попасть в квартиру совместно с экспертом, вы рискуете тем, что суд расценит это как уклонение от проведения экспертизы и воспрепятствование правосудию, что чревато признанием неудобных для вас фактов установленными или иными санкциями.
Что касается «отдельных участвующих в деле лиц» без доверенности от ответчика: если эти люди являются неким «третьими лицами» или вторым ответчиком по данному процессу (согласно ст. 34 ГПК РФ), их право присутствовать также закреплено законом, и одной вашей воли для их недопуска недостаточно. Если же это просто знакомые ответчика, не имеющие официального статуса в суде, законным основанием для их недопуска будет именно их процессуальный статус, а не отсутствие доверенности.
При необходимости готов вам предоставить весь алгоритм ваших действий или провести дополнительную консультацию только на платной основе. Если мой ответ был вам полезен — можете отблагодарить юриста — pravoved.ru/pay/lawyer-reward/id/4417895/ За подробной консультацией обращайтесь в чат — pravoved.ru/private/chat/