И как определить сколько это квадратов?

Можете не пускать, например сказав что пусть обращаются в суд с иском о вселении и определении порядка пользования квартирой.  Можете также поставить вопрос о выкупе их долей, признав через суд их незначительными. Ст. 252 ГК РФ. 

Статья 247. Владение и пользование имуществом, находящимся в долевой собственности

1. Владение и пользование имуществом, находящимся в долевой собственности, осуществляются по соглашению всех ее участников, а при недостижении согласия — в порядке, устанавливаемом судом.
2. Участник долевой собственности имеет право на предоставление в его владение и пользование части общего имущества, соразмерной его доле, а при невозможности этого вправе требовать от других участников, владеющих и пользующихся имуществом, приходящимся на его долю, соответствующей компенсации.

Если квартира например 40 кв. м, то 1/8 доли будет 5 кв. м 

Здравствуйте.

Родственникам досталось по 1/8 квартиры, могу ли я не пускать их?

Анна

Если квартира небольшая (однокомнатная) и родственникам не может быть предоставлена отдельная комната для пользования, вы сами проживаете там, то вы можете не пускать их. Есть судебная практика где суды отказывали во вселении на такие маленькие доли.

Нужно ли как то определять где они могут находиться в квартире? И как это делать.

Это делается путем подачи иска об определении права пользования квартирой, то есть суд решает кто будет пользоваться какой комнатой.

И как определить сколько это квадратов?

квадраты можно рассчитать, разделить площадь квартиры на 8.

Вам нужно подумать о подаче иска о принудительном выкупе этих небольших долей.