Боюсь что они могут мне что-то сделать?

В состав инвентаризационной комиссии рекомендуется включить (п. 2.3 Методических указаний по инвентаризации):
•    сотрудников администрации организации;
•    сотрудников бухгалтерской службы;
•    сотрудников службы внутреннего аудита;
•    сотрудников технических, экономических, юридических подразделений — в зависимости от вида инвентаризируемых активов (обязательств).
Членами комиссии в случае необходимости могут быть и сторонние специалисты (например, оценщики).
Материально ответственных лиц в состав инвентаризационной комиссии не включают, хотя они обязаны присутствовать при проведении инвентаризации. Это следует из п. п. 2.8, 2.10 Методических указаний по инвентаризации.

Таким образом, в целом в Вас могут включить в состав инвентаризационной комиссии, как специалиста, однако — участие в таком случае исключительно добровольное. Если не хотите участвовать — не участвуйте.