Может ли он его обратно забрать

Нахожусь на принудительных работах, работаю на заводе в котором внедрена пропускная система. Мой рабочий день начинается в 7.30 и заканчивается в 4 вечера, но по факту через проходную я выходил два раза в первые минуты 5 часа вечера. Мой начальник узнав об этом сказал что бы я писал Обьяснительную по факту преждевременного оставления рабочего места. Говорит что я якобы должен был ему отдать пропуск и в конце дня его забрать, но сам об этом мне сказал, лишь по факту инцидента, я даже и не знал, что его надо сдавать. Говорит мол я не стал у тебя его забирать, думал ты и сам все знаешь. Работу я не бросал, все доделывал и переодевшись уходил. Мой начальник говорит, что я не имею права уходить так рано с работы, что я должен через проходную был проходить примерно в 4.15. Что теперь будет, могут ли меня за это вернуть в колонию обратно!?