А если ни слова про рабочее место, то можно прогуливать?

В трудовом договоре у вас указано место работы (территория работодателя) и часы работы, что значит, что в указанные рабочие часы вы обязаны работать на территории работодателя. 

Нет, прогуливать нельзя. В случае, если Вы отсутствовали на месте работы (не рабочем месте) более 4 часов без уважительной причины, то работодатель вправе попросить Вас написать объяснительную, а непосредственный начальник может написать докладную по факту Вашего отсутствия. Если Вы откажетесь давать объяснения, то с участием других работников может быть составлен акт, о том, что Вы отказались. Вас в любом случае могут привлечь к дисциплинарной ответственности, в том числе и уволить.