Можно ли гулять на территории школы с годовалым ребенком?

Добрый день! Я с подружкой и двумя годовалыми детишками гуляли утром на территории школы, которая не является закрытой, т.е. проход через неё свободный (дом в котором мы проживаем находится рядом, за ограждением, и дорога к дому проходит как раз по территории школы). Мы расстелили одеяло, на котором сидели дети, и сортировали макароны в тарелочках…Возле дома утроиться с годовалыми малышами негде, т.к. выгуливают собак и просто страшно… Мы не шумели, сами одеты были прилично, т.е. вполне закрытая одежда для летней погоды, не распивали алкогольные напитки, только давали детям компот из термоса. Через полчаса отдыха, к нам подошел мужчина, не представившись, в грубой форме, употребляя нецензурную лексику, при малышах, потребовал, чтобы мы убирались с детками за территории школы. Мол шастают тут с детьми и собаками, загородим вообще никто не пройдет. Свое требование обосновал тем, что мы находимся на территории школы, и это не законно. На наш отказ уйти, пригрозил вызвать полицию. На мою фразу не стыдно ли ему при детях ругаться и гнать их с территории собственно тоже детского учреждения, сказал, что нет не стыдно. Настроение было испорчено, подружка плакала… Обидно за своих деток, и за себя. До этого гуляли в колясках, и проблем не было никогда. Учителя наоборот даже рады, что мамочки с малышами гуляют… дополнительный присмотр за детьми, да и детки с малышами общаются на прогулках, бывают очень трогательные моменты. Имеем ли мы законное право гулять на территории школы? И не запрещено ли расстилать одеяло, чтобы детки посидели и поползали… Или нас действительно могут с полицией выгнать, и оштрафовать? Как защитить свои права, если мы можем находится на территории школы?