Добрый день!
В силу ст. 1 ч. 3. ГК РФ, при установлении, осуществлении и защите гражданских прав и при исполнении гражданских обязанностей участники гражданских правоотношений должны действовать добросовестно. В Вашем случае бывший собственник явно злоупотребляет своим правом собственности на указанное Вами имущество. Хотя целесообразно в Вашем случае потребоваьб документы, подтверждающие его право на блоки. То что они находились много лет назад на его земельном участке — этого не подтверждает.
По поводу заявления в полицию — Вы никаких противоправных действий не совершали, не беспокойтесь.
У вас есть два выхода из ситуации:
1) Отказать бывшему собственнику в его требованиях;
2) Вывезти блоки в иное место и сообщить бывшему собственнику о месторасположении, объяснив, что указанные блоки мешают Вам пользоваться Вашим имуществом (земельным участком) по его прямому назначению.
Удачи!