У нас практика такая — претензионные письма пишем периодически (раз в пару недель, например). Действительно, по 44-ФЗ, в отличие от 94-ФЗ, предъявлять штрафные требования заказчик обязан. А после пары таких претензий подавайте в суд, не тяните. А то следом за прокурором и Контрольно-счетная палата начнет Вам писать, мол, ничего не делаете и бюджет страдает.
Можете сделать ход конем и (если уже были претензии, желательно) направить подрядчику уведомление о расторжении муниципального контракта в одностороннем порядке. Последствия такого расторжения, думаю, и Вам, и подрядчику хорошо известны, так что это должно его пошевелить.
В целом же позиция прокурора формально правильная, хотя и «палочная».