Здравствуйте, Виктор
Ответственность по контракту определяется Постановлением Правительства РФ от 30 августа 2017 г. N 1042 и частью 7 ст.34 закона 44-ФЗ (пеня).
Пеня взыскивается за просрочку, штраф за другие нарушения, кроме просрочки обязательств.
Штрафы по постановлению:
По п. 3 постановления за каждый факт неисполнения или ненадлежащего исполнения обязательств (в процентах)
По п. 6 постановления за каждый факт неисполнения или ненадлежащего исполнения обязательства, не имеющих стоимостного выражения (например мусор за собой не убрали, если в контракте есть такая обязанность) — фиксированная сумма.
Таким образом, предполагаю, что с вас взыскан штраф за неисполнение обязательств по п.3 и судя по размеру штрафа контракт от 3 млн. до 50 млн.
Исходя из предоставленных данных, Заказчик прав.