Непонятно нам теперь как всё это толковать?

Уважаемые юристы. Прошу прокомментировать следующую ситуацию. В договоре купли продажи мебели есть такой пункт.

5.1. Товар поставляется на склад Продавца в срок не позднее 45 рабочих дней с момента прохождения Эскизом и Спецификацией входного технологического контроля в соответствии с разделом 2 настоящего Договора.

Товар приехал но с опозданием в 15 дней. В этот же день мы уведомляем Покупателя что товар на складе и готовы отгрузить его. Покупатель в этот же день пишет нам претензию и выкатывает огромную (несоразмерную) неустойку. Мы пишем что согласны с просрочкой но не с размером неустойки и начинаем переписку. При этом товар мы так и не привезли покупателю т.к., он выслал в наш адрес уведомление об удержании остатка денежных средств, поскольку договором была предусмотрена предварительная оплата. Сейчас у нас возникает вопрос? А должны ли мы были всё таки привезти товар не взирая на то, что условиями договора у нас предусмотрена что в течение трех рабочих дней с момента получения уведомления о наличии товара именно на складе, Покупатель обязан оплатить оставшуюся сумму цены Товара (если она не была оплачена им ранее) и согласовать с Продавцом дату и время передачи и установки Товара?

Непонятно нам теперь как всё это толковать? Вроде как мы просрочку допустили и виноваты но при этом условия договора таковы что сначала нам платят оставшуюся сумму а потом мы привозим!