Здравствуйте!
Для подробного ответа необходима знать условия на основании которых Вы брали деньги. В большинстве случаев именно так и происходит, что штрафные санкции за несвоевременный возврат долга, а именно: %, пени, неустойка и т.п. во много раз превышают сумму основного долга. Если подобные условия имели место быть, то закон на стороне кредитора, и Вам в обязательном порядке необходимо выплачивать всю задолженность. Если Вы этого не сделаете, с Вас в судебном взыщут эту задолженность взыщут и судебные издержки.
Также при судебном разбирательстве Суд может снизить размер начисленных пени и штрафов по ст.333 ГК РФ.
Удачи!