Кому я должен выплачивать ущерб в данном случае?

Добрый день

По вопросу о том, влечет ли смерть лица, причинившего вред, прекращение обязательства выплатить компенсацию морального вреда, существуют две позиции высших судов

Позиция 1. В случае смерти лица, причинившего вред, обязанность выплатить компенсацию морального вреда прекращается

 Определение Верховного Суда РФ от 03.02.2012 N 53-В11-19

По смыслу п. 1 ст. 418 ГК РФ обязательство компенсировать причиненный моральный вред может быть исполнено должником, так как неразрывно связано именно с его личностью. Правопреемство в данном случае законодательством не предусмотрено.

Позиция 2. В случае смерти лица, причинившего вред, обязанность выплатить компенсацию морального вреда переходит к его наследникам

 Обзор судебной практики Верховного Суда РФ за первый квартал 2000 года (утв. Постановлением Президиума Верховного Суда РФ от 28.06.2000)

В порядке наследования переходят как права, так и обязанности наследодателя. Если лицо, причинившее моральный вред, умерло, обязанность выплатить денежную компенсацию переходит к его наследникам как имущественная. Наследники должны выплатить ее в пределах действительной стоимости перешедшего к ним наследственного имущества.

На Ваш вопрос нет точного ответа и существует разная судебная практика.
Можете не платить, и если наследники подадут в суд, то есть шанс выиграть.