Как можно ему ответить, не доводя это до скандала?

Доброго времени суток!

Поскольку Ваш брак официально не зарегистрирован, то с точки зрения действующего законодательства Российской Федерации никакие правовые последствия он не влечёт. Что касается переданных Вам денежных средств, то вернуть он может как неосновательное обогащение, если докажет, но и то по статье 1109 Гражданского Кодекса Российской Федерации не подлежат возврату:

заработная плата и приравненные к ней платежи, пенсии, пособия, стипендии, возмещение вреда, причиненного жизни или здоровью, алименты и иные денежные суммы, предоставленные гражданину в качестве средства к существованию, при отсутствии недобросовестности с его стороны и счетной ошибки.

Тем самым, можете сослаться на данные обстоятельства.

С уважением,

Артем Гагикович!