Нужно занимать позицию, что это был подарок, и по возможности, иметь свидетелей, которые данный факт смогут подтвердить. Так как это все таки ваш бывший мужчина — то это вполне нормально, что он сделал подарок.
Говоря юридическим языком, данные правоотношения подпадают под договор дарения. Подарки не возвращаются (за исключением ряда случаев, под которые вы не подпадаете). шансов выиграть дело в суде у него практически нет, а вот требование денег, опять же на юридическом языке, есть ничто иное как вымогательство.
так что скажите ему, что подарок вы ему не вернете, а если он считает, что вы должны вернуть деньги, пусть обращается в суд.