Если мужчина с которым я встречалась перевел мне крупную сумму денег, сейчас его дети грозят мне заявлением в полицию требуя возврата денег

Тогда дети вообще не вправе предъявлять к Вам какие-либо претензии, если мужчина жив и в добром  здравии, понимает значение совершаемых им действий и может руководить ими.

 Что говорит мужчина? Какая позиция по  данной ситуации у него?

Подать заявление можно всегда и почти по любому поводу.

Если он вам перевел деньги добровольно, по своему желанию, то состава преступления нет.

Вам ничем не грозит их обращение в полицию.

ГК РФ Статья 209. Содержание права собственности
1. Собственнику принадлежат права владения, пользования и распоряжения своим имуществом.

Его деньги — это его собственность.

Как хочет, так и распоряжается.

Если он  полностью дееспособен, то может это делать по своему усмотрению