Я с ними не общаюсь, как мне вернуть свои деньги?

В таком случае Вы трое являетесь солидарными должниками по отношению к истцу.

Если Вы единолично оплатили долг за всех солидарных должников, Вы вправе подать иск в суд о взыскании денежных средств с других двух наследников.

Обоснование:

пп. 1 п. 2 ст. 325 ГК РФ:

Исполнение солидарной обязанности полностью одним из должников освобождает остальных должников от исполнения кредитору.

Если иное не вытекает из отношений между солидарными должниками:  
1) должник, исполнивший солидарную обязанность, имеет право регрессного требования к остальным должникам в равных долях за вычетом доли, падающей на него самого.

Буду рада Вашему отзыву, если мой ответ помог.