Может ли что-то грозить, если я назвал звонивших мне мошенниками?

Иван, из сути ситуации что Вы их назвали «мошенниками» это даже не оскорбление и очень трудно в этой ситуации установить состав правонарушения предусмотренного ст. 5.61 КоАП РФ:

1. Оскорбление, то есть унижение чести и достоинства другого лица, выраженное в неприличной форме, — влечет наложение административного штрафа на граждан в размере от одной тысячи до трех тысяч рублей; на должностных лиц — от десяти тысяч до тридцати тысяч рублей; на юридических лиц — от пятидесяти тысяч до ста тысяч рублей.
2. Оскорбление, содержащееся в публичном выступлении, публично демонстрирующемся произведении или средствах массовой информации, — влечет наложение административного штрафа на граждан в размере от трех тысяч до пяти тысяч рублей; на должностных лиц — от тридцати тысяч до пятидесяти тысяч рублей; на юридических лиц — от ста тысяч до пятисот тысяч рублей.

Для этого необходимо установить вину Вашу и степень общественной опасности, которой в данном случае отсутствует. Поэтому, я считаю, что доказать Вашу вину и умысел достаточно сложно и соответственно привлечь к ответственности тоже.

Надеюсь, что помог Вам?!