Оскорбление личности

Согласно Уголовного кодекса РФ

Статья 128.1. Клевета
[Уголовный кодекс РФ] [Глава 17] [Статья 128.1]

1. Клевета, то есть распространение заведомо ложных сведений, порочащих честь и достоинство другого лица или подрывающих его репутацию, — наказывается штрафом в размере до пятисот тысяч рублей или в размере заработной платы или иного дохода осужденного за период до шести месяцев либо обязательными работами на срок до ста шестидесяти часов.

Т.е. Вы выразили предположение в ходе диалога, т.е. выразили свою мысль, а это законом не запрещается. Вот если Вы бы стали рассылать подобные сведения другим лицам например в социальной сети или рассылать смс сообщения, вот тогда бы еще и может быть был состав преступления, и то потребовалась бы лингвистическая экспертиза.

А вот если в отношение Вас высказываются оскорбления, и угрозы, то я советую Вам написать заявление в прокуратуру (именно данный орган занимается административными правонарушениями по оскорблениям).

Статья 5.61. Оскорбление
[Кодекс РФ об административных правонарушениях] [Глава 5] [Статья 5.61]

1. Оскорбление, то есть унижение чести и достоинства другого лица, выраженное в неприличной форме, — влечет наложение административного штрафа на граждан в размере от одной тысячи до трех тысяч рублей; на должностных лиц — от десяти тысяч до тридцати тысяч рублей; на юридических лиц — от пятидесяти тысяч до ста тысяч рублей.
2. Оскорбление, содержащееся в публичном выступлении, публично демонстрирующемся произведении или средствах массовой информации, — влечет наложение административного штрафа на граждан в размере от трех тысяч до пяти тысяч рублей; на должностных лиц — от тридцати тысяч до пятидесяти тысяч рублей; на юридических лиц — от ста тысяч до пятисот тысяч рублей.
3. Непринятие мер к недопущению оскорбления в публично демонстрирующемся произведении или средствах массовой информации — влечет наложение административного штрафа на должностных лиц в размере от десяти тысяч до тридцати тысяч рублей; на юридических лиц — от тридцати тысяч до пятидесяти тысяч рублей.

При этом обращаясь в прокуратуру, сразу возьмите и распечатки переписок и другие сведения которые Вам известно. 

В Вашем случае лучше предпринять первой привентивные меры, раз они знают Ваш адрес.