Формально он применил к вам насилие, так как оттолкнул вас и проник в ваше жилье против вашей воли. Вы можете обратиться в следственный комитет с заявлением о привлечении его к уголовной ответственности и если установят состав то могут возбудить дело
Статья 139. Нарушение неприкосновенности жилища
1. Незаконное проникновение в жилище, совершенное против воли проживающего в нем лица, — наказывается штрафом в размере до сорока тысяч рублей или в размере заработной платы или иного дохода осужденного за период до трех месяцев, либо обязательными работами на срок до трехсот шестидесяти часов, либо исправительными работами на срок до одного года, либо арестом на срок до трех месяцев.
2. То же деяние, совершенное с применением насилия или с угрозой его применения, — наказывается штрафом в размере до двухсот тысяч рублей или в размере заработной платы или иного дохода осужденного за период до восемнадцати месяцев, либо исправительными работами на срок до двух лет, либо принудительными работами на срок до двух лет, либо лишением свободы на тот же срок.