Может ли собственник квартиры запретить приходить в гости?

В трехкомнатной квартире прописаны три человека: я, моя мать и моя дочь. Квартира в моей собственности. К матери приходит мой нигде не работающий брат, как говорит в гости, устраивает скандалы во время алкогольного опьянения. Имею ли я право как собственница отказать ему в посещениях, мы с дочерью не чувствуем себя в безопасности в его присутсвии.