Как разменять квартиру, если один человек не хочет

Здравствуйте!у нас такая ситуация!в трехкомнатной квартире прописаны 5 человек,один из них годовалый ребенок.с нами проживает брат,который не дает спокойно жить,выпивает,кричит,не дает ребенку спать ,угрожает. проживает он со своей сожительницой ее сыном (без прописки).при этом квартиру разменять отказывается.можно ли как нибудь разменять квартиру без его согласия?подать в суд?