Добрый вечер, Екатерина.
Ваша мама, если бы она была полновластной собственницей квартиры, была бы вправе требовать снятия с регистрации (прописки), если она была, и выселения в судебном порядке только гражданскую жену (сожительницу) Вашего брата, но не несовершеннолетнюю дочь брата, если нет другого гарантированного места для её регистрации (прописки) и проживания. Но даже в таком случае мать вправе, даже без регистрации (прописки) проживать совместно с несовершеннолетним ребёнком до достижения им, как минимум, четырнадцатилетнего возраста.
Но поскольку несовершеннолетняя дочь брата является ещё и сособственницей квартиры, как я понял из текста Вашего вопроса, то ни снять с регистрации (выписать), ни выселить её из квартиры нельзя. Поскольку её мать является её законным опекуном, а следовательно — и распорядителем принадлежащего дочери имущества (в данном случае — части квартиры), то без согласия сособственника — дочери (выразителем воли которого является его опекун — мать) выселить её практически невозможно. Ведь невозможно представить, что мать, выражая интересы своей дочери, даст согласие на выселение в судебном порядке из квартиры самой себя!
Если возраст дочери брата приближается к 14 годам, то целесообразно набраться терпения и рассмотреть возможность выкупа (с обязательным согласием органа опеки и попечительства) принадлежащей ей доли квартиры, а затем последовательно в судебном порядке снять с регистрации и выселить вначале сожительницу Вашего брата, а по достижении совершеннолетия - и саму дочь брата.
Нельзя сбрасывать со счетов и возможность дочери брата (племянницы) уже в настоящее время подарить хоть какую-либо, даже самую символическую, часть от принадлежащей ей доли квартиры (эта процедура возможна только с согласия органов опеки и попечительства) своей матери: став сособственницей хоть какой-то части жилья, она вправе зарегистрироваться (прописаться) и проживать в этой квартире.
Желаю удачи !