Прямого обмена квартиры на дом тут не выйдет, семейная ипотека и мена, это разные механизмы, которые придётся развести на две отдельные сделки, и без согласия брата на продажу его доли план не соберётся.
Ипотечный банк выдаёт деньги под залог покупаемой квартиры и ждёт от вас договор купли продажи, а не мены на дом, это стандартное требование почти всех банков по программе. Значит дом сначала нужно продать, а вырученные деньги от маминой доли использовать как первоначальный взнос или доплату по ипотеке. Отдельный вопрос, готов ли конкретный банк оформить семейную ипотеку так, что кредит и право собственности будут на вас с мужем, а фактически в квартире будет жить мама, требования у банков и по самой программе на этот счёт отличаются, это стоит уточнить в банке до того, как двигаться дальше.
С домом развилка зависит от брата. Если он согласен продать свою долю вместе с вашей и маминой, дом продаётся целиком одним договором, деньги делятся по долям, и мамина часть идёт в новую квартиру. Если он продавать не хочет, продать получится только доли, которые принадлежат вам и маме, а по ст. 250 ГК РФ при продаже доли постороннему покупателю брата придётся письменно уведомить о преимущественном праве выкупа этой доли по той же цене, и только через месяц ожидания без ответа можно продавать на сторону. Уведомление внутри семьи не требуется, оно нужно только когда покупателем становится кто то с рынка.
Брат готов продавать свою долю, или план строится в расчёте только на ваши с мамой доли?