Добрый день, Виктор.
Вероятно, ни Ваша мама, ни нотариус, не разъяснили Вам Ваши права.
Из текста вопроса неясно, принадлежал ли дом при жизни отца только ему (как добрачное или подаренное ему, полученное им по наследству) имущество, либо дом являлся совместной собственностью супругов. Ничего не говорится и о завещании.
Если исходить из того, что дом принадлежал только отцу, и завещания он не оставил, то его жена и оба его сына унаследуют по 1/3 имущества умершего отца. Каждый из трех вправе, а не обязан — писать заявление об отказе от наследования, и никто не вправе принуждать кого-либо отказываться от своей доли.
Если же дом являлся совместной собственностью супругов, то механизм раздела наследства такой-же, по одной трети каждому из трех претендентов на наследство, только разделу подлежит наследственная масса вдвое меньше — 1/2 совместного имущества супругов, так как другая половина уже принадлежит супруге на праве личной собственности.
Если Вы с братом не согласитесь писать отказ, маме выдадут удостоверение о праве собственности по наследству только на причитающуюся ей долю: в первом случае - на 1/3 дома, во втором случае - на 1/6 дома, которая будет приращена к уже принадлежащей ей 1/2 доле.
Продать же другим лицам принадлежащие маме доли она вправе только после того, как Вы с братом откажетесь выкупить у неё её часть дома.