Если отцовство брата официально подтверждено (есть в свидетельстве о рождении или установлено через суд), он такой же наследник первой очереди, как Вы и сестра - по ст. 1142 ГК РФ. Доля отца (1/2 квартиры) делилась бы поровну между наследниками первой очереди - мамой, Вами, сестрой и братом, то есть по 1/4 от этой половины. Раз Вы с сестрой отказались в его пользу, а мать и так наследует свою часть, брату причитается его 1/4 доля от папиной половины - это 1/8 всей квартиры.
Но здесь есть нюанс поважнее размера доли. Срок принятия наследства - 6 месяцев со дня смерти, а у Вас он уже истёк или истекает буквально сейчас. Если брат до сих пор не подавал заявление нотариусу, просто "заявить о желании" ему не хватит - придётся восстанавливать срок через суд по ст. 1155 ГК РФ, доказывая, что он не знал и не должен был знать об открытии наследства, либо был лишён возможности принять его по другим уважительным причинам. Суды к таким искам относятся строго, "не знал, потому что не общался с семьёй" - аргумент слабый, если брат в принципе знал о смерти отца и просто не занимался оформлением.
Плюс важно понять статус самого брата - если он не записан в свидетельстве о рождении отца как сын, ему сначала нужно устанавливать отцовство посмертно через суд, и только потом подавать заявление на наследство. Это отдельная и не быстрая история.
Получите конкретный план действий по ситуации: что сделать дальше, какие документы подготовить и на какие сроки ориентироваться.
Здесь сначала нужно разобраться каким образом эта квартира была приобретена в собственность.
Если это была купля-продажа, то Вашей маме нужно будет выделить супружескую долю, по закону это половина (ст. 39 СК), и только оставшаяся половина входит в состав наследственной массы и будет делиться между всеми наследниками.Т.е 1/4 это собственность матери, а 1/4 будет делиться между наследниками 1-й очереди: это жена, родители, дети умершего (ст. 1142 ГК).
Если квартира была приватизирована то доли такие же.
В вашей ситуации 1/4 делиться на 4-х наследников, это по 1\16 на каждого.
Поскольку Вы с сестрой отказались в пользу матери, Вашему брату положена только 1/16 доля.
Если моя консультация оказалась полезной, буду благодарна за отзыв.
