Формальный отказ от наследства посредством осуществления совершенно определенных активных действий — безоговорочный — и свидетельствует о нежелании наследника принять наследство (ст. 1157 ГК РФ). Отказ от наследства путем подачи заявления бесповоротен, т.е., подав заявление об отказе, наследник не вправе отозвать такое заявление и принять наследство даже в том случае, если срок на принятие наследства не истек.
Таким образом, отказ от наследства — это одностороннее волевое действие лица, призванного к наследованию, влекущее утрату им права наследования (отказ от причитающегося ему наследства или непринятие его), совершаемое в установленном порядке в сроки и способами, определенными законодательством.
В Вашем случае выходит, что вы подписали у нотариуса отказ от принятия наследства в пользу брата, поэтому выход один — только договариваться с братом.