И куда обращаться, стоит ли идти в суд?

Здравствуйте! Помогите, пожалуйста, решить вопрос. С чего вообще начинать и куда обращаться? Папа с братом были прописаны в деревенском доме с момента рождения. Дом был оформлен когда-то на мою прабабушку (их бабушку). Далее никто в наследство не вступал более 15 лет, после (ни бабушка, ни дед, ни брат, папа и еще человек 5 братьев и сестер. Их 7. Прописаны постоянно в этом доме двое). Шесть лет назад решили оформить землю в собственность. Поскольку папа и брат прописаны, они считаются принявшими наследство по факту. Остальные родственники у нотариуса написали отказ. Четыре года назад папы не стало и его жена и дети вступили в наследство на землю. Но дом так и остался не оформленным. Теперь родственники пытаются приложить руки к этому дому, говоря, что отказались только от земли и на дом имеют такое же право, как и собственники земельного участка. Насколько я знаю, если пишешь отказ от наследства, то отказываешься от всего имущества в чем бы оно ни заключалось и где бы ни находилось. Каким образом теперь можно брату и семье папы оформить дом в собственность?