Жены и детей у него не было только брат, сестра и мать

Да, долги умершего брата могут быть взысканы с наследников. Наследники принимают наследство целиком, включая долги, если они не отказываются от наследства. Однако, наследники отвечают за долги только в пределах стоимости полученного наследственного имущества.  
Пояснения:
Наследование долгов:
Если вы вступите в наследство, то вместе с имуществом вам перейдут и долги вашего брата.  
Отказ от наследства:
Вы можете отказаться от наследства, чтобы не платить долги, но в этом случае вы не сможете получить и имущество умершего.  
Ответственность в пределах имущества:
Наследники отвечают по долгам в пределах стоимости наследственного имущества. Если долги больше стоимости имущества, то остаток не нужно выплачивать.  
Срок вступления в наследство:
На вступление в наследство дается 6 месяцев со дня смерти наследодателя.  
Обращение к нотариусу:
Чтобы вступить в наследство или отказаться от него, нужно обратиться к нотариусу.  
Долги, не связанные с личностью:
Долги, связанные с личностью (алименты, штрафы и т.д.) не переходят по наследству.