Как вернуть часть дома, которая в ипотеке?

Я думаю, что вопрос не в том, что муж взял ипотеку, а в том, что он купил часть дома и присоединил к вашей общей собственности без вашего соогласия. 

То есть в данном случае совместно нажитое имущество считается общей собственностью супругов ( в том числе и долги). Но общим имуществом распоряжаться, в том числе и прибавлять площадь, заключать договор залога, должно быть с согласия второго собственника.
В данных обстоятельствах случае ваш иск был составлен не правильно.
Решив данный вопрос, вы сможете решить и вопрос ипотеки. Но в этом случае надо признать договор купли продажи доли недействительным. 

Светлана, здравствуйте!

Любое недвижимое имущество, приобретенное супругами в период брака по возмездной сделке, является совместным, независимо от того, на кого оно оформлено (ст. 34 СК РФ)

К недвижимому имуществу законодательство относит земельные участки, предприятия, здания, сооружения, нежилые помещения, квартиры и другие вещи, сделки в отношении которых требуют государственной регистрации.

При покупке недвижимости и оформлении её на одного из супругов нотариального согласия на сделку от второго супруга не требуется. Исключение составляет покупка жилья с привлечением кредитных средств по ипотечной программе — в этом случае второй супруг предоставляет нотариальное согласие на залог приобретаемой квартиры (ст. 35 СК РФ).

А вот при продаже совместного имущества нотариальное согласие супруга обязательно. Без него продать совместную недвижимость невозможно.

Сделка может пройти государственную регистрацию без согласия другого супруга, если ее объектом является имущество, которое составляет собственность только одного супруга (ст. 36 СК РФ) или если вследствие длительного отсутствия другого супруга и неизвестности его местонахождения он был признан судом безвестно отсутствующим (ст.ст. 42, 43 ГК РФ).

Полагаю, что в Вашем случае не совсем верно были сформулированы исковые требования, что и повлекло отказ суда.

Всего доброго!