Может ли он его отобрать, и оставить меня без единственного жилья?

Ольга Васильевна, здравствуйте.

Если вы являетесь собственником дома, то Вас никто из него не выгонит. Напротив, вы можете выселить супруга при разводе, поскольку этот дом является вашей личной собственностью, и супруг при разделе имущества претендовать на него не может.

Добрый день, Ольга Васильевна.

СК РФ Статья 36. Имущество каждого из супругов

1. Имущество, принадлежавшее каждому из супругов до вступления в брак, а также имущество, полученное одним из супругов во время брака в дар, в порядке наследования или по иным безвозмездным сделкам (имущество каждого из супругов), является его собственностью.

Таким образом, Ваш супруг не имеет права претендовать на Ваше имущество, не имеет права распоряжаться им и выгонять Вас.