Здравствуйте!
Вы подали только исковое заявление о расторжении брака, или также заявили об определении места жительства детей с Вами?
Вы раздельно проживаете с ним?
Так, если Вы подали только исковое заявление о расторжении брака, то суд будет рассматривать его, в этом случае, если он захочет определить место жительства детей с собой, то пусть подает соответствующий иск об этом в районный суд.
Согласно ст. 65 СК РФ
3. Место жительства детей при раздельном проживании родителей устанавливается соглашением родителей.
При отсутствии соглашения спор между родителями разрешается судом исходя из интересов детей и с учетом мнения детей.
Работаю, но живем в служебном жилье оформленное на него
Поскольку после расторжения брака Вы перестанете быть членом его семьи, то может быть Ваше выселение из него, по его инициативе, если он обратиться с соответствующим иском в судебном порядке.