Можно ли что то сделать, чтобы его не депортировали?

Основанием для его депортации является требования ст. 27 ФЗ от 15.08.1996 N 114-ФЗ «О порядке выезда из Российской Федерации и въезда в Российскую Федерацию»

в силу которой

 Въезд в Российскую Федерацию иностранному гражданину или лицу без гражданства не разрешается в случае, если:
3) иностранный гражданин или лицо без гражданства имеют неснятую или непогашенную судимость за совершение умышленного преступления на территории Российской Федерации или за ее пределами, признаваемого таковым в соответствии с федеральным законом;

Таким образом, наличие данного основания предполагает утрату им права пребывания в РФ с применением по отношении к нему процедуры депортации.

Решение о депортации выносится в порядке, установленном Приказом МВД России от 24.04.2020 N 239
«Об утверждении Порядка депортации иностранных граждан и лиц без гражданства Министерством внутренних дел Российской Федерации и его территориальными органами» и он вправе обжаловать принятое в отношении него решения в судебном порядке.

На принятое решение он вправе подать административный иск в суд.

В обоснование поданного иска можно указать, что решение о депортации повлечет чрезмерное вмешательство в имеющиеся у Вашего мужа  отношения, нарушит его право на уважение личной и семейной жизни, а также ведет к несоблюдению баланса публичных и частных интересов, учитывая его длительное пребывание в Российской Федерации, совместное проживание с гражданской Российской Федерации.

Вместе с тем, окончательное решение в данном вопросе отнесено к прерогативе суда, который может принять во внимание  Определение Конституционного Суда РФ от 05.03.2014 N 628-О, которым было отмечено, что 

3.1. Семья и семейная жизнь, относясь к ценностям, находящимся под защитой Конституции Российской Федерации и международных договоров России, не имеют, однако, безусловного во всех случаях преимущества перед другими конституционно значимыми ценностями, а наличие семьи не обеспечивает иностранным гражданам бесспорного иммунитета от законных и действенных принудительных мер в сфере миграционной политики, соразмерных опасности миграционных правонарушений (особенно массовых) и практике уклонения от ответственности.

И в этой связи, несмотря на то, что Вы состоите в браке — отказать в удовлетворении иска, ввиду того, что данный факт не является препятствием для его депортации.

И тут в качестве «негативного» примера из практики можно привести Апелляционное определение Свердловского областного суда от 07.09.2021 по делу N 33а-12997/2021

ссылка административного истца на сложившиеся семейные отношения не влечет в безусловном порядке признание оспариваемого решения нарушающим право административного истца на уважение личной и семейной жизни, не является бесспорным и достаточным доказательством, подтверждающим несоразмерное вмешательство государства в его личную и семейную жизнь, как нарушение оспариваемым решением гарантий для иностранных граждан, в отношении которых принято решение о депортации, установленных статьей 8 Конвенции о защите прав человека и основных свобод. Тем более, вступление на территории Российской Федерации в брак/сожительство с гражданкой России, с которой факт наличия устойчивых семейных отношений не установлен, не освобождает административного истца от соблюдения законов Российской Федерации и от ответственности за их неисполнение.

Таким образом, шансов в том, что суд удовлетворит его требование об оставлении на территории РФ и отмене решения о депортации — 50 на 50.