Будет ли военкомат продолжать выплачивать мне военную пенсию после выписки из квартиры?

Сама по себе выписка из квартиры не означает автоматического прекращения выплаты военной пенсии. Я бы сказала так: формально выплаты не остановят сразу, но от ваших дальнейших действий будет зависеть, как долго и на каком основании военкомат продолжит платить. 

Дело в том, что по закону (статья 56 Закона РФ № 4468-1) выплата осуществляется по месту жительства или месту пребывания пенсионера. Когда вы выписываетесь, у вас фактически меняется место пребывания. И здесь есть два сценария. 

Если вы быстро оформите новую постоянную или временную регистрацию — просто сообщите об этом в военкомат. Он переведёт пенсионное дело в орган по новому адресу, и выплаты продолжатся на законных основаниях. 
Если с новой регистрацией пока неопределённость — это тоже не повод сразу приостановить выплаты. Закон прямо предусматривает такую ситуацию: при отсутствии регистрации по новому месту жительства пенсия выплачивается на основании вашего личного заявления, в котором вы указываете фактическое место жительства или пребывания. То есть вам нужно самостоятельно связаться с военкоматом (можно письменно или через личный кабинет, если есть такая возможность) и подать такое заявление. 
Важное уточнение: Конституционный Суд РФ подтверждал, что отсутствие регистрации само по себе не должно лишать военного пенсионера права на получение пенсии — достаточно заявления с указанием фактического места проживания.

Мой совет: не ждите автоматического приостановления. Как только ситуация с регистрацией прояснится (или даже если пока нет чёткого адреса, но есть место, где вы фактически живёте) — сразу свяжитесь с вашим пенсионным органом. Так вы сохраните непрерывность выплат и избежите лишних вопросов. 

Если в военкомате начнут настаивать, что без штампа в паспорте платить не будут, — ссылайтесь на статью 56 Закона № 4468-1 и позицию Конституционного Суда.