Артем, добрый день!
Нет, недействительным договор признать нельзя. Статьями 166-179 ГК РФ установлен перечень условий, когда сделку можно признать недействительной и ваш случай к нему не относится.
При подписании договора вы были идентифицированы не только по паспорту, но и по иным содержащий в банке сведениям о Вас, СНИЛС, ИНН, дата и место рождения, адрес регистрации, реквизиты паспорта.
Как правило, в договорах есть информация, что каждая сторона обязана уведомить другую об изменении данных о ней и риск непредставления информации несет соответствующая сторона, то есть Вы.
В паспорте РФ на странице №19 указаны реквизиты действующих ранее паспортов, соответсвенно, идентифицировать Вас как заемщика не составит сложности.
Рекомендую сообщить банку информацию и подписать соответствующее соглашение о внесении изменений в Договор.
Всего доброго!