На сколько это вообще страшно?

Пройти по социальной карте другого человека, в данном случае вашего отца, может рассматриваться как неправомерное использование льготы. Это может повлечь административное наказание в виде штрафа, но серьёзных последствий не будет, если вы вовремя оплатите штраф.

Основные моменты:
Нарушение: Использование социальной карты другого человека для проезда в общественном транспорте является нарушением, так как социальная карта выдается конкретному лицу и предназначена только для его использования. За такое нарушение вам могут выписать административный штраф.
Штраф: Как правило, штраф за неправомерное использование льготного проездного документа варьируется в зависимости от региона и вида транспорта. Обычно такие штрафы находятся в пределах от 500 до 2 500 рублей.
Документирование: Если инспекторы сделали фото вашего паспорта и не выдали квитанцию на месте, это не значит, что штраф не будет выписан. Штраф может быть зафиксирован в системе и направлен вам позже. Штраф появится в вашем личном кабинете на Госуслугах или придет по почте.
Что делать:

Ожидайте штраф. Если он придет, его лучше оплатить сразу, чтобы избежать увеличения суммы за просрочку. Обычно дается 60 дней на оплату.
Проверяйте штрафы в личном кабинете Госуслуги или на сайте ГИБДД.
Итог:
Само по себе это не является серьёзным правонарушением, но вам стоит оплатить штраф вовремя, чтобы избежать дополнительных неприятностей, таких как пеня или увеличение суммы штрафа.