Можно ли не ходить по повестке на допрос в налоговую инспекцию?

Ответственность по НК РФ установлена при неявке свидетеля, поэтому выясните в качестве кого Вас вызывают. Не советую уклоняться от явки, поскольку согласно

КоАП РФ, Статья 19.4. Неповиновение законному распоряжению должностного лица органа, осуществляющего государственный надзор (контроль), муниципальный контроль

(в ред. Федерального закона от 05.05.2014 N 125-ФЗ)

1. Неповиновение законному распоряжению или требованию должностного лица органа, осуществляющего государственный надзор (контроль), государственный финансовый контроль, муниципальный контроль, муниципальный финансовый контроль, — (в ред. Федеральных законов от 05.05.2014 N 125-ФЗ, от 27.10.2015 N 291-ФЗ)

влечет предупреждение или наложение административного штрафа на граждан в размере от пятисот до одной тысячи рублей; на должностных лиц — от двух тысяч до четырех тысяч рублей.

Статья 51 Конституции РФ

1. Никто не обязан свидетельствовать против себя самого, своего супруга и близких родственников, круг которых определяется федеральным законом.
2. Федеральным законом могут устанавливаться иные случаи освобождения от обязанности давать свидетельские показания.

Здравствуйте, Валерий! Лучше явиться, иначе с Вас скорее всего взыщут штраф. Просто перед поездкой заранее уточните по телефону по какому вопросу Вас вызывают.

В силу ст. 128 НК РФ,
Неявка либо уклонение от явки без уважительных причин лица, вызываемого по делу о налоговом правонарушении в качестве свидетеля,влечет взыскание штрафа в размере тысячи рублей.
Неправомерный отказ свидетеля от дачи показаний, а равно дача заведомо ложных показаний влечет взыскание штрафа в размере трех тысяч рублей.