Есть ли статья, по которой они имеют право нам отказать, если мы их налогоплательщики?

Добрый день!

Вы указываете

Пишите заявление в 46 налоговую на отказ от заявления на переезд

Никаких правовых оснований для таких заявлений у налогового органа не имеется. При проведении проверки налогового органа и осмотре помещения фирма фактически располагалась по заявленному адресу. По результатам проверки места нахождения Общества налоговый орган составляет акт. Обязанность доказывания обстоятельств, на основании которых государственным органом принимается какое-либо решение, возлагается на соответствующий орган. 

Согласно подпунктам «а», «р» пункта 1 статьи 23 Закона № 129-ФЗ 

 «О государственной регистрации юридических лиц и индивидуальных предпринимателей» 

отказ в государственной регистрации допускается в случае непредставления
заявителем определенных данных  Законом необходимых для
государственной регистрации документов; при наличии у регистрирующего
органа подтвержденной информации о недостоверности содержащихся
в представленных документах сведений, предусмотренных подпунктом
«в» пункта 1 статьи 5 Закона (об адресе постоянно действующего
исполнительного органа юридического лица, по которому с ним
осуществляется связь.

Никаких доказательств   недостоверности  сведений об адресе юридического лица у налогового органа не имеется. Представитель налогового органа пытался психологически оказать на вас давление, используя в т.ч. «нестандартную» лексику. Переговоры с данным лицом целесообразно фиксировать.

Я не приму вас

Никаких правовых оснований так заявлять в  рассматриваемой ситуации у представителя налогового органа не имеется.

Здравствуйте, Вероника! 

Отказ в государственной регистрации допускается в случае наличия возражений, направленных в регистрирующий орган

Заинтересованные лица вправе направить в уполномоченный государственный орган возражения относительно предстоящей государственной регистрации изменений устава юридического лица или предстоящего включения данных в единый государственный реестр юридических лиц в порядке, предусмотренном законом о государственной регистрации юридических лиц. Уполномоченный государственный орган обязан рассмотреть эти возражения и принять соответствующее решение в порядке и в срок, которые предусмотрены законом о государственной регистрации юридических лиц.
51 ГК РФ

по сути инспектор требует от Вас заявления с возражениями относительно внесения данных об изменении места нахождения юридического лица. 

 Есть ли статья, по которой они имеют право нам отказать, если мы их налогоплательщики?

Статья есть, но в ней  речь идет   о  наличии у Вас права  предъявить возражения относительно внесения  данных в ЕГРЮЛ. 

Поэтому  Вы можете проигнорировать требования   инспектора  по написанию заявления  с  такими  возражениями.