根據《治安管理處罰法》規定，對納稅人的騷擾、辱罵會對稅務局接線員造成身心傷害，長時間占線會嚴重擾亂稅務局的工作秩序，警方會對納稅人進行查處，所以納稅人打電話到稅務局罵人是違法的。
納稅人對稅務機關的處理不服的，可以申請稅務行政復議。稅務行政復議的範圍包括與稅收征收、罰款、沒收非法所得和非法財物有關的行為，以及停止出口退稅權的行為。