不需要。沒有銀行賬戶是可以辦理稅務登記，但在開立銀行賬戶之後應盡快去稅務局備案，會計制度應該是備案錯了或者不合理，壹般選擇企業會計準則。稅務登記證準備材料：
（壹）營業執照副本原件及復印件。
（二）單位公章。
（三）法人代表身份證原件及復印件（非法人單位提交負責人身份證原件及復印件）。
（四）集體、全民所有制單位和非法人單位提交上級主管部門代碼證書復印件。
（五）單位郵編、電話、正式職工人數。
（六）經辦人身份證原件及復印件。
《中華人民***和國稅收征收管理法》第十五條：
企業，企業在外地設立的分支機構和從事生產、經營的場所，個體工商戶和從事生產、經營的事業單位（以下統稱從事生產、經營的納稅人）自領取營業執照之日起三十日內，持有關證件，向稅務機關申報辦理稅務登記。稅務機關應當於收到申報的當日辦理登記並發給稅務登記證件。