可以，但是只能辦理臨時稅務登記證。
根據《中華人民共和國國家稅務總局關於進壹步做好稅務登記管理工作的公告》(中華人民共和國國家稅務總局公告第201121號)規定，從事生產經營的納稅人應當辦理工商營業執照，或者未經有關部門批準，需要經有關部門批準設立的(以下簡稱無證納稅人)。納稅義務發生之日起30日內辦理稅務登記。稅務機關應當向無證納稅人發放臨時稅務登記證及復印件，限量供應發票。
無證納稅人取得營業執照或者經有關部門批準設立的，應當自取得營業執照或者有關部門批準設立之日起30日內，向稅務機關申報辦理稅務登記，稅務機關發給稅務登記證及復印件；已領取臨時稅務登記證及其復印件的，由稅務機關收回作廢。
什麽時候需要使用稅務登記證？
(1)納稅人在辦理下列事項時，必須提供稅務登記證:
①開立銀行賬戶；
②領購發票。
提示:
①自開立基本賬戶或其他存款賬戶之日起15日內向主管稅務機關申報所有賬戶；
②如有變更，應自變更之日起15日內向主管稅務機關書面報告。
(二)納稅人辦理其他稅務事項時，應當出示稅務登記證件:
①申請減免稅和退稅；
(2)申請延期申報和延期納稅；
(三)申請開具外出經營活動稅收管理證明；
(四)辦理停業、歇業。
(3)稅務登記證不得轉借、塗改、損毀、買賣和偽造。稅務機關實行定期驗證和更換稅務登記證件的制度。