法律分析：公司壹直不做稅務登記會進行罰款。企業，企業在外地設立的分支機構和從事生產、經營的場所，個體工商戶和從事生產、經營的事業單位（以下統稱從事生產、經營的納稅人）自領取營業執照之日起三十日內，持有關證件，向稅務機關申報辦理稅務登記。未按照規定的期限申報辦理稅務登記、變更或者登出登記的，由稅務機關責令限期改正，可以處二千元以下的罰款；情節嚴重的，處二千元以上壹萬元以下的罰款。
法律依據：《中華人民***和國稅收征收管理法》
第十五條 企業，企業在外地設立的分支機構和從事生產、經營的場所，個體工商戶和從事生產、經營的事業單位（以下統稱從事生產、經營的納稅人）自領取營業執照之日起三十日內，持有關證件，向稅務機關申報辦理稅務登記。稅務機關應當於收到申報的當日辦理登記並發給稅務登記證件。工商行政管理機關應當將辦理登記註冊、核發營業執照的情況，定期向稅務機關通報。本條第壹款規定以外的納稅人辦理稅務登記和扣繳義務人辦理扣繳稅款登記的範圍和辦法，由國務院規定。
第六十條 納稅人有下列行為之壹的，由稅務機關責令限期改正，可以處二千元以下的罰款；情節嚴重的，處二千元以上壹萬元以下的罰款：
（壹）未按照規定的期限申報辦理稅務登記、變更或者註銷登記的；
（二）未按照規定設置、保管帳簿或者保管記帳憑證和有關資料的；
（三）未按照規定將財務、會計制度或者財務、會計處理辦法和會計核算軟件報送稅務機關備查的；
（四）未按照規定將其全部銀行帳號向稅務機關報告的；
（五）未按照規定安裝、使用稅控裝置，或者損毀或者擅自改動稅控裝置的。
納稅人不辦理稅務登記的，由稅務機關責令限期改正；逾期不改正的，經稅務機關提請，由工商行政管理機關吊銷其營業執照。納稅人未按照規定使用稅務登記證件，或者轉借、塗改、損毀、買賣、偽造稅務登記證件的，處二千元以上壹萬元以下的罰款；情節嚴重的，處壹萬元以上五萬元以下的罰款。