《中華人民共和國稅收征收管理法實施細則》第八十六條稅務機關行使稅收征管法第五十四條第(壹)項職權時，可以在納稅人、扣繳義務人的營業場所行使職權；必要時，經縣級以上稅務局(分局)局長批準，可以將納稅人、扣繳義務人以前會計年度的賬簿、會計憑證、報表及其他有關資料調回稅務機關檢查，但稅務機關必須向納稅人、扣繳義務人開具繳款清單，並在3個月內全部退還；在特殊情況下，經設區的市、自治州以上稅務局局長批準，稅務機關可以調取納稅人、扣繳義務人當年的帳簿、記帳憑證、報表和其他有關資料，以備檢查，但必須在三十日內交還。
綜上所述，稅務機關有權檢查貴公司的賬簿。帶走妳公司往年的賬本時，必須有縣級以上稅務局(分局)局長批準的清單。不符合程序要求的，可以申請行政復議。
妳的公司可能有問題，不然稅務局不會隨便把妳的賬戶拿走。