不穿制服不可以執法，但是節假日也是可以執法的。
稅務稽查工作規程規定稅務人員需要兩名以上檢查人員***同實施，並出示稅務檢查證和稅務檢查通知書。
在國家稅務總局發布的《國家稅務總局關於加強稅務系統著裝管理的通知》中有明文規定：
（壹）各級稅務機關要重視和加強對稅務著裝人員著裝風紀的管理工作，並將此納入考核範圍，嚴格管理。
（二）各級稅務機關要成立專門的著裝風紀管理領導小組。負責貫徹落實總局稅務著裝有關政策規定，指導本單位稅容風紀管理工作；定期組織稅容風紀的檢查和抽查。
（三）稅務著裝人員必須嚴格遵守著裝風紀，執行公務時必須按規定穿著統壹制發的稅務制服。服裝穿著要整潔適體，扣好在扣、領鉤，不得披衣、敞懷、挽袖、卷褲腿；標誌要完整清晰，佩戴端正，保持良好的稅務執法形象。
（四）稅務人員著裝要統壹規範。服裝必須成套穿著，系稅務專用領帶；不準制服、便服混穿，不準不同季節的制服混穿；大檐帽和冬帽與衣服的穿戴要壹致；鞋子顏色式樣與衣服的搭配應協調；著冬裝、春秋裝時佩戴硬肩章，著夏裝時佩戴軟肩章，硬、軟肩章不得混戴，帽徽佩戴要端正。
（五）稅務人員在公***場所要自覺維護稅務人員榮譽。著裝執行公務時，不準吃零食、吸煙、酗酒；不準勾肩搭背、嬉戲打鬧。除執行公務外，嚴禁著稅務制服進入營業性歌舞廳夜總會等娛樂場所。
（六）稅務著裝人員要愛護稅務服裝和標誌，不準任意拆改服裝樣式、不準借給他人穿戴，更不準送人或變賣。
（七）為了著裝整齊壹致，各單位可根據本地區氣溫變化情況，確定統壹的季節換裝時間。
參考資料
國家稅務總局關於加強稅務系統著裝管理的通知.法律教育網[引用時間2018-4-10]