因為，在被處罰人不履行行政處罰決定的情況下，只有稅務部門等部門有權調取被凍結的存款抵繳罰款，而其他大多數行政機關都沒有這個權利。
附:《稅收征管法》第四十條。從事生產經營的納稅人、扣繳義務人未按照規定期限繳納或者解繳稅款，納稅擔保人未按照規定期限繳納所擔保的稅款。稅務機關應當責令其限期繳納。逾期不繳納的，經縣級以上稅務局(分局)局長批準，稅務機關可以采取下列強制措施:
(壹)書面通知其開戶銀行或者其他金融機構從其存款中扣繳稅款；