在行政訴訟中，如果被告只提交答辯狀而不提供證據，或者故意拖延提供證據，會使原告沒有時間準備反證，或者沒有機會申辯，對原告明顯不公平；此外，如果被告在庭審過程中不斷提供證據，人民法院需要中斷庭審核實各種突發情況，會造成訴訟拖延，影響行政審判效率，難以實現集中審理，進而影響審判質量。此外，拖延舉證時間還會給被告事後收集證據提供很多機會，不利於監督行政機關遵循“先取證，後決定”的程序規則。
因此，被告提交答辯狀時，應當提供具體行政行為的證據，此後提供的證據構成“意外證據”，人民法院不應采納。
法律依據:
中華人民共和國行政訴訟法
第四十三條人民法院應當在立案之日起五日內將起訴書副本發送被告人。被告應當在收到起訴狀副本之日起十日內，向人民法院提交作出具體行政行為的有關材料，並提交答辯狀。人民法院應當在收到答辯狀之日起五日內將答辯狀副本發送原告。
第三十四條被告對行政行為負有舉證責任，應當提供該行政行為及其所依據的規範性文件的證據。
被告不提供證據或者無正當理由逾期不提供證據的，視為沒有相應的證據。但是，被訴行政行為涉及第三人合法權益的，第三人提供證據的除外。