鴉片戰爭後，中國失去了關稅自主權，但海關行政仍由中國管理。1853年9月，上海刀會起義，占領上海縣城，租界內遷至外灘的江海關被群眾破壞。英美駐滬領事擅自公布《船舶通關暫行條例》，因外商反對而未能實施。此時外國船只可以自由進出上海港，江海海關被外國勢力封鎖，無法恢復征稅。1854年夏，英國領事阿利果(1809 ~ 1897)提出了組建中外聯合海關的計劃。兩江總督伊良(？~ 1867)派蘇宋太刀吳(約1815 ~約1870)於6月29日與英、美、法駐滬領事會面。規定三國領事各提名壹人，中國任命其為稅監，與中國共管。1859江海海關英國稅務監李泰國(1832 ~ 1898)被任命為總稅務司，負責招募外國人擔任各口岸稅務司。從此，外國稅務部門管理中國海關成為壹種制度。從1861赫德，英國人，廣州副稅務司，任總稅務司(起初代理)，管理中國海關近半個世紀。海關機構主要是兩個部門:稅務和船務票據。稅收分為內班(處理商家報關收稅)、外班(檢查通關貨物)和海班(巡水緝私)。民國後改稱海事，主管航運行政和港口事務。從業人數最多的是郵政時代，1910年的19169從業人員；1911年郵政分離後，數量下降到7230個；未來大致在八千到九千人之間。其中外國人約占1/6，國籍最多達到20多個國家，英國人占絕對多數。所有重要的海關崗位都由外國人擔任，而中國成員只擔任中低級職務；中外關員的生活狀況差異很大，導致了外國人統治中國關員的局面。
收回海關管理權的鬥爭在清朝結束，當時海關設法征收稅款，稅款的保管由清政府任命的海關監理控制。辛亥革命爆發後，稅務總局與駐京外交使團壹起，將關稅分成匯豐、德華、道生三家外資銀行的稅務總局賬戶。此後，稅收保管權也落入外國人手中，連中國政府也無權動用剩余的債務償還和賠償余額。1917年，孫中山領導的軍政府在廣州成立。從1918要求按比例分攤通關款，到與外交團、稅務總局長期鬥爭，逐漸發展成為要求關稅自治、收回海關管理權的群眾運動。1924開始的國民革命推動了這場運動。1926，10年6月，廣州革命政府外交部頒布了《關於征收貨物產、運、銷臨時地方稅的規定》，成為不管帝國主義控制的海關，自行征收生產銷售稅的第壹個行動。隨後，地方勢力也趁機對貨物征收附加稅。海關涉外稅務系統受到沖擊。
1927國民黨政府成立後，
海關涉外稅務部門系統已經恢復和穩定。但經過第壹次國內革命戰爭和對外談判，中國取得了壹定程度的關稅自主權。1929之後，先後四次修改資費規則。
抗日戰爭
隨著貿易港口的崩潰，海關在金融管理中失去了它的重要性。隨著美國在華勢力的迅速壯大，從1943開始，稅務總局壹職由壹個美國人擔任。1949年，中華人民共和國建立了以涉外稅務部門為主的海關制度，歷時95年，宣告結束。