1853年三月(鹹豐三年二月)，太平軍攻克南京，上海震動。9月，上海發生刀會起義，英租界的中國海關被壹夥來歷不明的暴徒搶劫。然後英國水兵占領了後劫海關，英國駐上海領事阿勒國借口中國海關署已不存在，於是與美法領事交涉，宣布各國領事征收關稅。這種所謂的領事征稅制度是削弱中國海關行政權力的第壹步。
針對三國領事的越權行為，上海道臺吳向英方宣布，中國將對華商征收全部關稅，並要求英商繳納所欠稅款。但阿利果斷然否認英國商人欠稅，並將中國自行向華商征稅形容為“敵意”和“侵略”行為，表示英國不能答應，並威脅要報復。
為了保證關稅收入，中國於1854年2月在蘇州河北岸重新設立上海海關，然後在黃浦江閔行鎮和蘇州河白鶴渚設置兩個稅卡，征收絲茶出口關稅。這些措施遭到外國領事的反對。迫於壓力，清政府於6月29日(6月5日)派吳與三國領事會談，達成設立由三名領事代表組成的稅務署的八項協議。規定:稅務部門作為單壹聯合行動，由三國領事遴選推薦，上海道臺任命；稅務部門在海關設有辦公室，可以自由調閱和檢查海關文件和賬冊；未經稅務副司批準，所有海關公文不得公開；任何貨物裝卸許可證、稅收收據、通關許可證或其他官方文件，除非經稅務部門會簽，否則不得簽發或生效。稅務部門的組織包括由中外人員組成的總務、單證、貨物檢查人員的整體隊伍，以及由外籍船員組成、外籍船長指揮的武裝緝私船。各所屬機構的駐外人員均由稅務部門提名，駐地委派。他們有充分的權力和必要的手段來檢查船舶的進出、貨物的裝卸、報關和清關等文件，並發現所有的違規和作弊行為。海關稅務部門的違法失職行為，由道臺和三國領事組成的混合法庭調查處理。未經混合法庭的判決或領事的同意，稅務部門不得以任何方式解雇。稅務部門下屬機構的所有中外人員在辦理海關事務時，也必須向混合法庭負責。他們的去留必須由稅務部門提出建議，由道臺決定，不得延誤。