1861年，英國政府根據《中英天津條約》第10款，迫使清政府將鎮江、九江、漢口辟為對外貿易口岸，並分設海關。漢口海關——江漢關於1861年11月成立。1922年11月4日，江漢關成立60周年時，該樓舉行奠基典禮，於1924年1月21日正式落成。 1861年開埠前，清政府在武漢三鎮僅設有內陸關卡，如武昌的江關、漢陽的朝關、漢（口）西的宗關、漢口的漢關。漢口開埠後，內陸關卡壹並撤消，建立以漢關為基礎的江漢關。
1861年3月，英國單方面公布了《揚子江貿易章程》和《長江通商章程十二款》定：“外商商運貨到長江中上遊，只需在鎮江辦備手續，即可在鎮江以上各口隨意裝卸合法商貨，返鎮江前可勿庸履行任何海關手續。”從而導致外輪蜂擁進入長江中、上遊。時任湖廣總督的官文對此表示不滿。
官文遂向清廷上奏折，請求在漢口設關。幾經周折，總理衙門大臣奕訴終於頒發劄諭曰：“……至漢口地方，據該督奏稱，必須設關，自應準其建立，查驗出進各貨……”
1863年1月1日，江漢關開幕儀式在漢黃德道兵備道江漢關監督鄭蘭的出席下正式開關（在1863年1月1日前，江漢關在籌備期間，僅稽查貨物並未全行征稅，直到正式開關後，方開始征稅）。1863年1月15日，首任江漢關稅務司狄妥瑪向總稅務司赫德報到。
1863年，江漢關署初設在湖北夏口縣漢口河街，即英租界外花樓街濱江青龍巷內，江漢關監督則設於漢口居仁門巡檢司署附近官衙，當時沿河大道自今江漢路至襄河口壹段並非大馬路，而是臨江壹條河街，僅能通行獨輪車、轎子，交通不太方便。
當時江漢關署在左鄰右舍為招商局和英商太古洋行的房地產。
江漢關署的房屋和緝私倉庫是1866年向美商旗昌洋行以14萬2千關平銀購置的。後來江漢關業務發展很快，業務量僅次於上海江海關。據江漢關關冊記載：1862年各國輪船全年到漢為1462艘，計29萬余噸貨物，到1892年則達萬艘以上。故舊址狹窄簡陋已不敷應用，應擇地修建新的海關大樓。
江漢關大樓的選址，是參照上海江海關的選址經驗而來，即關址必須建在租界內或接近租界區。1899年，江漢關稅務司穆和德援例將江漢關大樓選址在英租界東南角（今江漢路口），即原工部局及巡捕房所在。該處位於華洋交界之處，貨界這邊是黃陂街、前後花樓街壹帶繁華的商貿市場。租界這邊是各國大銀行和大公司所在地，有利於華洋雙方，但最有利的莫過於外國銀行和公司了，穆和德向總稅務司赫德建議，並經英駐漢代總領事羅善樂同意，轉讓工部局巡捕房。但適逢義和團起義（1900年），義和團的口號“扶清滅洋”是針對洋人的，因此房屋轉讓之議暫行擱置。 義和團起義被鎮壓之後，1906年，時任職江漢關稅務司的克羅斯和1907年任職稅務司的安格聯先後與英駐漢總領事費雷澤商議工部局及巡捕房轉讓之事，費同意轉讓，但提出壹個條件，即轉讓出的房屋需中國政府保證，該處房屋只能作海關辦公之用，不能作其他用途，後經清政府承諾，轉讓之事方達成正式協議。
轉讓雖然達成協議，但拆遷並不容易，甚至曠日持久。這是因為原在青龍巷的江漢關位於招商局機關和倉庫之間，而招商局的房地產又是向太古洋行承租的，且又夾在太古洋行倉庫之間，因此房產間的變更需經江漢關、招商局、太古洋行三方協商解決。三方協商方案為：江漢關將辦公原址轉讓給招商局，而招商局將向太古洋行承租的房地產退還給太古洋行，而太古洋行將其倉庫轉讓給江漢關，如此三方的房地產各自連接在壹起，對三方都有利。
但三方房地產轉讓卻又有壹個面積大小的問題。太古洋行倉庫地基只有110.774平方，江漢關地基有239.325平方，招商局的地基比這兩處都大，這樣不等量的交換，招商局上層持異議，不同意此方案，以致修建江漢關大樓遭擱淺。
至1909年，當招商局業務進壹步發展之際，江漢關稅務司安格聯為疏通招商局高層，專程到上海，意將漢口江邊太古洋行第三躉碼頭轉讓給招商局，以資補償，方達成三方轉讓的初步協議。但其中又冒出有關房地產和碼頭的差價問題，意見又難統壹，這樣又拖了13年之久，直到1920年終於達成正式協議，大樓方有興建之機了。
1920年，沿江邊狹窄的河街外（今沿江大道）逐漸淤積成了壹片沙灘地，這就為興建大樓和擴寬河街修建沿江大馬路創造了有利條件。
但早在1907年，總稅務司赫德就指派海關總署建築工程師阿諾德全面負責設計大樓圖紙，當時阿諾德由於患病未能履行此責。遂在上海招標，擇優選中上海著名的英商斯蒂華達生·斯貝司建築工程公司的建築工程師辛浦生所設計的圖紙。經海關總署工程部門審核後，報經總稅務司赫德批準按圖興建江漢關大樓。
大樓施工由漢口英商景明洋行工程部門負責監理。大樓主體工程由魏清記營造廠承建，土方工程由漢口地皮大王劉歆生開設的劉歆記填土公司承包。
大樓基地的土質軟硬不勻，特別是江邊擴填部分，是泥沙淤積而成因此大樓的土方和基礎工程量非常之大。
1922年5月，正式開始填土工程。劉歆記填土公司首先鋪設了壹條從後湖姑嫂樹到江漢路江邊的輕便鐵路，並用預先從法國購回的兩輛小火車頭拖帶運土翻鬥車，將土方運到工地。基地填好後，將百余根計長二三十公尺的木樁打到巖層，然後用混凝土及數噸重大麻石奠基，這項填土奠基工程，大約在1922年年底完成。
填土奠基工程完成後。1923年1月開始由魏清記營造廠承建大樓，並於1924年1月21日竣工。
1949年新中國成立後，江漢關改名為武漢關。這幢大樓經歷了80年的洗禮，依然顯示出無窮的魅力。如今國家已將其列為優秀歷史建築，成為武漢的標誌性建築。
同時，江漢關是帝國主義侵略中國的歷史產物，是我們進行愛國主義教育的“活教材”。新的歷史時期，我們要賦予江漢關新的含義，我們希望中華民族的優美旋律回蕩在武漢的上空。 當1920年江漢關大樓工程設計圖紙以及籌建準備工作就緒後，1921年1月29日，原江漢關署即由青龍巷遷至沿江大道青島路口匯豐銀行二樓臨時辦公，稅務司辦公處暫遷至鄱陽街合作路口的壹座花園洋房內（即今市群眾藝術館內）。並於同年7月24日正式開始撤除英租界工部局及巡捕房工部局遷至今鄱陽街文華村，巡捕房遷至今南京路幼兒園所在地。隨即由劉歆生的填土公司進行土奠基工程，填土工程完成後，即於1922年11月4日舉行江漢關大樓奠基典禮。
當日在江漢關大樓工地前搭有觀禮臺，旗幟彩帶五彩繽紛，典禮大會由時任總稅務司的安格聯主持。出席典禮的有中外官員和貴賓，其中有江漢關監督陳介，江漢關稅務司梅樂和，湖北督軍蕭耀南，美國軍政部長海軍上將菲力普，各國駐漢領事，中外銀行和企業的經理，漢口市政當局的負責人。漢口華商總會會長汪澤湘、外商商會會長馬克等出席了奠基典禮。
總稅務司安格聯宣布開會後，隨即由江漢關監督陳介致開幕詞，大意是：首先吹噓前海關總稅司赫德管理中國海關的“豐功偉績”，並祝願通過是中國海關這個窗口，使東方和西方緊密地攜起手來。
接著由江漢關稅務司梅樂和致詞。他說：回顧江漢關建立以來，盡管由於政治的多次變革，商業的興衰，而江漢關仍然取得很大的成績。如從漢口港中外貿易額來看，從開始的稅收僅150萬關平銀，已達到2億余關平銀，長江航運也有空前的發展，當1862年開始建關時，僅有美商旗昌洋行數艘小輪行駛申漢線，而1922年已有招商局、三北公司以及5國7大公司的大商輪每年約有萬余艘行駛長江各條航線。而且在洪水季節，萬噸吸的海輪也可由各國港口直達漢口。這樣大大增進了中外商貿運輸，從而發展了長江航運事業。我們還要感謝總稅務司安格聯，為了更好地疏浚揚子江水道，他為如何各國輪船能四季通暢無阻的方案而正在調查研究。梅樂和對大樓工程設計圖紙感到非常滿意，並感謝所有建築工程師們的辛勤努力。他高度贊揚江漢關大樓的落成，並認為為漢口沿江增添壹處景觀。最後他祝願漢口將成為中國內陸的貿易中心。
隨後由總稅務司安格聯致詞，他說：“我非常高興參加這次江漢關大樓工程的奠基典禮。漢口是我最值得紀念的地方，因為我在結婚，並為大樓的興建奔忙了十幾年，今天夢想終於變成現實。”隨後發言的還有美軍政部長、海軍上將菲力普及中外官員和來賓等。
慶典大會發言完畢，奠基儀式即行開始。首先由江漢關稅務司梅樂和將壹些漢口報紙和硬幣裝入壹個匣子內，交給安格聯夫人放在基石下穴內。興建大樓的建築師們，則將壹殷銀質泥刀贈送給安格聯以資紀念。這時工人將壹快刻著：Cee stone was laid by inspector general of kustoms,The 4th November 1922,Sir Flancis Anglen K、B、E。
中華民國十壹年十壹月四日，總稅務司安格聯爵士奠此基石。
隨即將奠基石立於大門左側基石下穴內，這時鞭炮聲響起，安格聯立即舉起酒杯高聲喊道：“為漢口的繁榮昌盛幹杯”。
這就是江漢關大樓工程奠基時的壹幕。漢口租界本是帝國主義侵略中國的歷史見證，安格聯、梅樂和這些帝國主義的代言人無論用什麽樣的“花言巧語”也掩蓋不了其侵略性質。為了讓讀者對當時江漢關大樓奠基儀式有真切的感受，茲將當時情景概述如上。
後來大樓建成後，安格聯還邀請當時漢口著名書法家宗彜書寫“江漢關”三字匾額。據另壹書法家劉竹溪介紹：宗時任湖北省教育廳廳長，他最初學顏、柳體，後又習魏碑，潛心刻苦鉆研，成擅魏碑《泰山金剛經》，在寫“江漢關”三字時曾三易其稿，最後壹氣呵成，其字古樸蒼勁，剛柔相濟，樸實無華。最後安格聯酬宗彜500銀元。
江漢關大樓於1924年1月21日正式落成，並於當日上午10時借新辦公大樓大廳舉行招待會，由江漢關監督陳介主持，然後由稅務司梅樂和宣布大樓正式落成並剪彩。出席招待會的有中國官員、各國領事、各國海軍軍官、中外企業負責人、銀行經理、中外商會會長及中外來賓計700余人。會後在大廳內舉行盛大宴會慶賀江漢關大樓的落成