該建築是上海江海關為海關稅務司建造的官邸。當時擔任海關總稅務司的都是外國人，因此住宅的前幾任主人也都是外國人。後來，丁貴堂副總稅務司入住。解放後，丁貴堂被任命為中國海關總署副署長時，他舉家遷往北京。
丁貴堂（1891年—1962年），遼寧海城人，1928年擔任副稅務司。海關有史以來高級職務壹直掌控在外國人手裏，華人擔任副稅務司，丁貴堂是第壹人，當時轟動壹時。1949年，丁貴堂參加了中國人民政治協商會議第壹次會議。
有著強烈愛國之心的丁貴堂，在任安東關幫辦時，常以中外關員待遇不平等的事情與欺壓海關華員的外籍關員抗爭。在任江海關漢文科稅務司時，規定將海關多種單據刊物譯成中英文對照，打破了英文的壹統天下，以便華商應用，提倡了華洋平等的原則。
至於海關行政主權及施行華洋關員平等待遇等，丁貴堂無不隨時隨事與總稅務司竭力陳請，甚至不顧個人利益與上司犯顏抗爭。解放前夕，他毅然拒絕前往臺灣，留在上海努力使海關的關產和檔案完整地保存了下來。