1902年2月17日，大清駐俄使館沈浸在悲痛之中——駐俄公使楊儒因與俄交涉交還東三省時，受俄權臣維特威逼羞辱，跌傷患病臥床壹年而病逝。使館壹切事務落到了參贊胡惟德身上。
胡惟德幹練持重，處理外交事務穩妥得當，深得清政府賞識。他先是成功主持對俄交還天津交涉。庚子事變後，英、日、俄曾在天津成立“天津都統衙門”，駐兵占領天津。胡惟德經與俄交涉，迅速促使天津交還事宜順利解決。其次，則是庚子事變後的還款問題。俄國趁當時銀賤金貴，要求以金價為賠款基準，意圖擴大在華利益。胡惟德與俄方交涉，壹再拒絕俄方訛詐要求。1902年7月，清政府任命胡惟德出任駐俄公使，成為獨當壹面的外交重臣。他繼續交涉庚子還款問題，並依據《中俄交收東三省條約》，促使俄方履約，從東北完全撤軍。1904年，日俄戰爭在中國東北土地上進行，直接損害中國權益，無力抗拒的清政府只能宣告中立。胡惟德奉命與俄方交涉中國中立事宜，並援引海牙和會章程和紅十字會條款，籌組紅十字會在戰區救助中國民眾。然而，日俄無視清政府要求，拒絕中方要求。
此後，胡惟德先後擔任外務部右丞、駐日欽差大臣、海牙國際法院中國委員、外務部左侍郎兼稅務大臣幫辦等職。辛亥革命爆發後，胡惟德出任袁世凱內閣外務部副大臣署理外務部大臣，位居外交決策中樞地位。 1912年1月，中華民國成立。2月12日，胡惟德以外務部大臣身份代表袁世凱，率領民政大臣趙秉鈞、陸軍大臣王士珍等，前往養心殿參加清王朝最後壹次朝見皇帝儀式，接受清廷退位詔書，成為清廷退出歷史舞臺的見證人。3月，袁就任中華民國臨時大總統，以唐紹儀為內閣總理的第壹屆北京政府成立。胡惟德因袁的關系，被任命為總統府外交顧問、稅務處督辦，並兼任外交次長，在外交總長陸征祥到任前，兼代外交總長。由於胡惟德觀念保守，在外交部壹切沿用前清舊習，自然不為5月到任的主張仿照西方模式徹底改革的外交總長陸征祥所容。1912年11月，他被外派為駐法國公使兼駐西班牙、葡萄牙全權公使。1914年起，專任駐法公使。
在胡惟德使法期間，歐洲壹戰爆發。受困於戰時環境，胡惟德隨時與外交部、駐英公使施肇基、駐德公使顏惠慶等互通信息，交換對形勢看法，但難有作為。1917年8月，中國加入協約國集團，宣布對德奧宣戰。中國參戰目的只限於取消德奧在華的領事裁判權、沒收敵產、廢除條約等，不派軍隊而是提供民役。期間，先後有約15萬華工赴法參戰。胡惟德為首的駐法使館，為維護華工利益做過壹些努力。 壹戰勝利後，身在巴黎的駐法公使胡惟德極為忙碌，壹方面為舉辦慶祝歐戰勝利活動而忙碌，另壹方面承擔了中國參與巴黎和會的籌備工作。
在巴黎和會上，中國派出了以外交總長陸征祥為首的代表團。但是，代表團在任命全權代表時，因人選和席次問題引發了內訌。壹度傳言胡惟德將出任全權代表，卻未能成為事實。因全權委員名額有限，北京政府任命其為“歐會襄辦委員”。胡惟德曾接洽安排陸征祥與法國總理克裏孟梭會面，還親往倫敦活動。胡惟德更聯合顏惠慶等人，說服北京政府同意組成由全體公使在內的委員會，討論和會事宜。雖然權限所限，胡惟德還是盡力參與了和會中國代表團召開的75次會議，特別是極力調和代表團內部矛盾，為中國的和會外交作出了貢獻。
由於和會完全操縱在英、法、美、意、日五大國手裏，4月30日，中國爭取山東回歸的外交努力遭遇失敗。代表團內部圍繞著是否簽字問題發生爭執。在代表團秘密會議上，胡惟德主張簽字，理由是“國際聯合會不可自屏於會外”等。但中國代表團最終選擇了拒簽。 1920年9月，巴黎和會結束約壹年後，胡惟德轉任駐日公使。壹戰時，日本借機對德宣戰，強行將德國的中國膠州灣租借地據為己有，又提出臭名昭著的“二十壹條”要求。巴黎和會期間，更運用卑鄙手段，迫使其他列強同意，由日本繼承德國在山東的侵略權益。日本的倒行逆施，激起了中國人民的極大憤怒，掀起了聲勢浩大的“五四”愛國運動，維護中國山東主權。懸而未決的山東問題猶如壹枚炸彈，使處理中日關系如履薄冰。此後，“安福禍首引渡事件”、“福州事件”、“廟街事件”又火上添油，使中日關系更形緊張。在此種情形下，駐日公使壹職如燙手山芋，總統徐世昌數度覓人接任，胡惟德在北京政府允諾“於外交各案，仍請中央負責，個人決難單獨進行，並要求關於駐日使館之公費，亦須按月撥發，以免無法籌措時發生困難”的任職條件後，同意履新。
胡惟德到任後，隨時留意日本國內動向，不時向北京政府提供日方願與中方交涉的消息，還出面與暹羅(今泰國)駐日公使洽談中暹通使問題。恰在此時，美國主持召開“華盛頓會議”，胡惟德充當了“幕後英雄”的角色。
巴黎和會雖然解決了歐洲列強間的分贓問題，但遠東地區特別是中國問題，各國之間尤其是美、日之間利益劃分問題卻沒能解決。於是，在美國操縱下，1921年11月～1922年2月，在美國華盛頓召開了著名的“華盛頓會議”。北京政府派出了以施肇基為首席代表、顧維鈞與王寵惠為全權代表、有130余人組成的龐大代表團。胡惟德雖未與會，但作為與當事國日本聯系的官方代表，他及時將日本關於華盛頓會議的態度、政策電告政府，有助於形成北京政府的對日決策。而且，他還隨時向政府就中日問題提供建議和咨詢。中日最終就山東問題簽署《中日解決山東懸案條約》，使拖延八年之久的山東問題得以解決。
1922年6月，北京政局變故，胡惟德被免職回國待命。1923年5月，北洋政府任命胡惟德為外交委員會副委員長。 上世紀20年代中期，南方的國民革命軍展開北伐，北洋政府的統治處於風雨飄搖之中。在謝幕前的壹刻，軍閥、政客拼命抓住機會，爭相亮相，造成北洋政府內閣更替頻繁，也為胡惟德這樣的外交官登上權力頂峰提供了機會。 1926年3月，新上任的北洋政府國務總理賈德耀組閣，胡惟德再次擔任外交總長，並兼任關稅特別會議全權代表。就在賈德耀組閣之時，馮玉祥國民軍與奉軍作戰打響。期間，兩艘日本軍艦護衛奉系軍閥軍艦進入天津大沽口，炮擊國民軍。國民軍開炮自衛還擊，將日本軍艦逐出大沽口。事後，日本認為國民軍破壞了《辛醜條約》，與英、美等八國向段祺瑞執政府發出最後通牒，提出拆除大沽口國防設施的要求，並限令48小時內答復。列強的強權與蠻橫，引發了北京學生、市民等在天安門舉行聲勢浩大的國民大會，聲討列強的罪行。但是，段祺瑞執政府喪心病狂，血腥制造了“三壹八”慘案。4月9日，馮玉祥領導的國民軍發動政變，驅逐段祺瑞。北京政府處在混亂之中，由外交總長胡惟德、財政總長賀德霖、教育總長胡仁源三人暫時維持，歐美人士稱之為“三H政府”。20日，段祺瑞宣布下野，任命胡惟德兼署國務總理並攝行臨時執政職權。這是胡惟德政治生涯的頂峰。但胡惟德以年事已高，只同意以代理身份維持局面。5月13日顏惠慶組閣，他辭去了壹切職務。
1927年1月，胡氏復任顧維鈞內閣內務總長，但到3月底便拒不到部辦公，自行宣告辭職。1928年5月，胡惟德第四次連任海牙國際法院常設仲裁法院仲裁員，為他外交職業生涯畫上了句號。