徐建國在1939去晉察冀邊區工作時，改了現在的名字，但毛澤東每次見到他，還是親切地叫他原來的名字。徐建國回答:“主席知道，我壹直從事公安工作，外交是外行！”
毛澤東說:“外行可以成為內行。外交工作只是需要老同誌來加強。”
徐建國服從組織決定，愉快地準備新的任務。這年初冬，他從上海向中央匯報後，首先同中央總書記鄧小平壹起到濟南視察。1959年春，遊歷四川、雲南、廣東等省。回到北京後，他於5月出任中國駐羅馬尼亞大使。當時中蘇關系日益緊張。1960年在布加勒斯特舉行的生產者黨和工人黨世界首腦會議上，以蘇聯為首的壹些黨的代表團以突然襲擊的方式對中國的生產者黨發動了攻擊。以彭真為團長，吳秀泉、徐建國為副團長的中國代表團進行了嚴正反擊。此後，徐建國用辯證唯物主義的觀點對羅馬尼亞的形勢和現狀進行了認真的調查研究，並向中央和毛澤東寫了報告。他關於東歐國家應該被區別對待的建議得到了毛澤東的肯定和周恩來的贊揚。
徐建國壹到使館，就親自帶領使館的同誌深入了解羅馬尼亞的政治和經濟。徐建國歷來重視調查研究。他常說，沒有第壹手材料就不可能知己知彼，更不可能有針對性地做好工作。為適應外事需要，他還要求使館工作人員學習外語，不管做什麽工作，並規定了學習時間，他也帶頭學習。他說，學習外語不僅方便工作，而且只要會說東道國的母語，就可以拉近兩國的距離，方便交流合作。
1964年4月，徐建國從羅馬尼亞回來，參加了周恩來在四川召集的外國使節會議。會議期間，周恩來與他進行了交談，並請他擔任阿爾巴尼亞大使。他對周恩來說:“任何國家，無論大小，只要黨需要，我都可以去。”
1965年8月，徐建國去地拉那上任。在阿爾巴尼亞的十個月裏，他走遍了這個國家的城市和鄉村，深入實際，接觸群眾。哪怕是這個國家北方最偏遠的山村，條件最差，生活最艱苦，交通最不便，都留下了他的足跡。
在擔任羅馬尼亞和阿爾巴尼亞大使期間，徐建國十分註意把使館建設成壹個互相關心愛護、團結奮鬥的集體。雖然大家都遠離了祖國和親人，但也在大使館感受到了“家”的溫暖。壹位曾經在駐阿使館工作過的同誌回憶說:“全館60多人組成了壹個和諧友好的大家庭。無論在工作上還是生活上，祖國四面八方、各部門的同誌都是兄弟姐妹。壹旦有重大活動或工作任務，全館上下都會統壹部署，互相支持，團結協作，給人們留下溫馨親切的回憶。”