(壹)行省
據《元史·地理誌》載，元代在全國設11個行中書省，分轄185路、33府、359州、1127縣。金朝尚書省臣到地方直接統領軍政，稱“行尚書省事”。蒙古滅金過程中，曾派達魯花赤駐燕京，負責中原的刑名和財賦等事。漢人官員沿襲金制，稱燕京行尚書省事。元朝建立後，在中央設中書省。為了處理中央和地方事務，忽必烈相繼在首都開平、燕京及京兆、平陽等地建立“中書省”和“行中書省”。這壹時期的行省大都屬於中書省的臨時派出機構，在地方主持政治、經濟、軍事事務，因事而設，事已則罷，沒有相對穩定的治所和轄區。如“陜西等處行中書省”，從1260-1273年先後在京兆、利州、興元三地往返遷易治所，其管理地區有時包括四川、甘肅，有時則各自分出別立行省。
1273年元軍大舉南下，不久滅宋。南宋舊疆盡歸元朝，據《元史·地理誌》說，當時元朝統轄疆域，“北逾陰山，西極流沙，東盡遼左，南越海表”。如此遼闊的地域，僅靠首都的中央機構及地方臨時性行政機構來治理，便顯得相當困難了。所以，行省開始演變為地方行政區域固定的官府名稱。忽必烈滅宋前後，陸續設立河南、江浙、江西、湖廣、陜西、四川、遼陽、甘肅、雲南、征東等10個行省。元成宗大德11年(1307年)，又以原中央直轄的蒙古本部置和林行省。元仁宗皇慶元年(1312年)改和林行省為嶺北行省。至此，元代行省建制得以確定，經久不變。
11個“行省”及其首府，轄境如下：
河南、江北等處行中書省，治汴梁，統河南等12路7府1州；
江浙等處行中書省，治杭州，統杭州等30路1府2州；
江西等處行中書省，治龍興府，統龍興等18路9州；
湖廣等處行中書省，治鄂州，統鄂州等30路3府15安撫司3軍13州；
陜西等處行中書省，治京兆，統京兆等4路5府27州；
四川等處行中書省，治成都，統成都等9路3府；
遼陽等處行中書省，治遼陽路，統遼陽等7路1府；
甘肅等處行中書省，治甘州，統甘州等7路2州；
雲南等處行中書省，治中慶路，統中慶等37路5府；
征東等處行中書省，治王京，統耽羅等2府1司、慶尚等5道；
嶺北等處行中書省，治和寧路，統北邊等處。
以上11個行省管轄著元朝60%以上的國土。此外，鄰近首都部分，包括大都等29路8州(即黃河以北，太行山以東、以西之地)稱為“腹裏”，直屬中書省管轄；吐蕃、畏兀兒地區，則分別歸宣政院、大都護府統理。都護府設有大都護、同知、副都護，為主管畏兀兒(維吾爾)族和漢族之間訴訟事件的司法長官。
行省的權力相當大，負責處理境內政治、經濟，諸如刑律訴訟、官吏遷轉、賦稅征收，甚至還包括帶有軍事性質的屯田、驛鋪等。行省官員的設置、名稱、品銜大都同於中書省。《元史·百官誌七》說：“每省置丞相壹員，從壹品；平章二員，從壹品；右丞壹員，左丞壹員，正二品；參知政事二員，從二品，甘肅、嶺北二省各減壹員；郎中二員，從五品，員外郎二員，從六品，都事二員，從七品；掾史、蒙古必阇赤、回回令史、通事、知印、宣使，各省設員有差。”其後怕地方權重，各行省多不設丞相。
在11個行省中唯有“征東等處行中書省”的建制較為奇特，它的權限由兩部分組成：壹是依附於元朝的“屬藩”高麗國；壹是直接在元中央統治下的2府1司5道。其行省丞相，英宗至治元年(1321年)以後，例由高麗王兼領，並可自行選擇官屬。其下屬行政機構與其他行省壹致。
不少行省因轄境過大，元朝只好又在離行省首府偏遠地區及邊境地區設置“宣慰司都元帥府、宣慰司兼管軍萬戶府”(宣慰司)、“宣撫司”等官府。宣慰司、宣撫司是介於行省與路、府、州之間，起上傳下達作用，多設於少數民族地區，參用土官。《元史·百官誌七》說：“宣慰司，掌軍民之務，分道以總郡縣，行省有政令則布於下，郡縣有請則為達於省，有邊陲軍旅之事，則兼都元帥府，其次則止為元帥府。其在遠服，又有招討、安撫、宣撫等使。”有時，它還可以代表行省單獨處理軍政事務。
元代行省界限的劃分，並沒有認真考慮過地理因素。如歸州，地處四川、河南行省之間，卻隸於並不與之連界的湖廣行省；同是處於漢水上遊漢中盆地的興元路和沔州，卻分屬四川、陜西行省。這樣，就使後代在行政區劃分方面不得不作很大調整。所以，盡管明清兩代乃至於現代的省最早起源於元代行省，但各省界限卻很少是元代的舊貌。
至正11年(1351年)後，農民起義遍及大江南北。元順帝為挽救其搖搖欲墜的統治，派出大量官員到地方主持軍政。為了便於鎮壓農民起義軍，元朝陸續把原有的行省進行分置，如分河南行省，別置“淮南江北等處行中書省”；分湖廣行省，別置“廣西等處行中書省”等。但是，這些行省、分省的設立對於延續元朝政權已無濟於事，在農民軍的沈重打擊下，“雄都巨鎮，諸侯王之所封，藩臣臬司之所治；高城浚隍，長戟強弩之所守，環輒碎之，鮮有固其國者”(《青陽集·袁俊功銘並序》)。與此同時，在農民起義軍建立的政權裏，行省也是地方最高權力機構。如“漢”政權建立過江南、汴梁、隴蜀、江西4個行省；“宋”政權建立過江南、益都、淮安、遼陽、曹州5個行省。
各行省的屬官，有檢校所檢校、照磨所照磨、架閣庫管勾、理問所理問、都鎮撫司都鎮撫(《元史·百官誌七》)。而蒙古提舉學校官，各行省或有或無。此外，在兩淮、兩浙、福建等處設都轉運鹽使司，四川設茶鹽轉運司，廣東設鹽課提舉司、市舶提舉司。
行省以下的行政區為路，各路壹般設萬戶府、總管府，規定10萬戶以上者為上路，10萬戶以下者為下路(若是重要地區不論戶口多少，均為上路)。各路萬戶府萬戶及總管府總管以下屬官有同知、治中、判官、推官、經歷、知事、照磨、譯史、通事，還有儒學教授、蒙古教授、醫學教授、陰陽教授、司獄司司獄、平準行用庫提領大使、織染局局使、雜造局大使、府倉大使、惠民藥局提領、稅務提領。此外還有錄事司錄事、司候、判官，以專任城中民事。在兩京則設有警巡院。
路下有府，元代的府較雜亂，或屬於路，或屬於行省，或直屬中書省；有的管轄州縣，有的不統州縣。壹般各府有同知、判官、推官、知事及提控案牘等官。沒有設路之散府則設知府或府尹。
路府之下設州，根據戶數多寡有上、中、下州之別。各州設知州、同知等官，邊遠地區不設州而設軍，其建置與州同。元代軍職世襲，其軍制設千戶為“千夫之長”，亦隸屬於萬戶。駐於各縣的千戶，分屬諸路萬戶府。設千戶所統領百戶所：統兵700以上稱上千戶所；兵500以上稱中千戶所；兵300以上稱下千戶所，各設“達魯花赤”1員，千戶1員。
州下設縣，也依戶數多寡而分上、中、下縣。各縣設縣尹、縣丞、簿、尉、典史、巡檢等官。
至元2年(1265年)，忽必烈詔“以蒙古人充各路達魯花赤，漢人充總管，回回人充同知，永為定制”。蒙古達魯花赤官早在成吉思汗時即已設置，窩闊臺在各地設達魯花赤管理行政。元朝建立後，達魯花赤在地方官中地位最高，但往往不實際管事，成為高居於地方官之上的特殊官員，因而被稱為“監臨官”。達魯花赤制的普遍實行，明顯地表現出蒙古統治階級的特權地位。
縣以下又分鄉、都，設裏正、主首，負責催辦錢糧、供應雜事。元朝政府還把50家編為壹社，社有社長，負責“教勸本社之人務勤農業”，實則是加強對人民的控制。
(二)行樞密院
中書省有行中書省，禦史臺有行禦史臺，樞密院也有行樞密院，簡稱行院。《元史·百官誌二》載，“國初有征伐之事，則置行樞密院。大征伐，則止曰行院。為壹方壹事而設，則稱某處行樞密院”。意謂“行院”與“行樞密院”是兩種不同設置：為大征伐而設者，稱“行院”；為壹方壹事而設者，稱“行樞密院”。查看《世祖紀》則知其誤。至元11年(1274年)，元大舉伐宋時，曾置荊湖、淮西二行院，記載中也稱行樞密院。可知行樞密院以外無行院，行院之外無行樞密院。《元史·世祖紀二》載，中統4年(1263年)7月“以成都經略司隸西川行院”。而《百官誌三》則雲：“西川行樞密院，中統四年始置”，可見“行院”與“行樞密院”是同壹概念的不同說法。
元代在各地設有下列行樞密院：
西川行樞密院(治成都)
中統4年始置，設官2員，管西川軍民課稅交鈔、打捕鷹房人匠及各投下應管公事，節制官吏諸色人等及軍官遷授征進等事。至元10年(1273年)又於重慶別置東川行樞密院，設官1員。13年(1276年)並為壹院。不久，再分東川行院。16年(1279年)罷兩川行院。28年(1291年)再立四川行院於成都。
江南行樞密院
《百官誌》中有此壹條，但在敘述中卻未提及。在其條下所舉的行院是荊湖行院、淮西分院、揚州行院、嶽州行院，均不全在江南。當是元朝為了攻取江南而設，故稱江南行樞密院。
甘肅行樞密院(治甘州)
至大4年(1311年)始置，設官4員，提調西路軍馬。後以甘肅行省丞相提調，遂罷行院。
河南行樞密院
致和元年(1328年)分置，專管調遣之事。天歷元年(1329年)廢除。
嶺北行樞密院
天歷2年始置，掌邊庭軍務，凡大小事宜，悉從裁決。
四川、湖廣、江西、江浙四行院
順帝至元3年(1337年)設，次年即廢。此後所設立的行院，皆是為鎮撫內亂而臨時設置。