李牧優雅英姿，氣度迷人，氣度高貴。永安三年(530)，宇文泰舉義旗進函谷關，時年20歲的李牧跟隨其後，深得信任。李牧也小心恭謹，不敢懈怠。宇文泰稱贊他，讓他四處隨侍，出入臥室，那時沒有人能和他相比。荷馬·陳悅殺死何巴月後，宇文泰急忙從周霞趕來解決問題，而荷馬·陳悅的黨羽則返回占領了原州。宇文泰命令荷馬·陳沖帶領輕騎兵去偷襲。李牧已先入城，與兄弟、李淵等人占領城門迎敵侯沖，生擒，並授都督以戰功。後來李牧活捉竇泰，收復弘農，都立下戰功。
雍熙末年(534年)，李牧被選迎北魏孝武皇帝，封為永平，食邑三百戶。他還領導了當地的軍隊，並因其傑出的軍事成就而被提升為伯爵。大同三年(538年)，李牧與宇文泰壹起抗擊高歡，在沙園大獲全勝。高歡棄逃，棄兵八萬。宇文泰追到河邊，留下兩萬多兵，其余的都放了。李牧說:“高歡傷透了心。現在追得快就能抓到他。”但是宇文泰不聽。論功行賞，他被提升為公爵。
大同四年(538)八月，李牧跟隨宇文泰攻打邙山的北齊軍隊。當宇文泰被馬中箭嚇得在陣前摔下馬來，被東魏士兵追上時，李牧突圍而出，用鞭子抽打宇文泰的背，罵道:“妳這個下賤的軍士！妳的主人在哪裏？妳想壹個人呆在這裏嗎？”東魏君見宇文泰輕佻，以為他不是貴人，就不追了。然後李牧把他的馬給了宇文泰，壹起逃走了。所以他們死而復生。宇文泰、李牧痛哭流涕，回頭對眾臣說:“此人能成我大業！”於是命令李牧安撫管仲。李牧走到哪裏，就立刻冷靜下來。任武威將軍、伊通第三師，升任武安郡公爵，增加食邑壹千七百座。
過了很久，宇文泰稱贊李牧的雄心和正直，說:“壹個人唯壹珍貴的是他自己的生命。李牧可以看不起自己的命，救我於危難。就算妳給他升官，送他玉緞，也難報恩。”於是給了李牧壹張鐵票，赦免他十條死罪。
不久，李牧開啟政務，出任助理。當初邙山大敗，李牧把馬賞給了宇文泰，於是宇文泰把馬廄裏的馬全部給了李牧，並封李牧的姐妹為郡主、郡主。他的宗族已經嫁給了他母親的叔叔，他們都獲得了各種獎勵。
李牧調任仆從後，跟隨他攻江陵，增加食邑壹千，封他為將軍。攻破曲綿曼，被封為原州刺史。宇文泰還授李牧的小兒子李雲為第三司儀。李牧認為他的兩個兄弟李習安和李淵都是拯救生命的英雄，他的許多孩子都擔任重要職務。李牧擔心自己吃得太飽，深感害怕，所以拒絕接受他的辭呈，但宇文泰不允許。不久，李牧遷到永州做刺史，兼任小朱宰。北周元年(557年)，李牧在原有3700座的基礎上，又增加了3000座食城。宇文泰封另壹個兒子為太尉，李牧立他為哥哥李孝貴的兒子，宇文泰同意。
宇文護當政時，李牧的哥哥李淵，李淵的兒子李治，都因謀殺攝政王、晉襄公宇文護而被殺。李牧應該是有罪的。在此之前，李牧就知道李誌不是壹個能保護家人的人，多次勸李淵除掉他，但李淵不接受。臨死的時候，李淵哭著對李牧說:“賢卿，我沒有聽妳的話，竟然落到這個地步。我能怎麽辦！”於是，李牧免於死刑，被除名，降級為民，其子女也被免職。
李贄的弟弟李記是西州刺史，應該被殺。李牧要求用他的兩個兒子交換李記的性命。宇文護認為李牧仁義，釋放了其中三人。不久，宇文護授予李牧三司和周知官職，並恢復李牧“吳安縣令”的稱號。
到了吳(559 -560)成年時期，李牧被革除官職，他的所有子女都恢復了官職。武成二年(560)，李牧被任命為少保；保定二年(562)，升為將軍。保定三年(563)，李牧跟隨楊忠東討伐，回來後拜小司徒。保定四年(565年)五月，成為柱國，被任命為將軍，奉命修建銅鑼城。
天河年間(566 -572)，李被封為申國公，守節安撫東方疆域，修鎮五申、丹角、慈澗、崇德、、交城、潞路。
建德初年(572)，授太保。建德二年(573)，任原州刺史。建德四年(575)，漢高祖東征，命李牧率三萬兵馬。再加上攻打直關和黃河以北各郡，李牧全部攻占。後來因為皇帝病了，就撤兵，放棄了這些地方。建德六年(578)，升至朱郭，調任並州為總經理。當時東部地區第二次平定，民眾不安。李牧以靜為治，百姓感恩。
大象初年(579)，美食城增至9000座，拜大所賜，保留了並州總經理的原職。象二年(580年)升為太傅，總經理不變。隋文帝當北周丞相時，魏赤炯造反，派人招降李牧。李牧扣留了他的使者，並將反叛的信件交給了朝廷。李牧的兒子李世榮認為李牧駐紮的地方有精銳的國軍，私下勸李牧造反。李牧猶豫不決，隋文帝派劉秋和第十子李渾去開導蕭瑜。劉秋壹見李牧，就知道他有意了。李牧聽後非常高興，說:“周朝之德已衰。不管是迷茫的人還是聰明的人，都能看出這壹點。天命若如此，我如何違之？”於是誠懇地向隋文帝投降，送給高祖壹條鑲嵌十三枚玉環的金腰帶和壹件象征天子的服飾，並派李渾去北京。他用壹根鐵棒對隋文帝說:“希望他執掌權柄，平定天下。”隋文帝非常高興。北周大定元年(579年)，李牧偷偷上表勸隋文帝登基。
隋文帝接受退位後，下了壹道聖旨，說:“汝恩待吾父，恭恭敬敬領教汝之訓示，不違大義。定於本月13日謙恭地接受命運號。”黃凱元年(587)，李牧來朝見，隋文帝走下朝堂，向他進貢，並授予太師稱號。允許不報姓名表揚他，授予成安縣三千美食城稱號。因此，在李牧的後代中，即使是尚在繈褓中的人，也被當作樂器壹樣崇拜。他家有100多個孩子拿著大象當官。李牧的財富在當時是無與倫比的。
當李牧要求退位的時候，隋文帝寫了壹封信說:“我剛剛建立了壹個新的王朝，在壹個好大臣的計謀幫助下，我正要要求退位。這真的不符合妳的實際。所謂70歲的官員是指壹般人。以至於呂尚80歲輔佐，張蒼90歲白發蒼蒼當。優秀的人才為世人所用，自然不能局限於通常的禮儀。請考慮這種特殊情況，並進行壹些更改。既然妳是老部長，就不應該太辛苦。現在妳可以確定妳的位置，不必出席法庭會議。如有要事需議，可派使節來訪。”隋朝建立時，太師認為應該遷都。但是隋文帝因為剛剛登基，猶豫了。
此前，隋文帝不喜歡臺城這個小地方，宮中有很多鬼魅。蘇威曾勸他遷都，文帝沒有采納。看到太師的表現，隋文帝猶豫了。此時李牧支持遷都。隋文帝見李牧徽曰:“天道有智，已有吉兆示之；太師是民心所向，他提這個要求應該可行。”於是我聽從了李牧的建議。
壹年後，隋文帝頒布聖旨說:“禮儀制度是為普通人設計的，智慧超群的人不受此限制；法規是用來約束小人的，沒必要用來防備君子。國柱祖父沈國公，氣度深厚，胸懷寬廣，名聲高遠，居朝廷官員之首。身居高位的人才能出類拔萃，經歷了無數的艱難險阻，就像鋼鐵是煉出來的，是純凈的。和於波壹樣，沒有過錯，顏回沒有異心，性情恬靜開朗，本來就不會和法律扯上關系。但是聖王為了表彰好人而傳承了他的教義。遠離法律，弘揚道德，是對沈國公晚年功德的尊重。從此，即使有罪，只要不是謀反，即使有壹百條死罪，也不會有審問。“啟六年(586)，李牧死於府中，享年77歲。
他在遺囑中說:“我虧欠我的國家，我的年齡和等級已經到了極點。現在我無怨無悔地回到了墳墓裏。最後沒能陪皇帝去泰山和傅亮拜禪，所以不忍卒睹，大概就是因為這種怨恨吧。”隋文帝派黃門侍郎監督喪事，賜四匹馬、兩千斛粟麥、壹千匹絹布，還追授李牧為冀州、丁、趙、項、英、毛、魏、羅、淮諸部統帥，謚號為“明”；他還得到了壹口石棺、前後各壹個羽毛袋和壹輛北京轎車。關白護送他的靈柩出了城墻。隋文帝詔太長卿為牛鴻鵠書喪，以囚禮祭奠之。
大業四年(608)，楊光北出巡前，楊迪再次以監禮祭奠李牧。