政和二年(1112)進士及第。五年，任監察禦史兼權殿中侍禦史，不久即因議論朝政過失，被罷去諫官職事。宣和元年(1119)，上疏要求朝廷註意內憂外患問題，被宋徽宗趙佶認為議論不合時宜，謫監南劍州沙縣稅務。
宣和七年七月，李綱被召回朝，任太常少卿。其年冬，金兵兩路攻宋，完顏宗望(斡離不)所率東路軍直逼宋都開封。
在宋廷壹派慌亂情況下，李綱向宋徽宗提出了傳位給太子趙桓，以號召軍民抗金的建議。趙桓(宋欽宗)即位後，升李綱為尚書右丞，就任親征行營使，負責開封的防禦。他率領開封軍民及時完成防禦部署，親自登城督戰，擊退金兵。金帥完顏宗望見開封難以強攻，轉而施行誘降之計，宋廷彌漫了屈辱投降的氣氛。李綱因堅決反對向金割地求和，被宋欽宗罷官。由於開封軍民憤怒示威，迫使宋欽宗收回成命，李綱才又被起用。完顏宗望因無力攻破開封，在宋廷答應割讓河北三鎮之後，遂於靖康元年(1126)二月撤兵。開封守衛戰在李綱組織下獲得勝利。
金兵撤離之後，李綱即遭到宋廷投降派的排斥和誣陷。靖康元年五月，宋廷強令李綱出任河東、河北宣撫使，驅趕他出朝。李綱就任後，宋廷又事事加以限制，使宣撫使徒具空名，無節制軍隊之權。李綱被迫於九月辭職，旋又被加上“專主戰議，喪師費財”的罪名，先責建昌軍(今江西南城)安置，再謫夔州(今四川奉節白帝城)。
李綱被貶不久，金兵再次兩路南下圍攻開封。宋欽宗在被俘前夕又想起用李綱，任命他為資政殿大學士、領開封府事，但已無濟於事。當李綱在長沙得知此命時，北宋已經滅亡。
康王趙構在南京應天府(今河南商丘)另建朝廷。為利用李綱的聲望，起用他為尚書右仆射兼中書侍郎(右相)。其時，李綱正在赴開封途中，接到任命，便趕到南京，竭盡思慮，為高宗籌劃重整朝綱，組織抗金，並同高宗周圍的汪伯彥、黃潛善等投降派展開尖銳鬥爭。他反對投降，主張“壹切罷和議”，嚴懲張邦昌及其他為金兵效勞的宋朝官員，以勵上節。為加強抗金鬥爭的力量，他推薦堅決抗戰的老臣宗澤出任東京留守，去開封整修防禦設施；又力主設置河北招撫司和河東經制司，支持兩河軍民的抗金鬥爭，並推薦張所和傅亮分別任河北招撫使、河東經制副使。他還針對北宋以來軍政腐敗，賞罰不明等情況，頒布了新軍制二十壹條，著手整頓軍政，並建議在沿江、沿淮、沿河建置帥府，實行縱深防禦。
李綱整頓軍政的設施，有助於宋朝廷支撐局面，尚能為宋高宗所接受。然而，他主張堅決抗金及反對投降活動，卻為宋高宗及汪伯彥、黃潛善所不容。因此，他們又設法驅逐李綱。首先，調李綱任尚書左仆射兼門下侍郎(左相)，另委黃潛善接任右仆射兼中書侍郎，以牽制李綱。接著，又罷免張所、傅亮，撤銷河北招撫司及河東經制司，蓄意破壞李綱的抗金部署，迫使李綱辭職。李綱任宰相僅七十五天，就被驅逐出朝，不久貶鄂州(今湖北武漢市武昌)，繼又流放到海南島的萬安軍(今廣東儋縣東南)。直到建炎三年(1129)底才獲自由。
建炎四年，李綱回到邵武居住。此後，於紹興二年(1132)二月至紹興三年，任荊湖廣南路宣撫使，兼知潭州(後改湖南安撫使)，又於紹興五年十月至七年十壹月任江南西路安撫制置大使，兼知洪州。他雖然被排斥在外，但壹直關心國事，壹再上疏陳述政見，繼續反對屈辱投降，支持嶽飛抗金鬥爭。紹興十年正月卒。
李綱壹生著述甚多，其遺文由其諸子編成《梁溪全集》壹百八十卷，刊行於世。其中《靖康傳信錄》、《建炎進退誌》、《建炎時政記》等，系李綱在北宋末、南宋初置身朝廷時的親身經歷和親見親聞的記錄，是研究這段歷史的寶貴資料。