籌建新式海軍，是洋務運動貫穿始終的壹項重要內容，但大規模地著力於此，則是中法戰爭之後的事。
早在洋務運動剛開始的1861年，清政府根據當時任廣東海關副稅務司赫德的建議，以白銀八十萬兩，由當時正回英國休假的海關原總稅務司李泰國（H.N.Lay）出面，向英國定購了中號艦三艘、小號艦四艘。1862年，七艘兵船購齊，實際用去銀壹百零七萬兩。本來商定，每船臨時雇用二、三名外國人司舵、司炮，待中國兵弁學會駕船、放炮後，即由中國人掌管。豈料李泰國心懷鬼胎，在英國招聘六百多名官兵，宣稱成立“中英艦隊”，任命英國皇家海軍上校阿思本（S.Osborn）為艦隊司令。他擅自代表清政府同阿思本簽訂合同十三條，規定：阿思本對艦隊擁有完全指揮權；除中國皇帝外，阿思本不接受任何中國官員的命令；連中國皇帝的命令也必須經李泰國傳達，李泰國如認為不妥，還可拒絕居間傳達；合同既定，不得中途擯棄。這些舉措，充分暴露李泰國壹夥妄想乘機控制中國海軍的企圖。
1863年9月，這支艦隊開到中國。它明明是壹支完全由外國侵略分子控制的武裝，奕譞還居然準備接受，條件是艦隊“總統”由清政府任命，阿思本可擔任副職。曾國藩擔心阿思本意氣淩厲，將來喧賓奪主，不好對付；又因湘、淮軍爭奪，相持不下，要求把艦隊解散。清廷也害怕接受這支艦隊會發生意外變故，便決定遣散，責成阿思本將其開回英國變賣。變賣所得款額，還不夠“遣散”之費。清政府只得再拿出白銀三十七萬五千兩，才算了結這樁恥辱的海軍建設。
事雖如此，但洋務派建立海軍的願望並未中止。1866年6月25日，閩浙總督左宗棠提出：“自海上用兵以來，泰西各國，火輪兵船直達天津，藩籬竟成虛設，星馳飈舉，無足當之。”他建議：“欲防海之害而收其利，非整頓水師不可；欲整頓水師，非設局監造輪船不可。”清廷允準了左宗棠的建議。於是，江南制造總局、福州船政局，便仿照西法，制造兵輪。
至七十年代初，雖然福州船政局和江南制造總局都陸續制造了幾條兵輪，均不中用。1874年發生了日本侵略臺灣事件。明治維新後不過才六七年的日本，居然也派出兩艘鐵甲艦，耀武揚威地欺侮中國。當時，有些清朝官員曾提出向外國購買新式船艦、水雷和槍炮彈藥的建議。清廷予以采納，但尚未曾執行。而清政府已同日本簽訂《臺事專約》，屈辱地了結這次中日交涉。事後，洋務派把中國缺乏鐵甲艦，作為對日本“委曲求全”的托詞。奕譞、文祥等上奏：“夫日本東洋壹小國耳，學習西洋兵法，僅購鐵甲船二只，竟敢借端發難；而沈葆楨及沿海疆臣等，僉以鐵甲船尚未購妥，不便與之決裂。是此次之遷就了事，實以制備未齊之故。”為此，他們提出“購辦鐵甲船以為自強根本”的主張，壹些洋務官僚稱贊這是“切中目前事機”的高見。這樣壹來，清政府便下決心撥巨款，向西歐定購鐵甲船，創辦新式海軍。1875年6月，由兩江總督沈葆楨、直隸總督李鴻章等人倡議，經總理衙門批準，調撥粵海關、江海關等稅銀和江浙等省厘金，每年四百萬兩，分別解往南洋、北洋，作為籌辦海軍軍費，準備在十年內，建成南洋、北洋和粵洋三支海軍。後來，為了集中使用經費，規定這四百萬兩先滿足北洋需要，以後再解往南洋。1879年沈葆楨去世後，海軍大權由李鴻章總攬。他在天津設立水師營務處，辦理海軍事務，派馬建忠具體負責。
為了培養海軍軍官，1877年，清政府從福州船政學堂選拔壹批學生留學英、法，學習海軍駕駛、作戰技術；1880年，李鴻章在天津設立水師學堂，任命留學英國歸來的嚴復為總教習，訓練北洋系的海軍軍官。
到1879年，李鴻章已從英國購進龍驤、虎威、飛霆等八艘蚊船，作為守港利器。但蚊船質次效低，因此李鴻章又派其親信李鳳苞出使德國，用白銀三百萬兩，向德國的伏爾船廠高價定購定遠、鎮遠兩艘鐵甲艦，分別擁有六千匹馬力。
1881年，李鴻章又在大沽建造船塢壹所，並派陸軍提督丁汝昌統領北洋水師。
經過多年的苦心經營，到1884年中法戰爭前，清政府已建立起北洋水師、南洋水師、福建水師三支海軍。南洋水師擁有軍艦十七艘，北洋水師十五艘，福建水師十壹艘。南洋水師掌握在湘系手中，北洋水師是李鴻章淮系的私產，福建水師則掌握在閩浙總督和福建船政大臣手中。三者各歸節制，互不統轄，派系畛域極深。這些海軍平時不重訓練，大量時間耗費於運輸物資和迎送官員的繁雜事務上，內部組織松懈，武器又來自不同國家，具有不同型號。這種種弊端，在中法戰爭時就暴露出來。中法壹戰，福建水師覆沒，南洋水師也大受損失，只有北洋水師因置身戰外，不肯救援，得以保全。
中法戰爭後，清政府為了俺飾自己“不敗而敗”的罪責，再次以“水師不如人”為理由進行辯解，竟宣稱：“上年法人尋釁，疊次開仗，陸路各軍屢獲大勝，尚能強我軍威：如果水師得力，互相應援，何至處處牽制。當此事定之時，懲前毖後，自以大治水師為主。”李鴻章為了控制海軍，又提議設立統轄全國海軍建設和海防事務的衙門，派“慎簡深明防務之大臣，會籌妥辦”。
1885年10月，海軍衙門正式設立，由醇親王奕譞（光緒皇帝的生父）為總理海軍大臣，慶親王奕劻和李鴻章為會辦，曾紀澤“幫同辦理”，實際主持的是李鴻章。此後，海軍衙門在李鴻章主持下，花了數以千萬兩計的巨款，采購外國軍艦、大炮，建設旅順、威海衛軍港，聘請外國教官訓練官兵。經過幾年經營，1888年，北洋艦隊正式建立、擁有軍艦二十二艘，其中十七艘購自外國，五艘自制。李鴻章聘英國人瑯威理（W.M.Lang）等為海軍教習，掌握操演大權。不久，旅順、威海衛和大連軍港及相應的船塢、炮臺，亦先後完工，北洋海軍全部建成。自此以後，北洋海軍不再添購軍艦，每年四百萬兩軍費大部分被慈禧太後挪用為興修頤和園的工程費。
北洋海軍表面的龐大聲勢，使李鴻章深為陶醉，他在1891年壹次檢閱北洋海軍後上疏清廷吹噓，稱：“北洋兵艦合計二十余艘，海軍壹支規模略具”，“目前限於餉力，未能擴充，但就渤海門戶而論，已有深固不搖之勢。”1894年4月，在又壹次檢閱後，他更大言不慚地說：“此後京師東面臨海，北至遼沈，南至青齊，二千余裏間，壹氣聯絡，形勢完固”。就在李鴻章洋洋自得之際，東鄰日本正在心懷叵測地拚命擴張已有海陸軍實力，終於在1894年策動了大規模的侵華戰爭，在這場戰爭中，北洋海軍全軍覆沒，從而宣告歷時三十多年的洋務運動完全破產。從此，雖然各類“洋務”活動仍然在進行，但作為特定歷史含義的洋務運動已經結束了。