日軍在攻佔旅大之後，準備進行威海衛戰役，但由於威海衛軍港正面設防十分堅固，不易攻取，於是決定選擇清軍防禦薄弱的榮成灣一帶登陸，從側後奪取威海衛。而清軍方面，因遼東半島潰敗，清政府責怪李鴻章救援不力，下詔將其革職留任，命他親赴大沽、北塘等處巡視、佈置。同時，把兵力多調到遼沈，而忽視山東半島。結果，京都多達二百餘營，近十萬人，而敵人進攻重點山東半島僅四十多個營，不到二萬人。特別是榮成方向，兵力最弱，僅四營一千四百多人。鑒於威海衛後路兵力單弱，守將戴宗騫曾經向李鴻章建議採取「雖佈近局、仍扼外險，寧力戰圖存，勿坐以待困」的戰守之策，但李鴻章仍堅持採取單純防禦方針，使得陸岸守軍只好坐等敵人來攻，海軍艦隻則被降為要塞的活動炮台或輔助炮台，完全失去了艦隊所具有的機動性能，為日軍全殲北洋艦隊提供了條件。
一八九五年二月二日，威海衛失陷。統帥丁汝昌早已做好與北洋艦隊同存亡的準備。豐島海戰後，他將兒子丁代禧留在身邊，兒媳張氏和孫子丁旭山送回原籍。臨行前他交代張氏：「我的生命已交給了國家，你一定要照看好我的孫子！」劉公島保衛戰開始後，丁汝昌向李鴻章表示：「唯有船沒人盡而已！」丁汝昌派人將鴉片送到船上，以備如果不能戰死就服毒自盡。為防止受傷軍艦落入敵手，丁汝昌用廣丙艦的魚雷炸沉了已擱淺的靖遠艦，又在定遠艦中部裝上火藥，將其炸毀。定遠艦管帶劉步蟾吞鴉片自盡，實踐了「艦隊亡則人亡」的誓言。丁汝昌向廣大官兵許諾的最後一天終於來到了。傍晚，丁汝昌收到李鴻章的電報，上面寫著「援兵無期」！
最後的希望破滅了。深夜時分，水陸兵民萬餘人向他哀求活命。丁汝昌嘆口氣，道：「與軍艦同生死是我的職責。但我的死可以救你們的命。」他向大家暗示自己死後可投降日軍以求活路。並交代部下牛昶昺銷毀北洋水師的提督印。丁汝昌服下事先準備好的鴉片，次日清晨氣絕身亡。
牛昶昺等推舉楊用霖出面與日軍接洽投降事宜。楊用霖當場嚴詞拒絕，口誦「人生自古誰無死，留取丹心照汗青」的詩句走入船艙，飲彈身亡。護軍統領張文宣同時自盡。美國人浩威建議以丁汝昌的名義投降，牛昶昺在投降書上蓋提督大印。幾人將責任推到丁汝昌身上。可憐丁汝昌死後蒙羞，家產全被沒收，子孫流離失所。直到宣統二年（一九一○年），在威海商民聯名提議下，方由袁世凱上奏為其平反昭雪。
北洋艦隊尚存的十艘艦船和劉公島各炮台軍資器械，全部為日軍所擄。
一八九五年二月十七日，日本艦隊徐徐駛入威海港。中國鎮遠、濟遠、平遠、廣丙、鎮東、鎮西、鎮南、鎮北、鎮中、鎮邊等十艘軍艦換升日本國旗。只有康濟艦仍懸掛黃龍旗，載送著丁汝昌、劉步蟾、楊用霖等六人的靈柩。下午一點，十艘中國軍艦全部編入日本艦隊。四點，康濟艦在汽笛的哀鳴聲中，冒著瀟瀟冷雨，淒然離開威海。
至此，李鴻章經營了十多年的北洋海軍全軍覆沒了。此時，李鴻章也結束了權傾朝野的日子，不僅朝廷對他不再寵信，在文武百官以至百姓中，他也威信一落千丈。甲午戰爭，北洋海軍的全軍覆沒，是李鴻章大搞洋務的終點。
北洋海軍自一八七五年開始籌建，一八八八年正式成軍，它不幸在第一次中日戰爭中為日本海軍完全摧毀，李鴻章的努力付之東流，同時也使中國喪失了制海權。北洋艦隊的毀滅，可以部分歸咎於清政府、李鴻章所採取的消極防禦戰略，但北洋海軍本身存在的若干缺點也不容忽視。首先制度上含混不清：北洋海軍名義上隸屬於北京海軍衙門，但實際上卻歸李鴻章節制。李鴻章此時已成為全國督撫的領袖，集內政、外交、洋務、海防於一身。在十九世紀八十年代末、九十年代初，他忙於應付每日遇到的政治問題，以致不能對北洋海軍諸多問題給予更多注意；其次，指揮系統不清：由於李鴻章未能經常顧及海防，北洋海軍由丁汝昌負責。但丁汝昌未受過海軍正規訓練，因此他常為部下所輕，他們大多數人是由中國水師學堂畢業。另外，北洋艦隊中的外籍軍官有的傲慢自負，要求過分。這些外國軍官和中國軍官之間關係緊張，時有衝突發生，它導致北洋海軍進一步衰敗和腐化；第三，經費不足是一個嚴重的問題：最初海防經費預算每年二百萬兩，但從未如數收齊。北洋海軍改隸於海軍衙門以後，艦隊每年預算減至不及一百三十萬兩。
最糟的是一八九一年四月，戶部建議停購艦上大炮、裁減海軍人員。這些建議得到朝廷准許。這使艦隊及其裝備的更新成為不可能。以上北洋海軍自身所存在的弱點以及甲午中日戰爭中李鴻章一貫主張「防禦」的方針，導致了北洋艦隊在中日甲午戰爭中被日軍全部殲滅。