1592年4月，日本侵略者以陸軍的優勢兵力在朝鮮釜山登陸，同時以強大的艦隊配合陸軍行動。李舜臣指揮朝鮮水師奮起抗擊，屢挫日本海軍，牢牢地控制着制海權，遲滯了日本陸軍的進攻速度。5月上旬，李舜臣水師與日本海軍在玉浦洋麪上展開激戰。當時，日軍傲氣十足，不把朝鮮水師放在眼裏，在玉浦港的日本戰船上的大部分水兵一登岸，便進村莊搶劫去了。李舜臣乘敵不備，率85艘艦船隱蔽疾駛，直撲玉浦港，當即擊沉、燒燬敵艦26艘，擊斃日軍1000餘人，當晚又擊沉擊毀敵艦18艘，朝鮮水師僅一人負傷。

從5月底到6月上旬，李舜臣又指揮了唐浦戰役。

1592年5月29日，李舜臣率領備龜船的23艘戰艦，與元均指揮的水師會合，準備向泗川洋麪的日軍陣地發動進攻。到達預定地點時，李舜臣發現敵佔據的地形險要，不利攻擊，便隨機應變，採取以退爲進的戰術，誘敵出港，準備在洋麪上殲滅敵人。日本海軍見朝鮮海軍不戰而退，誤以爲是膽怯，即全力追擊。待敵追至對朝鮮水師有利的海域時，李舜臣出其不意地轉退爲進，以“龜船”充當先鋒，衝入敵陣，左衝右撞，往來穿梭，同時發射各種火炮，將敵艦撞破或擊沉。其它戰船也不甘示弱，箭炮齊發，日本艦隊大亂。經過一番激戰，日軍參與追擊的全部艦船不是被擊沉就是被繳獲。

1592年6月2日，李舜臣率艦隊進攻唐浦敵軍，令龜船衝向敵旗艦並將其撞破，同時縱火將在唐浦的21艘敵艦全部燒燬。

1592年6月5日，李舜臣與李仁祺部，採取誘敵出洋，前後夾攻的戰術，又燒燬敵艦26艘。7月，朝鮮水師在閒山島海戰中擊毀敵艦近百艘，一舉殲滅敵海軍主力。

爲挽回敗局，日寇巧施反間計得逞，李舜臣被撤職，致使朝鮮水師幾乎全軍覆滅，閒山島大本營被敵人佔領。這時朝廷迫於國內輿論的強大壓力，重新任命李舜臣爲三道水師統制使，委以挽救國家危亡的重任。但同時，朝廷認爲水師已垮，難以禦敵，令李舜臣率部登陸作戰。臨危受命，再次復出的李舜臣以軍事謀略家的眼光洞察形勢，認爲水師絕不可廢。李舜臣以殘存的12只戰船和120名水兵爲基礎，首先補充了一部分兵員，抓緊訓練，其次重新選擇了新的水師基地，李舜臣仔細分析了敵我雙方的力量及其它因素。很明顯，敵人在兵力上佔有絕對優勢。我方要取勝，必須藉助地利，即利用有利地形打擊敵人。

8月底，李舜臣指揮朝鮮水師擊退前來偷襲的8艘敵艦後，主動撤到地勢險要的珍島碧波亭隱蔽起來。這一帶的地勢李舜臣是瞭如指掌的：前有小島阻攔，港內可以隱藏數十艘戰船；更爲有利的是這個海域有一條狹窄的通道，即鳴梁海峽。這裏每天海潮漲落4次。李舜臣認爲這個“阻難狹路”是殺敵好戰場。他派人在鳴梁海峽東西兩個出口暗設鐵索和木樁，目的是要漲潮時駛入的敵艦，退潮時不能駛出，給朝鮮水師提供一個理想的甕中捉鱉的場所。

1597年10月26日，日軍以330艘戰船和9200人的兵力向朝鮮水師發起進攻，在敵我雙方兵力十分懸殊的情況下，李舜臣胸有成竹，沉着應戰。他先派出一艘戰船進攻敵艦，將大批敵艦引入鳴梁海峽。不久，潮水退落，敵艦被暗設的鐵索；木樁所阻，無法駛出。李舜臣即派水師反攻，以12艘戰船擊沉敵船30多艘，殲敵1000餘人。這就是朝鮮歷史上著名的“鳴梁大捷”，也是世界海軍史上以少勝多的光輝戰例。隨後李舜臣移師古今島（今莞島），建立基地。

1598年11月在露梁海戰中，與陳璘等指揮聯合艦隊大敗敵船隊，但在追擊逃敵時中彈犧牲。兩年後，朝鮮朝廷爲表彰他的功績，封他爲一等宣力功臣。

1643年即他死後的45年，贈諡“忠武”，從此，朝鮮半島人民爲了紀念他，稱他爲“忠武公”。遺著輯成《李忠武公全書》。