1895年3月13日，慈禧太后任命李鸿章为全权大臣，还聘请美国前任国务卿科士达为顾问，率领一百多人组成的谈判代表团前往日本马关谈判。当时日本派出的代表，以首相伊藤博文和外务大臣陆奥宗光为首。

陆奥宗光有着“剃刀大臣”之称，他在签订、修改不平等条约方面极其干练，他也是中日近代关系史上一个重要人物。3月19日，李鸿章一行抵达日本下关（即马关）。李鸿章清楚的意识到，战场上的失利，在谈判桌上要想有所斩获，可能性几乎为零。

当初李鸿章代表前去签订马关条约的时候，李鸿章曾经跟伊藤博文说过一段意味深长的话，这段话现在何尝不是还在应验着。

伊藤博文是明治的九元老之一，也是日本第一个内阁总理大臣，他在日本的地位其实就跟李鸿章在清廷的地位差不多。伊藤博文曾经在明治维新之后四次组阁，在任期间长达七年。说起来，虽然当时清朝跟日本的关系已经算是很不好了，但是李鸿章其实跟他交情不浅。两人的第一次相交是在1885年的2月，当时日本方面派出伊藤博文出使中国，之后两人在此后一直都有书信往来。

鸦片战争之后，清朝的大门被敲开，昔日的天朝上国变成西方列强眼里的大蛋糕，个个都迫不及待地想咬上一口。1894年朝鲜爆发了东学党起义，朝鲜政府败退，不得已向宗主国清朝求助，然而，日本乘机派兵去了朝鲜，挑起战争。7月25日，甲午中日海战彻底爆发。就连一直被看成是''弹丸小国''的日本，也在甲午中日战争中彻底打败了清王朝，战败之后的清王朝，为维护满清八旗自己的利益，不惜签订最为贪婪的不平等条约——《马关条约》。

中国战败，李鸿章亲手组建的北洋水师全军覆没。李鸿章其实早就明白战争的结局，他在刚开始的时候就是跟慈禧站主和派的。可日本想要挑起战争，那又由得他们呢？光绪二十一年（1895年）二月十八日，李鸿章接受慈禧的任命成为全权大臣，赶赴日本议和。谈判一开始，日本就狮子大开口，他们要求清廷割让辽东半岛、澎湖半岛、台湾岛以及朝鲜，并要求清廷赔偿白银无数。

他一直希望争得一分是一分，跟日本方面反复辩论。第三次的时候李鸿章还遇刺了，因着这事，凭他在国际上的声望，才勉强减少了一些。第四次谈判的时候，日方再不肯让步，他们索要赔款2亿5千两白银，还有割地。伊藤博文提出必须一个月交割，李鸿章还不死心，说一个月太急了，是否可以两个月？但是伊藤博文没同意。

一开始，李鸿章也曾据理力争，但日本丝毫不肯松口，谈判进行了数天却依然僵持不下，日本依然十分强硬。李鸿章一气之下，对当时代表日本的伊藤博文说：你们可要想清楚了，如果你们现在还是执意要台湾岛，那么以后日本和中国必定就会结为世仇，不管什么时候，我们一定会洗刷你们留给我们的耻辱！这席话使在场之人无不沉默。

但李鸿章的这番话并没有让日本改变想法，最终，清廷割让辽东半岛、台湾、澎湖列岛，以及原来清政府的藩属国——朝鲜，并赔偿日本两亿两白银。签订了马关条约之后，李鸿章发誓再也不踏上日本的土地。伊藤博文虽然在政治上对李鸿章咄咄逼人，但是私下他很欣赏李鸿章。给了李鸿章极高的评价，说他是大清国中唯一有能耐跟世界列强一争长短的人。

而现在看来，李鸿章所言都实现了。