甲午战争在陆海陆战场俱失的情况下，1895年3月，李鸿章受命前往日本马关(今山口县下关市)谈判和约。
首次谈判的尴尬
到达后的次日，中日双方即以春帆楼为会议场所展开谈判。当时的春帆楼里修葺一新，地上铺着华丽的地毯，足见日方准备之充分和重视。双方见面寒暄完毕后，李鸿章说：“你我东亚两国，最为邻近，同文同种，今暂时相争，总以永好为事。如寻仇不已，则有害于华者，也未必于有益贵国也。试观欧洲各国，练兵虽强，不轻起衅，我中东既在同洲，亦当效法欧洲。如我两国使臣彼此深知此意，应力维亚洲大局，永结和好，庶我亚洲黄种之民，不为欧洲白种之民所侵蚀。”
伊藤博文想起十年前李鸿章在天津趾高气扬、自己忍气吞声的受辱经过，心中冷笑，表面却说：“十年前在天津时，敝人曾向中堂进言，贵国之现状，实有改进之必要。但尔后贵国晏然依旧，不图改进，以至今日，实深感遗憾。”
李鸿章叹道：“我国之事，囿于习俗，未能如愿以偿。今转瞬十年，依然如故，本大臣自惭心有余力不足。贵国兵将，悉照西法训练，甚精;各项政治，日新月盛。此次本大臣进京与士大夫谈论，也深知我国必须改变方能自立。”
第一次谈判中，尽管李鸿章想尽力表现出恢宏的气度，但作为战败者，仍难以掩盖尴尬艰难的处境。事后，陆奥宗光评论说：“李鸿章高谈阔论，目的不过是想借此博取同情，间用冷嘲热讽掩盖战败者的屈辱地位罢了。”
此时，人为刀俎，我为鱼肉，老李心酸自知。
日本处心积虑想夺台湾
二十一日，双方举行第二次谈判，伊藤博文提出的停战条件是，日军占领大沽、天津、山海关三地为质，占领期间由大清支付日军军费。李鸿章听后大惊，连呼：“过苛，过苛！”这三地乃北京之咽喉，目前尚在清军手中，如果日军占领这三地，万一谈判破裂，日军就可以迅速进攻并拿下北京，这个条件实在太离谱。
李鸿章强按心头怒火，说：“我之来此，实系诚心讲和，我国家亦同此心。乃甫议停战，贵国先要踞有三处险要之地。我为直隶总督，三处皆系直隶所辖，如此于我脸面有关。试问伊藤大人，设身处地，将何以为情？中日系切近邻邦，岂能长此相争，久后必须和好。但欲和好，须为中国预留体面地步，否则，我国上下伤心，即和亦难持久。如天津、山海关系北京门户，请贵国之兵不必往攻此处;否则，京师震动，我国难堪，本大臣亦难以为情。”
李鸿章想用中国的规矩，讲情面，给面子，奈何伊藤博文一点面子不给，并限定于三天内做出答复。英国人说，“没有永恒的朋友，也没有永恒的敌人，只有永恒的利益！”日本人当时以英国人为师为友，在国家利益上，根本不讲什么情面，国人用这个思维去处理国际事务，岂不贻笑大方？
停战要款告知北京后，朝廷大震，光绪也为之动容。和朝廷商议后，李鸿章决定暂时搁置停战问题，先谈议和条款。在二十四日的第三次会谈中，中方要求日方出示和款，伊藤博文答应次日交阅，但在会谈中却不经意的提起台湾，引起了李鸿章的警觉。
原来，日本在谈判中拒绝李鸿章的停战提议，乃是处心积虑的想夺取台湾。就在前一天(二十三日晨)，日本舰队和五千陆军已在澎湖登陆并于两日后占领了澎湖，为侵占台湾做好准备。
日本愤青枪击李鸿章
正当日本人意在自满的时候，却发生了一件意外之事，让日方措手不及。
二十四日下午，李鸿章结束谈判后乘轿返回引接寺时，日本人听说大名鼎鼎的中国全权大臣李鸿章经过，就像现在粉丝见明星一样，都争着前来观看，一时间街道各处人山人海，好不热闹。
当李鸿章的轿子从人群中穿过的时候，突然一个日本壮汉暴起跃出，直奔轿前，黑手按住轿夫肩膀，轿夫大吃一惊，慌忙停住，这个暴徒乘机掏出手枪，对准老李面上猛的开了一枪，枪弹当下击中李鸿章左眼下，顿时满脸是血，老李当时还算镇静，手掩创口，在日本警察的协助下，急行赶入引接寺旅馆，到了旅馆之后才厥倒在地，不省人事。
后查明，该凶手名叫小山丰太郎，郡马县大北岛人氏，是个二十六岁的无业青年。此人是个日本“爱国”粪青，长期受军国主义思想的严重洗脑，成天生活在帝国幻想中变得歇斯底里。小山丰太郎认为，李鸿章是日本对华战争的主要障碍，曾有计划赴天津行刺，但因买不起船票而无果，这次李鸿章来日本，机会难得，才有此暴行。但小山没有想到的是，自己的“爱国行为”拍到政府的马脚上，后来这小子被山口地方法院判处无期徒刑，哭都来不及。
李鸿章被刺的事情，让日本政府很是被动。伊藤博文得知后勃然大怒，咆哮说“宁将自己枪击，也不应加害中国使臣”，陆军大臣山县有朋也拍着桌子大骂“该匪罔顾国家大计”。最后天皇也被惊动，急忙派出御医前往护理，皇后还亲制绷带以示慰问。
早在4年前，俄国皇太子尼古拉(即后来的沙皇尼古拉二世)访问日本时，曾被一名负责警卫的警察劈头砍了一刀。所幸尼古拉所戴礼帽厚实，受伤不轻却无性命之虞(现日本博物馆有一块沾满尼古拉鲜血的手帕，后成为尼古拉二世尸骨的DNA鉴定依据)。事后，日本天皇亲自出面道歉，并将该凶手处以极刑(后由司法机关改为有期徒刑)。
日本人努力示好
李鸿章遇刺后，尽管日本人做了各种努力示好，但世界舆论仍为之一片哗然，欧美各国纷纷谴责日本并进而同情中国，纷纷表示不能坐视。由于自己理亏和担心列强干涉，日本决定放弃踞地为质的要求，实行无条件停战，但停战范围不包括台湾、澎湖。
四月二日，日方出示和约底稿，并限三日内答复。其和约底稿的主要内容是：
一、中国认明朝鲜国确为完全无缺之独立自主;
二、中国将盛京省南部地方、台湾全岛及澎湖列岛永远让与日本国;
三、中国赔偿日本军费库平银三万万两;四、中国再开顺天府、沙市、湘潭、重庆、梧州、苏州、杭州七处为通商口岸，日本国臣民在各口岸可以自由通商设厂。
李鸿章接阅日方的和约底稿后，再次崩溃。他虽然早就料到日本人心不足蛇吞象，但决没料到日本人野心如此之大，甚于英法十倍。
日方约稿电告总理衙门后，朝廷展开激辩，但口舌相争，毫无结果。李鸿章见期限已到，而清廷复电未到，只得自行拟了一个说帖，除承认朝鲜自主外，对日本其余三项要求都进行了驳斥：
一、割地一项，“日本与中国开战之时，令其公使布告各国曰：‘我与中国打仗，所争者朝鲜自主而已，非贪中国之土地也’”。若“徒恃其—时兵力，任情需索，则中国臣民势必尝胆卧薪，力筹报复。”
二、赔款一项，“日本所索赔款，既名为兵费，较之日本所索之数恐不及其小半”，“且限年赔费，复行计息，更属过重不公，亦难照办。”
三、通商一项，“中国如准洋商在华造土货，势必尽夺小民生计，中国以此等利益准予日本，各国皆援一体均沾之例，则华商之制造厂所立即挤倒矣。”
陆奥宗光拿着李鸿章的说帖去见伊藤博文，伊藤读后大为光火，说：“如果不先加以彻底的反驳，使其迷梦觉醒，恍然悔悟，则对方终不能了解现在彼我之地位，将续作痴言哀诉，徒使谈判延长。苟我不指出其论点的谬误，可能使局外第三者发生日本虽胜于力而屈于理的怀疑”。陆奥也认为：“与其在空洞的理论上和他们哓哓不休，不如在事实面前使他们就范。”
伊藤博文为此，伊藤博文特邀新任全权大臣李经方谈话，恫吓说：“希中国使臣能深切考虑现在两国之间的形势，即日本为战胜者、中国为战败者之事实。若不幸此次谈判破裂，则我一声令下，将有六七十艘运输船只搭载增派之大军，陆续开往战地。如此，北京的安危亦有不忍言者。如再进一步言之，谈判一旦破裂，中国全权大臣离开此地，能否再安然出入北京城门，恐亦不能保证。此岂吾人尚可悠悠迁延会商时日之时期乎？”
小李被这么一吓，当下就没了主意，赶忙说：“回去与父商议后，再行提出答案。但答案万一不能使日本全权大臣满意时，希望不因此招致日本全权大臣之盛怒，以致谈判破裂，使九仞之功亏于一篑。是以诸事皆请海涵。”这活脱脱就是跪地求饶了。
伊藤和李鸿章的谈判
四月九日，李经方提出修正案，同意割让辽东的安东县、宽甸县、凤凰厅和岫岩州四地，以及澎湖列岛，赔款要求减至一亿两。据此，双方于十日又举行了第四次谈判，李鸿章伤势未愈，但考虑到事态严重，也强起亲自与会。姑录辩论简要记录如下(以下是实录，非虚构)：
伊藤博文假意慰问了李鸿章几句后，便说：“中堂见我此次节略，但有允不允两句话而已。”
李鸿章说：“难道不准分辨？”
伊藤博文说：“只管辨论。但不能减少。”
李：“即以此已译三端开议。第一，赔款二万万，为数甚巨，不能担当。”
伊：“减到如此，不能再减，再战则款更钜矣。”
李：“赔款如此，固不能给，更钜更不能给，还请少减。”
伊云：“万难再减，此乃战后之事，不能不如此。”
李：“核计贵国开销之数，远不及二万万两。负担如此巨款，必借洋债。洋债本息甚巨，中国实无偿还此等债务之财源。”
伊：“中国之地，十倍于日本，中国之民四百兆，财源甚广，开源尚易，国有急难，人才易出，即可用以开源。”
李：“中国请尔为首相，何如？”
伊：“当奏皇上，甚愿前往。”
李：“奏如不允，尔不能去。尔当设身处地，将我为难光景，细为体谅。果照此数，写明约内，外国必知将借洋债，方能赔偿，势必以重息要我。债不能借，款不能还，失信贵国，又将复战。何苦相逼太甚！”
伊：“借债还款，此乃中国之责。”
李：“不能还，则如之何？”
伊：“已深知贵国情形为难，故减至此数，万难再减。”
李：“总请再减。”伊：“无可减矣。”
李：“既得地税，尚要赔款，将如之何？”
伊：“无法。”
李：“譬如养子，既欲其长，又不喂乳，其子不死何待？”伊：“中国岂可与孩提并论？”
李：“台湾全岛，日兵尚未侵犯，何故强让？”
伊：“此系彼此定约商让之事，不论兵力到否。”
李：“我不肯让，又将如何？”伊：“如所让之地，必须兵力所到之地，我兵若深入山东各省，将如之何？”
李：“总之，现讲三大端，二万万为数甚钜，必请再减;营口还请退出;台湾不必提及。”
伊：“如此我两人意见不合。我将改定约款交阅，所减只能如此，为时太促，不能多办，照办固好，不能照办，即算驳还。”
李：“不许我驳否？”伊：“驳只管驳，但我如意不能稍改。贵大臣固愿速定和约，我亦如此。广岛有六十余只运船停泊，计有二万墩运载，今日已有数船出口，兵粮齐备，所以不即运出者，以有停战之约故耳。”
李：“赔款还请再减五千万，台湾不能相让。”
伊：“如此，当即遣兵至台湾。”
李：“索债太狠，虽和不诚。我说话甚直，台湾不易取，法国前次攻打，尚未得手。海浪涌大，台民强悍。”
伊：“我水师兵弁，不论何苦，皆愿承受。去岁，北地奇冷，人皆以日兵不能吃苦，乃一冬以来，我兵未见吃亏，处处得手。”
李：“台地瘴气甚大，从前日兵在台，伤亡甚多，所以台民大概吸食鸦片烟，以避瘴气。”
伊：“但看我日后据台，必禁鸦片。”
李：“台民吸烟，由来久矣。”
伊：“鸦片未出，台湾亦有居民;日本鸦片进口，禁令甚严，故无吸烟之人。”李：“至为佩服。”
至此，李鸿章起席与伊藤博文作别，握手时再请将赔款大减，伊藤笑而摇头说“不能再减”，双方遂散。
李鸿章将谈判结果报上去后，总理衙门复电李鸿章：“原冀争得一分，有一分之益，如竟无可商改，即遵前旨与之定约。”由此，马关条约大局已定。
马关条约部分条款四天后，双方进行了第五次谈判。再录几段谈判记录。
李：“无论如何，总请再让数千万，不必如此口紧。”
伊：“屡次说明，万万不能再让。”
李：“又要赔钱，又要割地，双管齐下，出手太狠，使我太过不去。”
伊：“此战后之约，非如平常交涉。”
李：“讲和即当彼此相让，尔办事太狠。”伊：“此非关办事之才，战后之效，不得不尔。”
伊：“换约后一月内两国各派大员办理台湾交接。”
李：“一月之限过促，总署与我远隔台湾，不能深知情形。最好中国派台湾巡抚与日本大员即在台湾议明交接章程，其时换约后两国和好，何事不可互商？”
伊：“一月足矣。”
李：“头绪纷繁，两月方宽，办事较妥，贵国何必急急，台湾已是口中之物。”
伊：“尚未下咽，饥甚。”
李：“两万万足可疗饥，换约后尚须请旨派员，一月之期甚促。”伊：“可写一月内，奉旨派员云云。”
春帆楼外，冷雨萧萧。这次谈判时间长达五个小时，老李说得口干舌燥，但日方丝毫不肯让步。晚上七点半谈判结束，李鸿章走出春帆楼时，已是一个无边的黑夜。千古骂名，岂能得脱？