甲午战争于1894年8月1日正式爆发。李鸿章被任命为清军最高统帅。战争从一开始就向李鸿章最不愿意看到的局面转移。那段时间，李鸿章不时听到一个又一个晴天霹雳。这种莫名其妙的溃败方式，让李鸿章比任何人都苦，比任何人都委屈，比任何人都生气。他的朋友吴汝纶曾回忆道：“平壤之败，李相国痛哭流涕，彻夜不眠...而旅顺失守，愤不欲生。”
朝廷向日本提出议和倡议。失去一切的李鸿章为与日本人面对面感到羞愧。当恭亲王试图让李鸿章去日本讨论和平时，李鸿章选择的角色是德国人德耀林，他在天津海关工作了20多年，忠于李鸿章。在节日胜利的情况下，日本当然不想马上收兵。他们想占领东三省的一部分领土，迫使清朝做出更大的让步。更何况此时中国政府派来的是一个外国人，很可能是来打探虚实的。
德璀琳灰溜溜地回到了中国。1895年2月1日，清政府派张阴桓和邵友莲去日本。第二天，双方交换了国书。伊藤博文发现，张阴桓和邵友莲携带的国书中有“一切事件，电达总理衙门转奏裁决”，认定他们缺乏授权，拒绝与他们谈判。伊藤博文问伍廷芳：“你们为什么不派重臣来？恭亲王为什么不能来我国？吴廷芳回答说：“恭亲王位高权重，不能走开。"那么李鸿章中堂大人可以主持议和，贵国为什么不派他来呢？吴廷芳随后问：“我今天和你聊天，那我顺便问一下，如果李中堂奉命前来讨论，贵国愿意订约吗？伊藤博文自然能听到伍廷芳的声音，答案是滴水：“如果中堂来了，中国自然愿意接待，但仍然符合国际惯例，必须有全权。”
就在谈话前后，日军赢得了威海卫战役，北洋海军被摧毁。清政府失去了与日本人讨价还价的最后筹码，别无选择，只能派李鸿章去日本讨价还价。
1895年2月22日，李鸿章奉旨进京。此时，日本人再次告诉清政府，如果要和谈，不仅要赔偿清政府，承认朝鲜独立，还要求割地！慈禧气急败坏，以肝气发作为借口，对于议和一事，不愿表态，只是环顾四周。满朝大臣义愤填膺，但具体到如何解决问题，他们一个个束手无策，没有人愿意背上一万年的罪名去接这个烫手山芋。自然，李鸿章也不愿意。经营外交多年，李鸿章早就尝到了“卖国贼”的滋味，@ 在出使日本之前，他必须得到清政府的全权授权。
为了寻求支持，李鸿章准确了解了各国列强的态度，再次奔赴各国大使馆。不幸的是，此时，各国要么与日本勾结，要么暗中打着自己的“小九九”，准备从渔民那里获利。李鸿章的求助行动没有结果。
3月4日，光绪正式颁发全权证书，宣布李鸿章是头等全权大臣，并签署了绘画权限。14日，李鸿章等人出发前往日本马关。
在日本签署《辛丑条约》时，李鸿章有什么无奈？