展庆四年(659年)，在武则天的指示下，许敬宗煞费苦心，将长孙无忌编织成朋党案，进行恶毒陷害。许敬宗利用处理王子洗马韦季方和监督御史李巢朋党案的机会，诬陷魏季方和长孙元忌构陷忠臣近亲，使权归无忌，伺机谋反。唐高宗先是惊讶地不相信，然后悲伤地怀疑，命令许敬宗再次检查。然后，面对许敬宗足不出户编造的关于魏季方解释与长孙无忌谋反的供词，他哭着说：“如果我叔叔是果尔，我永远不会忍受杀人。世界将是我的，后世将是我的！“许敬宗举汉文帝杀叔叔薄昭，天下以明主为例，安慰高宗，引用“当断不断，反受其乱”的古训，催促他下定决心。唐高宗甚至没有和长孙无忌对质(或者他需要不对质)，于是下诏削去了长孙无忌太尉的官职和封邑，迁往黔州，但允许根据一品官提供饮食，这可以算是对元叔的照顾。长孙无忌的儿子和宗族都被株连、流亡或杀害。三个月后，高宗又让许敬宗等人复合此案，许敬宗派大理正袁公瑜到黔州，逼长孙无忌自杀。
自从武则天成为皇后的那一天起，长孙无极就觉得自己的大趋势已经过去，觉得自己打不过她，于是忍着修国史。否则，武则天凭借自己的威望和权力，怎么能让武则天清除王、萧、废墟王子、培养亲信、降职大臣呢？
此时此刻，现在你是一个受欢迎的人物，有皇帝支持你，我不会愚蠢地和你做对，更不用说我以前冒犯过你了。我最好远离政治。只要我远离政治，你就会认为我是一个无关紧要的人，不会帮助我。为了救我的后代，同时为了我有一个好的结局，我服输了，我想活下去。其实我见过各种各样的场景。我不怕整体，但我怕你。你太残忍了！我惹不起你，还躲不起你吗？
这是长孙无极的愿望。当武则天整顿朝臣时，他作为首席总理一句话也没说。他不再这样做了，所以他决定寻求另一个职业——修复国家历史。长孙无极这样做是为了远离政治，转移武则天对他的注意力。然而，他对政治并不感兴趣。李志和武则天控制了整个政府。他的长孙无极控制政府的日子已经成为历史。
武则天整顿朝臣的日子也是长孙无极致力于修复国史的日子。从武则天成为皇后到显庆四年四月，他编写了80卷武德贞观国史、梁、陈、周、齐、隋三代史志30卷、显庆新礼130卷。需要注意的是，在李志和武则天旅行的那一年，长孙无极也沉浸在修复国史中，根本没有带他出去玩。
实事求是地说，长孙无极为中国的历史文化工程做出了突出贡献，但无论贡献有多大，都无法抹去武则天对他的仇恨。当他多次拒绝支持武则天，吃黑的时候，武则天发誓:早晚有一天，我让你吃多少就吐多少，直到吐出你的老骨头！
武则天是个有仇必报的人，她永远不会放过长孙无忌。长孙无忌似乎惹不起她，也躲不起她。
从洛阳回京后，武则天一直在寻找摆脱长孙无忌的机会。四年四月的显庆节，她终于找到了机会。然而，在机会到来之前，她建议李志重组宰相团队。重组的宰相团队有六名：太尉长孙无极（仍是首席宰相）、司空李积、太子太师于志宁、侍中辛茂将、中书令许敬宗、黄门侍郎许。在这六个人中，李积和许敬宗是武则天的人，而余志宁、辛茂将、许则师则是中立派，其余的长孙无忌则完全孤立。
看到这里，明眼人可能会问:两年前被李治提升为中书令的李义府去了哪里？
显庆三年(658年)，李义府犯罪被贬。前面解释过，李义府靠宠放纵自己，什么坏事都做。后来，他甚至纵容儿子和女婿公开出卖官衔爵，这在朝廷中影响很大，但没有人敢管。新晋宰相杜正伦再也受不了了，他偏偏对着李义府。为此，他们经常在宫殿里大吵大闹，李治受不了。一怒之下，他们把李义府贬为普州(今四川安岳县)刺史，把杜正伦贬为横州(今广西横县)刺史。
不要以为李义府就这样失势了。不久之后，李志重组宰相团队后，他在武则天的庇护下复出，担任官员部门的尚书和中书门下的三个产品。他仍然是宰相。他继续活跃在政治舞台上。这是后话。
祸起无关案件
言归正传。孤立无助的长孙无极就像一只被围困的猎物，只在武则天被杀。显庆二年四月，一起与他无关的案件发生，直接把他送到了断头台。
事情就是这样。有一个洛阳人叫李奉节，起诉太子洗马(太子政治文理导师，从五品)魏季方，监督皇史李巢私交权贵，涉嫌搞朋友。搞朋党意图谋反，李治很快就得知了此案。他命令许敬宗和辛茂审理此案。许敬宗接手此案后，严刑迫使魏季方提供幕后指使者。这是一个简单的案例。没有人指示魏季芳是个有良心的人。他不冤枉别人，但他受不了徐敬宗的刑讯逼供。他想死，但自杀失败。
武则天皇帝是如何对付长孙无忌的？