虽然宋高宗也渴望收复失地，但在这个过程中，一些只能理解和说不出的隐忧让他感到不安和徘徊。
一方面，北伐一旦开始，就必须把全国的人力、物力、财力和军事力量放在一个篮子里。他对获胜的机会不知所措；另一方面，南宋初创企业的基础并不稳定。一些在战争中成长起来的武夫势力正在日益崛起，各自为政，自称张家军（张俊）、刘家军(刘光世)、韩家军(韩世忠)、岳家军(岳飞)等等。
远有老祖先赵匡胤陈桥兵变的先例，然后是他亲身经历的“苗刘兵变”。他害怕军阀和藩镇的力量像老虎一样坐着。只要有机会，他就会迅速被切断。
宋高宗自登基以来，一直在主战和主战之间犹豫不决，这也可以从他任命宰相的候选人中看出。当他倾向于北伐时，主战的张军任相；一旦因情况发生变化而犹豫不决，稍微保守一点的赵鼎任相；如果他倾向于向金求和，主和的秦桧将担任宰相。@ 与宋高宗的政策方向密切相关，张军的去留与升降。
最终推动宋高宗彻底主持这一“多米诺骨牌效应”的第一张骨牌，就是绍兴七年(1137年)发生的“淮西兵变”。
在与伪齐对峙的过程中，由于军队的傲慢和繁荣，张军与宋高宗讨论了军队的整理，以避免大尾巴。在宋高宗的安排下，今年3月，张军解除了刘光世的淮西军权，并将淮西军作为他的都督府，以都督府的参谋和军事部的尚书吕志来控制和统治。
与此同时，以刘光世部将王德为统制，李琼为副都统制。李琼出身流寇，与王德积隙很深，吕芷又是一位书生，难以服众，这种安排为兵变埋下了伏笔。不久，张军意识到这样的安排不当，打算召回李琼，夺取他的兵权，但消息泄露了，被李琼得知。当年8月，李琼发动兵变，杀死吕志，迫使4万多名淮西军投降尚未被金废除的刘豫，历史上被称为“淮西兵变”。
军事变革的消息传来，全国都感到震惊。张军一度成为众矢之的，随后被罢相，以秘书少监分公司西京。当时南宋总兵力只有20多万，“淮西兵变”让南宋失去了一支关键力量。敌人长我消失了，北伐更难提上议事日程。
绍兴十一年(1141年)，宋高宗解除了韩世忠、岳飞等将军的兵权，制造了岳飞冤狱，取得了与金和谈的资格，随后杀死了岳飞，正式与金签署了“绍兴和议”。南宋在满足了金国杀害抗金英雄、向金称臣、割地、赔偿等诸多屈辱条件后，得到了所谓的“和平”。此后，宋高宗任命秦桧为独相近20年，一直执行屈辱乞讨和政策。“绍兴和议”后，张军逐渐成为宋高宗的“眼中钉”。宋高宗将他贬到湖南、广东等地，前后放逐了20多年。
谁是宋高宗一生中最讨厌的人？南宋北伐名将张军