公元1137年，即绍兴七年，二月，岳飞奉命进京述职。皇帝在他的“寝阁”就是卧室里单独召见了岳飞。皇帝对岳飞说：“光复国土，中兴大宋这项事业，我就托付给你了。从今以后，除了韩世忠、张俊之外，其余的军队都交给你节制。”！如果这一切顺利实现，这位青年将军与对他有知遇之恩的青年皇帝，君臣二人的人生事业将可能达到一个令人目眩的光辉顶峰。至此，岳飞迎来了自己生命中的黄金岁月。可是，后来发生的有关谁来接管刘光世淮西部队的问题，彻底终结了君臣二人的情谊。当时宋高宗将刘光世兵权收回，想要任命岳飞接管刘光世大军。枢密使张浚不同意。他特意召见岳飞，两人发生了如下谈话。张浚说：“淮西这支部队很服气王德，现在准备任命他担任总管，郦琼担任副总管，你以为如何？”
岳飞回答：“王德和郦琼素来不相上下互不服气，这种安排必导致二虎相争。吕祉虽是通才，毕竟是书生，不习军旅，恐难服众。”张浚问：“张俊怎么样？”岳飞回答：“我本不敢说三道四，但为国家利益考虑，恐怕张宣抚性子太暴躁，缺少谋略，刘光世部下会不服。”张浚阴沉着脸，沉默片刻，又问：“杨沂中应该高出这二人了？”岳飞摇头道：“沂中虽勇，和王德差不多，怎么驾驭得了这支部队？一旦处置不当，变乱可能在弹指间就会发生。”张浚终于忍不住了，说出了一句相当伤人的蠢话：“我就知道非太尉你来不可。”岳飞也忍不住了，愤慨地说：“都督您正儿八经地问我，我不敢不据实回答。难道我是为了图谋这支部队吗？”双方把话说到这个份上，已经全然没了回旋余地。岳飞离开都督府，立即上了一道奏章请求辞职。然后未等批复，就把军中事务委托给助手张宪代管，自己回到庐山，给母亲扫墓守孝去了。
结果，不该生气的人——宰相张浚和皇帝赵构丝毫没反省自己的意思，他们比该生气的人生的气还大。《宋史》记载，此后张浚多次上奏弹劾岳飞：“岳飞处心积虑，一心想兼并别人的部队。此次辞职，真实意图是要挟皇帝。”这种不负责任的弹劾，具有极其可怕的杀伤力，岳飞陷入险恶的旋涡中。岳飞是天才的军事统帅，富有军事上的洞察力，在政治上却表现出十足的幼稚。可能的推测是，此时，岳飞仍心怀对赵构知遇之恩的感激，潜意识里希望用这种赌气的方式，唤起皇帝的觉悟。从后来的发展看，赵构基本接受了张浚的说法，在心理上关闭了对岳飞理解与信任的大门，只剩下利用。利用完后，则是诛杀。中国历史上，失去信任后，皇帝诛杀功臣的事不胜枚举。这可能是中国“过河拆桥”、“卸磨杀驴”之类格言谚语比其他国家和民族多得多的主要原因。
赵构采取了很绝的方法处理岳飞辞职事件，他给岳飞最主要的助手下了严厉的命令，让他们敦请岳飞复职。如违抗，或做不到，就行军法。于是，李若虚二人只好来到庐山东林寺劝说岳飞出山。岳飞很恼火，坚持不肯。一直僵持到第6天。李若虚说：“难道你想造反吗？难道让你出来不是好事吗？你坚持不干，朝廷怎么会不怀疑你？想想看，你不过是农夫出身，受天子委托，掌握这么大的兵权，你是不是觉得可以和朝廷抗衡了？如你坚持不复出，我们二人受刑死掉，应算是没什么对不起你了吧？可你一点都不觉得有愧于我们吗？”这番话，很可能将此时赵构深藏在心底、想说而没说的话说了出来，魔鬼般预示出岳飞的命运。