绍兴七年初的岳飞，正处在历史上最好的时期。一是再立大功，前一年的最后两个月，他的麾下在河南陈州、蔡州地区击退了女真傀儡伪齐“五大王”的进犯;二是加官晋爵，农历的二月二十五日，南宋朝廷颁发诏令，将岳飞的官阶提升为太尉，这是宋代武官的最高阶位，同时加食邑五百户，食实封二百户;三是在这份以皇帝的名义发布的诏令中，赵构还谈到了君臣齐心协力、恢复大宋河山的光明愿景，期待着到了那个时候，“则朕克济垂成之业，而汝亦有无穷之闻”，这也正是岳飞最大的愿望。
更好的消息正在向岳飞招手，在进阶太尉前，岳飞接连收到两道以中央政府名义发布的《省札》，要求他如果军中没什么要紧事，就到皇帝的行在汇报工作。这时候，淮西军的统帅刘光世，不仅军纪不整，而且临阵退缩，前一年差点把整个淮右断送掉，在朝野的压力下，自己申请解除兵权了。皇帝和张浚当时都觉得，岳飞的部队战斗力最强，不如把这支军队交给岳飞去带。正式的接管公文虽然没有下，但已下令淮西军听岳飞的号令。
岳飞很激动。想着即将担当起领导从襄阳到合肥近十万军队的重任，没等正式被任命鄂州军兼淮西军的总司令，他就给赵构写了奏章，半是感谢信，半是请战书。除了提出战略构想，后勤保障也考虑了。他要求皇帝下令有关部门积极备战，不要再像上次那样，因为补给不力而影响战局。后果很严重。这事黄了。才过了几天，又说淮西军不交给岳飞了，改为“都督府直辖”。岳飞不干了，他先去找了以宰相身份兼任都督诸路军马事的张浚，两人在用兵收复失地上一向很合拍，这次却不欢而散。其实，明确向皇帝建议不把淮西军交给岳飞的，正是张浚。理由很简单：不能给武将太大的兵权。张浚是这样认为的，主战的李纲和主和的赵鼎也是这么认为的。大臣们都不同意，那就去找皇帝。为了说服皇帝，岳飞还作了三年恢复中原的保证，都“拍胸脯”了，皇帝还是不同意。
岳飞一气之下，居然不回军营，而是去了在庐山的别墅，扬言要继续为母亲守孝。赵构一连写了两封信给他，希望他重新回来主持工作。岳飞回信了，两个字：不干。赵构这时有点窝囊，又给岳飞写了封信，大意是你是个大忠臣啊，别和张浚一般见识，听话。同时还以三省枢密院的名义让岳飞的部下李若虚和王贵到庐山去劝他。对他们两个，就没那么客气了：如果岳飞不下山，就把你们两个一起军法从事。最后是李若虚连哄带吓，岳飞才接受皇帝的命令返回军营。
李若虚在庐山上，曾严厉地对岳飞说：这样坚决地不听从朝廷的旨意，决非好事;难道您以为可以和朝廷相抗吗？岳飞下山后，估计也是后怕了，曾三次向皇帝谢罪。赵构的回复很淡定：我没有生气。要不然，就处罚你了。怎么处罚呢？就像太祖说过的那样，犯了我的法令的人，只有用剑来教训他。看到皇帝的回复，岳飞会是怎样的表情，没有人知道。但他很快再次领教了皇帝的威严，这一次，有人记录了下来：他当着赵构的面紧张得语不成句，退下来之后面若死灰。
“卿言虽忠，然握重兵于外，此事非卿所当预也。”——赵构的这句话，把岳飞吓得“面如死灰”。岳飞为了淮西军的事，撂了几个月的挑子，大概在绍兴七年(1137年)七月从庐山上下来了，回到了军中。可没过多久，大概在九十月间，他又被皇帝叫去奏事去了。当时皇帝不在杭州，还在南京“靠前指挥”金国和伪齐的南犯。