百姓闻讯，拦阻在岳飞的马前，哭诉说担心被金兵秋后算帐：「我等戴香盆、运粮草以迎官军，金人全部都知道。岳帅这么一走，我们大家哪还有活路？」岳飞无奈，含泪取詔书出示眾人说：「皇上命令我绝不能擅自决定留下来。」于是哭声震野，人心绝望。
岳飞决定留军五日，以便当地百姓随军南迁，不料愿意跟着南迁的人太多，所以紧急上奏朝廷，以汉上六郡间田来安置他们。
岳飞班师途中，前几天连发的捷报才陆续到达临安，满朝上下都知道这一次阴错阳差，因为讯息往来费时造成的资讯时间落差，同时又不信任前线大将，导致失去中兴的大好良机。可是因为此事是由高宗与秦檜主导，没有人胆敢揭他们的疮疤。
高宗深觉懊恼，于七月二十五日命令杨沂中的殿前司军从临安府开赴淮南西路北上待命，併发手詔，改令岳飞不必急着赶来覲见，暂时留在京西观察金人的动向。
杨沂中的殿前司军于八月中到达宿州，以五千骑兵夜袭柳子镇，却不见金兵踪影。回程遭遇金军的重兵埋伏，一接触就不战而溃。金军乘胜夺回宿州，并因为当地人曾经欢迎过宋军而进行报復性屠城。所以岳飞根本连这份手詔都没接到。
总之，在岳飞前往临安途中，不断接到高宗的手詔，表示他在接到后续战报时的心情一直起伏不定；其中更夹杂着秦檜以三省、枢密院名义递发的省札，其内容经常自相矛盾，颠来倒去，显然有其个人意图在内。不过到最后则是趋于一致，命岳飞以最快速度前往覲见。
岳飞还没到达临安，就听说金兀朮原来已经拋弃汴京北逃，有一位书生骑着快马去追他，告诉他岳飞奉旨班师的事，他才又回到汴京主事。
岳飞不禁苦笑着跟身旁的人说：「这种卖国求荣的臭虫，充斥在我们左右，我们才这么举步维艰啊。」
这时驛馆的人正好传来最新消息，杨沂中兵败中原，宿州再度沦陷，岳飞顿时感到自己的心在绞痛淌血，只能长叹：「天啊！将士们用性命夺回的土地州郡只是一场空！江山社稷中兴无望！乾坤世界也没有机会恢復正常！」
岳飞的第四次北伐，就这样莫名其妙地半途而废，宣告失败。
岳飞气冲冲地走进高宗书房。高宗马上抢先说：「我是皇帝，无论如何都要先让我说完三点声明。第一，这次会造成这种结果，我也十分懊恼，但是只能说是造化弄人，因为最主要的原因是时间差；第二，连发十二道金牌以及上面那些严厉的措词，都是秦檜他们搞的，跟我无关；第三，韩诚跟我说他手中的东西都给你了，若要继续下去可能随时又要断粮了。」
岳飞本来满肚子气，一进来被挡住，接着又听高宗说完，突然觉得不知从哪里开始说起。
「你既然觉得那么有把握，为何不派马成回来说个明白？」韩诚说：「从朱仙镇到临安两千多里路，他不用三天就可到达，只要你能打下汴京，把金兵赶到黄河以北，整个局面就漂亮多了。」
「那时不巧正好让他去河北连络义军，根本不在；而且一切都十分顺利，没打过任何一场败仗，哪里会想到你们会发出班师詔，而且还这么急？」
「都已经声明过这是秦檜他们干的，跟我无关了。」高宗咄咄逼人地说：「而且这只能怪你自己，抗旨违令的前科累累，怎能责难别人？」
「难道被好朋友耍阴吃了暗亏，也不能藉故发一发小脾气吗？」
「那个绝对不是耍什么阴招，所有的来龙去脉待会儿再说给你听。」高宗说：「第一次你说要为母守孝，以表你的孝心，这一点可以理解，即使连续拒受詔命，因为你后来还是以国事为重復出视事，大家也都不太计较。但是后来这一次，你再度以为母守孝来抗命就不高明了；全国上下都知道，你是因为我不准你合併淮西军才摆脸色给我看。我早就知道你的脾气，早晚会耍出这一招，所以才写郭子仪的传记给你看，我当时告诫你的话你都忘了吗？」
「好吧，你就说一说淮西军一事最后变卦的原因吧。」
「我跟张浚一开始都是希望将它併入岳家军，所以才会主动去跟你说；你想想我们总不致于那么无聊，先去撩起你的兴致，然后再拒绝你，故意惹你生气吧？」高宗说：「可是看你事后那么生气，又耍小孩脾气，似乎认为我们是存心耍你，实在是太小看我们了。」
「其实主要是我的意见，」韩诚接着说：「以你们现在十馀万人的规模，后勤补给大概可以支撑三个月，之后就要勉强拼凑，但是顶多也只能再多撑一个半月。如果合併淮西军，由于他们本来的粮餉就有打折，若併进来之后改发全额，一但全部动员北伐，我根本撑不了两个月。」