绍兴三十二年正月，赵构到达建康。
不久，他商议移驾回朝，下诏任命主和派杨存中担任江淮荆襄路宣抚使，另以虞允文为副使。
主战派官员大失所望，对任命杨存中意见很大，赵构于是改任虞允文为川陕宣谕使。
虞允文向赵构辞行，说：“金国完颜亮已被诛杀，新主完颜褒即位时间不长，金国国内形势一片混乱，这是上天帮助我们恢复失地的大好时机。与金和议就会打击朝野上下抗金义士的抗战热情，继续抗金就会振奋朝野上下的抗金士气。”
赵构认为他说得很有道理，不过，就是认为而已。
虞允文到达四川后，与大将们共商赶走金军恢复中原大计。
金人增派大批援军争夺南宋收复的大片土地，四川士人打算放弃这些州郡，虞允文坚持不能放弃。
双方就这样僵持着。
一直到宋孝宗赵昚即位后，朝中大臣有谈论西部战事的，认为宋军讨伐金人，东部不能超过宝鸡，北部不能超过德顺，并打算任用忠义之士守卫新收复的州郡，官军退守四川。
虞允文听了据理力争，没有取得结果，于是退兵河池。
参知政事史浩等人主张议和，打算放弃陕西，台谏袁季、任古也附和他的意见。
虞允文再上奏疏，大概内容是：“恢复国土没有比首先恢复陕西更重要的了，陕西同新近收复州县的安危与德顺之存亡息息相关，德顺一旦放弃，进攻四川的路线就增加许多，西河州、阶州、成州，其地理位置事关重大。”
虞允文先后上奏疏十五次，又写信给陈康伯，陈康伯虽与他同属主战派，却也没有回天之力。
赵昚准备召请虞允文询问陕西方面的战况，参知政事史浩等人不愿意让他来，于是虞允文以显谟阁学士身份任夔州知州，不久皇上又命他上疏奏事。
隆兴元年，公元1163年，虞允文入宫回答皇上的提问，史浩一向主张弃地求和，等到升为右相后，立即实现他的主和政策，还亲自为赵昚拟定诏书，其中有这样的词句：“丢弃鸡肋一类没有多大意味的东西，可以消除金人的贪婪之心。”
虞允文入宫上奏说：“现在有八条理由说明我们可以继续对金作战。”
赵昚问到弃地问题时，虞允文用朝见时所执的手板在地上画，力陈丧失土地的利害。
赵昚听了，叹息说：“这是史浩使我受害。”
虞允文又以敷文阁待制身份任太平州知州，不久又升任兵部尚书、湖北京西宣抚使，又改任制置使。