虞允文率部到达江边时，看到长江以北，已修筑高台，高台两边相对树起了两部绛色旗帜，两面五彩旗帜，当中建有一间黄色房屋，完颜亮倨傲地坐在当中。
有奸细前来报告，说前一天金军杀死白马、黑马以祭上天，与众将士约定，第二天要渡过长江，首先渡过长江的重奖黄金一两！
这时，金军有士兵四十万，骑兵也超过宋军一倍，宋军总共才有士兵一万八千人。
虞允文因此命令宋军将士排成大阵按兵不动，将五艘藏有兵器的战船分为几部分，二艘沿长江东西两岸并列航行，一艘驻扎长江中流，隐蔽好精兵良将枕戈待战，另二艘藏在小港中，以备不测。
虞允文将布置完毕时，敌军已经大声叫喊起来，完颜亮亲自摇着小红旗指挥数百艘战船横渡长江而来，眨眼之间，金军抵达长江南岸的船就达到七十艘，径直冲向为数不多力量单薄的宋军，宋军向后稍稍退却了一些。
虞允文冲入阵中，抚摸着时俊的背部勉励他说：“你以胆识过人闻名四方，站立在你身后的是你的兄弟姐妹和儿女啊。”
时俊听了，立即挥舞双刀冲出军阵奋勇杀敌。
将士们见了，也不怕牺牲了，杀向敌军，与金军展开殊死搏斗。
在长江中游宋军用海鳅船冲击金军船队，许多船只被撞沉没，金军大败，死伤过半，但太阳下山时，金军还未退却。
这时，正巧溃逃的一支士兵从光州到达采石。
虞允文指挥旗鼓手从山后转出来敲击战鼓，金军怀疑有宋军援兵到达，吓得立即逃跑了。
虞允文又命令弓箭手从后面追赶袭击他们，大败这支溃逃的金兵，杀死金兵四千多人，杀死万户长二人，俘虏千户长五人，活捉女真士兵五百多人。
那些在江中未被杀死的金兵，完颜亮对他们不出江作战极为愤怒，将他们全部击杀。
虞允文把捷报报告了皇上，赵构大喜，犒赏三军将士，对他们说：“敌军今天大败而归，明天一定会来复仇。”
半夜时分，虞允文命令部分将士，乘海船逆流而上，另外派遣部分水军主动进攻长江北岸的杨林渡口。十四日，金军果然来犯，因宋军已有准备，水陆前后夹击敌军，两军再次展开激烈战斗，宋军焚敌船三百艘，金军被打得大败而逃，虞允文再次向皇上上报捷报。
完颜亮又派遣使者假传诏令以告知王权，给宋军造成他们早有宿约的假象。
虞允文说：“这是敌军的反间计。”于是就写信答复说：“王权已被绳之以法，宋军新的将领将是李世辅，我们愿意在战场上与你们一决雌雄。”
完颜亮看到回信后大为恼怒，立即焚烧了他自乘的龙凤车，杀死了梁汉臣和另外两位为金军造船的人，然后率军冲向瓜洲。
梁汉臣，是曾向完颜亮献计渡过长江的人。
看来，做汉奸也不好做啊！
李显忠到达芜湖后，虞允文对他说：“敌军进入扬州，必然与瓜洲完颜亮所部合兵一处，京口地区没有防备，我应该去京口设防，希望将军能够分部分兵力帮助京口防卫。”
李显忠派遣李捧率军一万六千人奔赴京口，叶义问也命令杨存中率部众来京口会合。
虞允文回到建康，立即上奏疏说：“金军在采石遭到惨重失败，必然寄希望于在瓜洲侥幸获胜。现在我们精兵良将聚集京口，严阵以待，就能够一战而胜。请求陛下不要将宋军主力调往别处。”