杨广万万没想到的是，李世民竟然狂妄到首先对自己发起进攻。就在杨广带着天兴军顺着通济渠赶回东都时，唐军兵分三路开始了南征。
东路由长孙无忌统领，率五万大军自濮阳渡河南下，直取汴州。中路由李世民亲自率领自孟津南渡黄河直逼东都洛阳，西路由尉迟恭统领从河东西渡黄河，直取长安。虽然唐军来势汹汹，但是隋军却有着严密防御部署以及强大的黄河水师。
在北方造船业远不如南方，唐军难以打造大量适合在黄河水道上行驶的战船以及培养大量水手。但对于拥有江淮的隋军这个问题一点都不存在，大量适合黄河水道的战船以及训练有素的水手早就源源不断的通过通济渠进入到黄河。
杨广回到东都没多久。唐军就因为后方粮草补给难以运输到前线，导致李世民的东西两路大军过河不久就陷入进退失据的困境之中。
而李世民亲率的中路大军就更别提了，连河都过不了。与段达统帅的五万隋军府兵和一万骁果禁卫隔在孟津隔着黄河对峙。李世民恐日久生变，不得已，下令让东西两路唐军分别撤回河北，河东。
他这个决断可谓及时，只要再晚几天，杨广就会做出部署，完成对东西两路唐军的全面合围。
但是，侥幸逃出生天的东西两路唐军在隋军乘势追击下依旧伤亡不小，在过黄河过到一大半时又被赶来的隋军水师截杀，没能过河的全部被隋军斩杀或俘虏。
唐军对隋军的攻击就这样被轻易瓦解掉了，李世民一个战略目标都没达到，甚至连个隋朝粮仓都未能攻克下来。他只得沿着黄河匆忙做了防御部署，而后唐军主力分两路返回晋州和大名。
返回晋阳的李世民清点兵力后更是郁闷不已，此次南征不仅无功而返，还损失了近四万唐军将士。不过，让他感到庆幸的是，唐军中最精锐的五万玄甲军和长林军却是没有丝毫损失。他自信这玄甲军中的俱装铁骑，陌刀兵，还有长林军中的刀盾手，强弩兵乃天下第一强兵，这也是他向隋军发起主动进攻的底气所在。
杨广并没有给李世民喘息的机会，仅仅几个月之后，大业十六年的初秋。杨广亲率三万天兴军，两万骁果禁卫北渡黄河讨伐李唐。
同时为了保障后方以及侧翼安全和稳定，牵制住唐军东西两翼兵力。杨广令段达与王世充各自领兵两万隋军精锐分别从东边的濮阳与西边的郃阳渡过黄河，深入唐军腹地袭扰。因为是袭扰做战，所以他们并没有太大的后勤负担。作战形式通常是，每个兵士一次带够十日的特制压缩干粮，然后向唐军腹地进击五日行程，大约五六百里的路程，待所带给养消耗一半时再折返到黄河岸边，在那里可以得到隋军黄河水师提供的补给。