原本以为是高澄中计，真的领军来袭，并在当夜于大营设伏，到了午后，果然营外声势大作，陈霸先及其麾下将士无不打起精神，等着齐军入瓮。
却不曾想光听见声响，却看不到动静，北齐骑卒们在营外喧嚣，敲锣打鼓，却始终保持了距离，不肯冲进陈军大营。
“齐人莫非看破了我等伏兵？”
大将侯安都疑惑道。
陈霸先眉头紧锁，他担心的不是齐军看破了今夜设伏，而是他们压根就没想袭营。
果然，这样的吵闹在五部齐军的轮番上阵下，一直持续到了天明。
一整夜都精神高度紧绷的陈军将士叫苦不迭，他们也曾出营驱逐这些齐军，但两条腿跑不过四条腿，只要陈军将士回营，齐军便会卷土重来。
又不能只派遣小股军士值夜，让其余将士休憩，若齐军真的来攻，单凭少量军士又如何抵挡得住。
陈霸先只得将麾下将士分成数部，轮流值夜。
当天陈军只走了三十余里，便扎营休息，将士们实在疲惫得很。
夜里，北齐骑军又来营外骚扰，陈霸先提前在营外布下伏兵，但还是没有逮住他们，当设伏军士回营后，齐军又带了锣鼓给陈军将士提精神。
陈军将士不堪其扰，士卒向将领诉苦，将领求陈霸先改弦易辙，就这样下去，别说奔袭三路齐军，再不调转方向，还不知道能不能回到番禺城。
对面齐军如此滑不溜秋，而他麾下缺少骑兵，陈霸先实在拿这些来去如风的北方骑卒没有办法，在得到高要方向送来的情报，得知高澄领数千骑兵退往高凉后，陈霸先终于放弃了诱敌的想法，挥师向东南，欲退回番禺。
韦孝宽沿途小心跟随，不断骚扰陈军将士，当然，这对北齐骑卒也是考验，但作为这场骚扰战的发起方，无论如何要好过陈军的精神状况。
二月二十八，陈军在经历了噩梦般的长途行军后，终于返回番禺，陈霸先于是一心增加番禺守备，试图支撑到入夏，以炎热的气候，逼迫齐军退兵。
毕竟齐军之中，多是北人，不耐酷暑。
三月初二，高季式与吴明彻先后抵达高要城，而高澄在得知陈霸先转道广州的情报后，也与同他汇合的斛律光赶赴高要。
三月初六，除去由闽地南下的段韶所部以外，南征的各路齐军，包括此前袭扰陈霸先的韦孝宽等五路骑卒，尽皆在高要城中会师。
高澄身边聚集有战兵十八万，其中三万骑卒以及高季式部五万战兵、斛律光部五万战兵、吴明彻部五万，外加冼英麾下四万蕃兵，共计步骑二十二万。
而原本追随各路人马南下的州郡兵，也都被分派在各地，驻防占领区。