艾能奇战死后，孙可望、李定国、刘文秀三人大怒，增派兵马再次进攻东川，此役原定北王麾下诸将带罪立功，齐豪为洗主将阵亡之耻，亲自带人攀爬绝壁小道，一举从后击溃散禄氏土兵，彻底占领东川及其附近各县。
东川之战后未过多久，艾能奇部下的将领便面临人生重大选择，他们必须从孙可望、李定国、刘文秀这三个王爷中选择一名效忠，因孙可望是平东王，声望和权势最大，故不少艾能奇部下的将领都选择归顺孙可望。
但齐豪却因投奔孙可望的将领太多，本身孙可望麾下的兵马也是最强，多他一个不多，少他一个不少，自己投了孙可望未必会和从前在艾能奇麾下一样得到重用，反而倒是选择投奔李定国或是刘文秀对自身未来发展有利。抱着这样的念头，齐豪便向孙可望派来的兵部官员表达了愿归安西王麾下的意愿，孙可望得知他的决定后并未阻拦，但也因此对齐豪心生不满。
归调李定国麾下后，齐豪并未如同事先所想那般得到李定国的重用，但也未遭到排挤，只是不如李定国原先那些亲信将领般亲近，其它一应军中待遇倒也不厚此薄彼，这让齐豪在失望的同时也稍稍欣慰。
其后几年，齐豪便在李定国的麾下参与了衡阳之役和桂林之役。衡阳之役，齐豪部并未正面与清军厮杀，而是承担后勤粮草输送任务，李定国阵斩尼堪后占领衡阳后，齐豪被李定国委任为衡阳守备。然而未过几月，因湖南清军主力未因尼堪被杀而大伤元气，孙可望又没有对李定国提供足够的支持，反而暗中拖李的后腿，致使清军在喘息之后卷土重来。
面对清军的优势兵力，只有2000多兵马的齐豪不得不弃守衡阳，退回武冈。此虽非是齐豪之过，但李定国却仍以他未经一战便轻弃重地的罪名大加责罚，削去其总兵一职，改由参将衔军中效命。李定国部署桂林之役时，齐豪率部赶赴中军听命，参与攻占全州之役，其后继续从事后勤粮草运输任务，为攻打桂林的大军保障粮草供给。
别人都是干得冲锋陷阵，斩将夺旗的威风事，自家却总是干押送粮草的后勤事，有功劳是别人的，有罪过却是自家的，时日久了，齐豪心中难免没有看法，再加上李定国此人虽是难得大将，可却对非其嫡系的兵马将领有排斥之心，这让齐豪对当初的选择多少有些后悔。一日酒后更是发了几句牢骚，不料却被人报到了李定国那，结果李定国虽没有对他如何，但从此以后更是不加重用。
永历七年（顺治十年）李定国因受孙可望逼迫而转战广东，率军攻打重镇肇庆，此战齐豪受命先参加进攻梧州之役，后率军占领开建，未直接参与攻打肇庆之战。次年，李定国二打广东，绕开重镇肇庆，兵锋直指新会，初始，齐豪并未受命东进，而是留守梧州。后围城数月不果，李定国便命齐豪率部策应凌海将军陈奇策的水师进入西江，攻占江门。此役齐豪配合陈奇策部击毙清广东水师总兵盖一鹏，控制广州出海口，切断了新会同广州的通道。广东清军当局见形势危急，平南尚可喜和靖南耿继茂亲自率兵前往江门，加强广州南面和西面的防务，但仍是不敢与李定国主力决战。
十月初三，李定国亲统大军号称二十万对新会发起总攻，明军先后采取掘地、大炮轰城、伐木填壕等战术等强攻，却被负隅顽抗的守城清军一一击退，进攻并未得手。在此期间，齐豪带领手下兵马一直驻于江门，与当面清军进行小规模的接触，各有胜负。
十二月，清靖南将军朱马喇率领满、汉八旗清军从北京赶至广州，有了满州兵的壮胆，尚可喜和耿继茂随后也齐发广州清军主力配合朱马喇向新会发起攻击。因军中染役，明军与清军激战四日，全线败退。
李定国大军主力后撤后，散落在新会附近州县配合大军作战的其余明军顿时陷入进退两难境地，除凌海将军陈奇策仗着水师安然出海撤走外，其余深入新会附近的明军都被清军截断后路，或全军被歼，或大部被歼，余者分散活动。这当中，损失最重的就是那些响应明两广总督连城壁的义师，几乎大半都被清军一网打尽。
齐豪是在李定国大军撤走后的第四天才知道自己成了孤军的，一开始他也试图率部突围，可是清军已将各处西撤道路加以封锁，优势兵力的满汉清军各处出击，到处都是明军被歼的消息传来。在两次强行突围失败，部下损失一半后，齐豪不得已只能下令部下分散突围，自己率领数十名老弟兄潜入山区，以待清军封锁结束再行西撤。
这一等就是大半年时光，期间齐豪等人一直幻想安西王大军再次东进，可是等来的只是清军不断的搜山，当初一同潜入山中的几十名弟兄也死了一半。
躲在山中，没有吃没有喝，甚至连睡的地方都没有，今日不知明日事，谁也不知道自个何时死。渐渐的，齐豪的心也凉了下来，受于生计所迫，他不得不带着手下兄弟做了些土匪勾当，沾了无辜百姓的性命，若不是太平军突然占领新会，恐怕他们从此以后真就要落草为寇了。