郑州南城门西南方向的防线崩溃之后，守将黎天才和一大片北洋军官兵投向了北伐军，黎天才是云南彝族人，他之前是鄂军第一师师长，后来黎元洪整编鄂军，他被抽调到北洋军，他是清末大臣岑春煊的老部下，袁世凯也比较欣赏他，就任命他在北洋军中当了一个师长，他原本就是心向革命的，如果不是不得已，他也不会一直留在北洋军中，从侧翼被突袭之后，他很快率领溃兵投靠了北伐军。
张孝准从黎天才和李进才那里获悉了张怀芝在城内的城防部署情况，看来张怀芝已经做好了打巷战的准备了，下午他就安排了进攻战斗，首先以重炮轰垮了郑州城墙，然后他命令以班为战斗单位沿着城内各条街道、小巷向城内渗透，并命令掷弹筒小组和迫击炮班跟在后面提供火力支援。
南面三道防线被突破之后，张怀芝部署在西面和东面的防御已经不起作用了，他迅速将部署在西面的第8师撤回城内，连同11师一起在城内与北伐军打巷战，为了给自己留下一条退路，他并没有把部署在东面的第9师撤退城内，万一郑州实在守不住了，可以从东面撤退，北面是黄河，仓促之间是无法撤离的，只能从东面撤走。
战斗打成巷战之后，情况就变得艰难得多，紧张也开始变得慌忙，最重要的北伐军的大量山炮和野炮在巷战中发挥的作用已经不大，北洋军在张怀芝的安排和部署下以结构坚固的建筑为据点，火炮在城内移动困难，而且对躲在坚固掩体后面的北洋军没有办法，不过掷弹筒和迫击炮却在巷战中发挥了极为重要的作用，这两样武器不仅威力大、火力猛，更关键的是它们很机动灵活，可以随时移动，只需要一两个人就可以扛着到处跑。
城内北洋军的抵抗意志并不强，战斗进行到傍晚时分，北伐军已经占领了火车南站以及周边地区，并且夺取了车站内的火车头和车厢，这让张孝准极为高兴，有了火车在运送兵力和补给方面就极为方便了，他当即下令找人将火车开走。
入夜，张怀芝的指挥部。
为了撤离的方便和安全方面的考虑，张怀芝将指挥部设在了东门附近，八月份正式极为炎热的时候，指挥部点着几盏马灯，勉强将偌大的指挥部里照亮，但在场的人无不热汗淋漓，神情焦虑。天气本身就热，再加上战事糜烂，士气低落，生死前途堪忧，众人无不焦躁不安，也难怪这些人就像是刚从水中捞出来一样的。
军官们都坐在椅子上，有人抽着香烟，有的呼着水嗬嗬、还有的人靠在椅背上抽着大烟，张怀芝满脸阴沉的看着这些一个个老烟枪吞云吐雾，心中哀叹，北洋军有这些老烟枪领军焉能不败？再看看段芝贵，早已经返回了京城，估计这会还与别人搓着麻将，快活无比呢！北洋军中真正有能力的人屡遭排挤，而没有能力靠着拍马屁、拉皮条取得袁世凯欢心的人却占据着高位。想到这里，张怀芝有些心灰意冷，但又不能丢下这些数万人马一个人开溜，回去之后怎么向袁世凯交代？
“都给我听好了！”张怀芝敲了敲桌子，见众人都停下来看着他，才继续阴沉着脸说道：“现在都到了生死关头了，你们还他吗的抽，不抽会死啊？丢了郑州城，我们怎么回去面前总统？还有脸面吗？以前我不管你们是怎么样的，现在都给打起精神来！”
第八师师长王汝贤诉苦道：“张大人，今天一个下午我师防守的西门防线就被迫放弃了三分之一，弟兄们伤亡惨重啊，北伐军也不知道哪里来的那么多小炮，一打一个准，我手上所有的水连珠机关炮到现在就剩下三挺了，其他的全被北伐军用那些小炮给敲掉，现在弟兄们时士气低落，我看着郑州城十有八九是守不住了，咱们还是尽早做打算吧？”
“啪！”张怀芝闻言大怒，一拍桌子吼道；“混账，你这是扰乱军心，来人，给我拖到外面毙了！”
“是！”两个士兵从外面冲进来拖着王汝贤就往外面走。
众军官吓得心惊胆颤，看着张怀芝这架势是来真的，都哆嗦着不敢求情王汝贤却大叫：“姓张的，你他吗敢杀我？你有什么权利杀我，你不经过大总统同意就杀我，大总统不会放过你的！”
张怀芝丝毫不为其言语所动，直到外面一声枪响，喊叫声停止之后，他才盯着指挥部内其他军官沉声道：“第八师由李长泰暂时任代理师长！”
李长泰闻言顿时大喜，立即站起来向张怀芝立正敬礼道：“是，卑职必定不负大人厚望，坚决守住阵地，绝不后退一步！”
张怀芝摆手道：“其实刚才王汝贤有一句话没说错，这郑州城如果没有援兵来支援我们，恐怕迟早是要失守的，不过我们当兵吃粮，是为大总统效力的，总不能把郑州城拱手相让，北伐军要夺取郑州，我们势必要让他们崩掉几颗大牙才对得起我们拿的那些军饷。现在北伐军已经夺取了火车南站，距离我们这里已经不远了，我决定收缩防线，李长泰，你的第八师向后撤退到火车西站一带防守，抽调一个团的兵力到南面帮助第11师布防！”