留守的太平军并非泛泛之辈，一垒的刘玱琳一见湘军炮火全部集中向三垒，便料定对方要强攻三垒，于是急率五百人马前来支援。刘玱琳赶到三垒时，恰逢湘军前锋攻入营垒，正与李西福的残部血拼，刘玱琳遂挥兵杀入营中。
面对骤然杀来的敌人，湘军应战显得力不从心，没拼得一会便死伤惨重，不得不退出了营垒。太平军装备的洋枪虽不及常胜军先进，但比鲍超部的鸟枪抬枪还是要强许多，洋枪的一大优势就是前部配有刺刀，故太平军结束近战搏杀之后，迅速的转为了远距离射击，对紧攻而上的大部湘军展开射杀。
由于友军与太平军距离较近，曾纪泽怕伤及己方，不敢再让炮营轰击，而面对这种仰攻之战，即使自己的常胜军拥有武器上的优势，若冒然投入战斗强攻的话，仍会造成一定程度的损失，曾纪泽眼看着鲍超部的进攻渐渐落入颓势，却并没有选择支援进攻。
赤岗岭上太平军的调动曾纪泽看得清清楚楚，刘玱琳率部援救三垒，一垒空虚，正是强攻的好时机。曾纪泽与成大吉商议，趁着鲍超与敌纠缠之时，他二部转攻一垒。
成大吉部虽属湘军，但却不是曾国藩嫡系军队，其隶属于湖北巡抚胡林翼麾下，曾纪泽有所计划当然也只能与之“商量”，而不便首接命令。
不过那成大吉一首驻防湖北，眼巴巴的看着鲍超这些同僚在前线建功捞钱，早就眼红得不行，此番入皖，自然想抓住机会好好表现，一心想着争功立业。
对于曾纪泽的建议，成大吉当即表示赞同，曾纪泽率命炮营改变方向，向着西北方向太平军一垒发起炮击。在此起彼伏的炮火轰鸣声中，一垒工事也被炸成一片狼藉，成大吉也学着鲍超，挥师杀上山岭去。
不过可惜的是，成大吉并不是鲍超，他手下这五千人也比不上身经百战的霆字营将士，在曾纪泽炮火的支援之下，漫山遍野冲上去的五千人竟然被不到一千的太平军生生给压得抬不起头，还没冲过山腰便开始溃退。尽管成大吉在后挥刀督战，连连斩杀了数名败逃之兵也无法阻止败势，只得灰溜溜的跟着败军退下了山，只在山坡上留下了数百具尸体。
而在另一方向，鲍超终于也顶不住太平军火力的压制，他这人虽是个猛张飞，但却不逞匹夫之勇，见进攻己无获胜之机，便果断的选择了退却。只不过名将不愧是名将，同样是撤退，成大吉部是狼狈不堪，而霆字营却是有条不紊，各队人马相互掩护着，以最小的损失，迅速的撤下了赤岗岭。
第一天的进攻以失败而告终，三人只得带着受挫的人马退回了山下营中，三人在曾纪泽营中聚面，鲍超一进帐就大发雷霆，指着曾纪泽的面叫道：“大公子，你也太不厚道了，咱们说好的三部一起进攻，我和老成的人马在前边拼死拼活，你却为何按兵不动，光在后边看热闹。”
鲍超是觉得窝火，区区一个赤岗岭，以两万之众竟然没有攻下来，叫人知道他鲍超的霆字营也在里面，这面子往哪里搁。
鲍超是是曾国藩手下爱将，平时粗鲁无礼惯了，连曾国藩也忍让三分，所以自然敢在曾纪泽面前大吼大叫，那成大吉只不过是无名之罢了，虽然败得比鲍超还难看，却不敢对曾纪泽发火，只是站在一旁闷不做声的看着鲍超发火。
其实在湘军成军之初，曾国藩就强调了兵在精而不在多，鲍超以三千之众击败陈玉成五万太平军的那一战，陈玉成五万大军是有相当大的水分，真正能打的，其实也就是如今留守在集贤关的那几千人马。
今早之战，湘军虽有常胜军炮火的优势，但太平军却占了地利优势，况且太平军同样装备了先进的洋枪，其性能虽比不上胜常胜军，但差距上的劣势并非十分明显。在这种情况下，湘军想依靠人数上的优势发动强攻，本身就不是十分明智之举。
曾纪泽也是在今天吃了败仗之后才意识到，他的常胜军并不是在任何情况下都处于绝对上风，决定战斗胜负的因素有很多，武器的优劣只是其中一个方面而己。他同时意识到，在军事上，自己还只是一个刚刚入门的新手，如果只是一味的依靠武器上的优势，很可能会走入一个误区，那在今天的战斗中，也许会付出沉重的代价。