就在送别路易丝的第二天，曾纪泽向他的父亲曾国藩提出了第二项建言，即在安庆开设一所制造枪炮弹药的工厂，这也是之前他就向曾国藩提过的，那时也得到了曾国藩的首肯。
曾纪泽的提议得到了曾国藩以及李鸿章等幕僚的支持，曾国藩遂于不久后在安庆建立了大清第一座手工制造武器弹药的工厂，取其名为“安庆军械所”。
军械所创办之初，所雇工匠全部是汉人，采用的方法也是传统的手工制作，效率极低。曾纪泽曾向曾国藩进言，向欧洲国家购买机器，并雇用洋匠，或者干脆采取大冶矿务局的合资方法办厂，以获取洋人的技术，但却被曾国藩断然拒绝。
曾国藩的理由是军工制造对于大清而言极其重要，如此重要的产业，必须完全的掌握在官府手中，如果容忍洋人参与其中，则大清军火制造的详情将尽为洋人窥视，若然将来与洋人发生冲突，则是大为不利。用现代的话来解释曾国藩担忧，那些军工属于国家一级军事机密，任何可能泄露机密的威胁都是不能存在的。
曾纪泽则认为曾国藩的担忧是完全多余的。眼下想要改变清军武器落后现状，必须得是想方设法的获得洋人的技术，而非自以为是的苛求于自己那点落后家底的保密性，说句不好听的话，就大清的那点军事机密，趟开门来给人家瞧，人家都未必懒得去看一眼。在这一点上，曾国藩显然要比胡林翼要保守许多。而且目前起步阶段，让洋人参与反而可以快速起步，至于保密则可在一切步入正轨之后再做考虑，毕竟现在差距实在太大了。
曾纪泽没办法说服他的老爹，他意识到，想要按照自己的方式发展近代的工业，就必须有一块自己可以完全做主的地盘。权力不足目前一首是制约曾纪泽施展宏图的难题，然而，机会很快就来临了。
九月初，由于李秀成加强了对上海的攻势，当地仕绅不得不再次派代表来向曾国藩求救，这一次，曾纪泽在曾国藩按照原有的历史做出决定前，抢先向他请求派由他率领着常胜军前往上海支援。
曾纪泽先前在军事上展现出的才华，己经足以让曾国藩刮目相看，在他此刻看来，曾纪泽是继曾国荃之后，他们曾家又一位可以担当大任的良才。于是，曾国藩在经过了一番深思熟虑之后，决心派曾纪泽援救上海，并赋予了他在江淮一带招兵买马，扩充常胜军实力的权力。
尽管如此，曾国藩对曾纪泽此行仍然有些许的不放心，于是他派了李鸿章一同随他而去，从旁辅佐曾纪泽完成救援上海的任务。
原来这任务是应该由李鸿章去完成的，他的淮军也是藉以崛起，但现在历史在1861年9月的某一天发生了决定性的改变，曾纪泽将成为即将组建的淮军领袖，而原本的那个主人公却成为了他的助手。
曾纪泽首先要做的便扩军，这一点上，他决定走李鸿章的老路，在受命组建淮军的第二天，曾纪泽便踏上了拜将之路，与李鸿章同往合肥去招揽当地团练人马。
曾纪泽拜访的第一人是张树声，此人早年倡团练，与其父张荫谷及弟树珊、树屏、树槐等在周公山下殷家畈筑堡寨，兴办团练，对抗太平军，曾多次配合李鸿章所率团练，在合肥一带围攻太平军，因功授知府衔。后与大潜山周围的刘铭传、董凤高和紫蓬山下的周盛波等部团练相互呼应，号为“三山“团练，声势颇大。