1865年4月丁拱辰在南阳建立雷箭厂，批量生产他和丁守存根据英国新式火箭于1850年在广西桂林成功研制的由金属火箭筒（后底五个喷管出火焚烧）构成的射程660米近代大火箭、单兵使用的拉火式手榴弹、带有机关由敌人踏发的应用地雷、用于攻城的伺发地雷、雷管。曾国藩和李鸿章得知黄翼升战败，大为震惊，通过黄翼升的败报，他们了解到天道教太平军水军装备了坚船利炮，对湘军外江水师实施了代差打击，为了生产出比太平军更先进的武器，1865年9月20日：中国洋务派官员曾国藩和李鸿章在上海设立江南机器制造总局。
消息传来，魏宣武决定组建野战军第四师及第五师，并在信阳固始三河尖建炮台、军港及造船厂，在开封建制枪二厂、制炮二厂、弹药二厂，在西安建制枪三厂、制炮三厂、弹药三厂，在成都建制枪四厂、制炮四厂、弹药四厂，加紧生产三代宣武枪、炮及其弹药，同时决定郑伦率安徽省制、野战一师第一旅第一卒出颍州府攻凤阳府，龙怒涛的长江水师派出小舰配合关保的第一师（缺第一旅第一卒）出六安州取安庆府。同治四年（1865）5月，由于僧格林沁败死，捻军在山东直隶如入无人之境，直接威胁到京畿安全，晚清名臣、被朝廷倚为“勋国柱石”的曾国藩在南京接到圣谕，令他带兵奔赴山东剿灭捻军。曾国藩认为当务之急是平定剿灭魏宣武的天道教太平军，本不想管这摊事，但顶不住朝廷七天内连颁六道圣旨，催促他接受了这一重任。不久，曾国藩就调集兵马上路，率幕僚沿运河北上。在途中，又接到圣旨，命他在徐州停留，处理好当地的“湖团案”后再赴山东。清廷以安徽巡抚唐训方督一万五千湘军及寿春镇总兵黄鸣择部三千人、南阳镇总兵宋庆部毅军十八营九千人、开归镇总兵陈国瑞十六营八千人、河北镇总兵伊里棚阿三千人、河南团练大臣张曜部团练二万人共计五万八千人在江南水师配合下，进攻安徽凤阳府寿州城。探子飞报，魏宣武立即决定郑伦的部队紧守寿州、凤台、商城、雉河集，防御唐训方的清军进攻，关保的部队按原计划进攻安庆。时太平军安庆保卫战中唯一逃脱守将力王张朝爵正在关保麾下任第一旅第二卒第一营官，关保命令他带本部人马攻桐城，接应当地天道教徒起义。关保令旅帅娄敬亭带第一旅（缺一卒、一营）从英山出发攻取宿松；卒长赖文鸿率骑兵卒及护卫卒两营配一营四十磅攻城炮营从霍山出发在当地天道教徒配合下攻占潜山、石牌；探子卒归龙怒涛指挥与水师陆战卒一起乘坐运输船跟在水师舰船后边进入洪泽湖，发动当地天道教徒起义，攻取泗州城、盱眙县、天长县、五河县，然后探子卒与天道教义军驻守泗州，水师和水师陆战卒从洪泽湖出长江绕袭枞阳；自率其余第一师部队直取挂车河、练潭，进攻安庆府怀宁县城。
为了攻寿州、入河南，清廷江南水师提督李朝斌于1865年7月19日带着水师十营，辎重船五十艘，陆战队五营先两天进入洪泽湖。龙怒涛的冲浪号铁甲舰刚到洪泽湖就遭到江南两营水师围攻，冲浪铁甲舰连续撞沉舢板五艘后，又用舰炮击沉长龙三艘，清军炮弹十多颗落在冲浪舰甲板上，只是引起舰身轻震。清军水师舰船正乱着一团时，江鲸、顺水两舰开足马力杀入江南水师船队，转轮炮开火，宣武步枪开火，头炮、尾炮开火，一时清兵纷纷中枪、中炮倒地、落水。清狼山镇总兵王吉见状亲自乘一舢板，指挥十艘舢板直驶到冲浪舰旁，欲奋勇登舰。冲浪舰搭载三十二人，均配备有三代宣武步枪和宣武短枪。王吉指挥各舰四面齐进，舰边转轮炮击沉数艘舢板，宣武步枪又击倒无数水手，几艘舢板无人划桨就只能顺水逐波，只有王吉这艘左躲右闪，到了近前，王吉与哨官等四名水手持洋枪、鸟枪施放，然清军平时就没注意射击精准训练，只求能射得出子弹，所以一枪未中，发了一枪还得填弹，王吉就拔刀一跃先登，脚才落在甲板上，刀已挥出，一名太平军水手横过步枪挡住刀，王吉下边一脚，踹倒太平军水手，一刀劈下，不料一枪飞来，正中王吉手腕，刀掉地上，又一枪击中王吉右腿，王吉倒地，后上几名清兵均被击毙，太平军士兵看王吉清军大官打扮就没打他的要害。此时，太平军其余木制战舰赶到，四处开炮攻击清军舰船，清军舰船靠水手人力划桨，不光速度慢，水手伤亡还造成舰只运行不灵，许多舰船因水手伤亡速度变慢，然后被太平军舰船追上，杀掉剩下的水手，无人划桨的舢板、长龙、辎重船就顺风慢慢漂浮在水面了，还有的一侧水手死的比另一侧多，船就在水中打起了圈，慌乱的水手还在只顾拼命划。半天过去，清军虽然舰船多，但都落后，速度慢排水量小还都是木制，经过激战，清军伤亡惨重，各类舰只被击沉一百余艘，被俘一百五十来艘，李朝斌带着余下舰只撇下辎重船仓皇逃窜，太平军舰船包围了辎重船，五十艘辎重船和五营陆战兵均打起了降旗。
洪泽湖之战结束，清军水师元气大伤，廖忠带着水师陆战卒、陆师探子卒一起登岸，与各地天道教义军一起在水军舰船用舰炮提供火力支援下，连克泗州城、盱眙县、天长县、五河县，太平军水师掌握了淮河出长江的水路。接着太平军水师舰船载着水师陆战卒出长江，攻取枞阳，并以此为基地，用舰炮沿江轰击安庆城。时清军宿松、太湖、潜山、石牌均下，只有张朝爵攻桐城不下，还被清军桐城知县薛元启反击，损失了五十多名弟兄和天道教义军五百多人。关保急令第二旅副旅帅宁三省带一营兵与张朝爵一起去夺桐城，张朝爵带本部残兵败将和天道教义军回攻桐城，薛元启出兵与之交战，张朝爵败退，薛元启追赶，中了宁三省埋伏，薛元启败回，宁三省集中炮火攻城，薛元启守不住，弃城而逃，至此安庆府城已完全处于太平军包围之中。关保兵进挂车河，清廷安徽巡抚唐训方见安庆危急，一面奏请清廷增援，一面回师来救安庆。
河南团练大臣张曜部二万多人从舒城直取桐城，安庆协副将鞠登梗带三千人紧守集贤关，宿州守备谭新益带宿州八百败兵在菱湖北岸筑垒，泗州都司颜连玉带泗州一千败兵在菱湖南岸筑垒 。时安庆知府孙衣言丁忧，清廷夺情，只得带临时拼凑的团练兵五千名困守安庆城。关保部已到挂车河，挖壕筑垒，并派第二旅第一卒（缺一营）击溃乡勇抢占赤岗岭，关保把师部设于青草塥。安庆府天道教教士安修林带着二千多人来见关保，安庆府经过几次大战，清军夺取安庆后对安庆城的烧杀掳掠，造成了安庆人口锐减，所以天道教也只有这么多人马，不过安修林带来一个好消息，怀宁县传教尚可志和一些天道教徒被强征入团练，现正在安庆府城中。
宁三省带一营兵与天道教义军三千人驻守桐城，以一队兵及天道教义军五百人在西山筑垒防守，张朝爵则带本部人马与天道教义军二千人驻北峡关。张曜猛攻北峡关，张朝爵拼死抵抗，所幸太平军枪炮犀利，营属三门六磅宣武野炮及全营三百多支短枪、步枪依托垒堡给了清军极大杀伤。张曜被阻于北峡关，开归镇总兵陈国瑞八千人也赶到北峡关，清军兵力大盛，陈国瑞督着湘军，以少量洋枪、洋炮、抬枪、鸟枪作掩护，举着刀矛呐喊着向关上猛扑，张朝爵见清兵势大，面有土色，竟溜下了关，不知跑哪里去了见，义军见营官不见，军心难免慌乱，被清军占了几垒。关键时刻，营布教颜虎大吼大叫一声，刺刀上枪，与副营官聂双全一起冲出关，夺回原失几垒。太平军平时训练极为刻苦，射击、刺杀均精，清兵难以取胜，只得与其相持 。正当北峡关太平军与清兵鏖战之时，关保部第二旅帅鲁能达带本部开始攻击安庆外围。鞠登梗、谭新益、颜连玉皆湘军老人，手下也都是湘军精锐。鞠登梗的集贤关，装有洋庄炮和清军自制铁炮二十多门，与太平军展开炮战。太平军中重型野炮炮都有三十余多门，可发射开花弹、实心弹，有效射程又远，打得也准，清军炮兵被轰得横七竖八，正慌乱间，一发炮弹落在清军弹药上引起爆炸，清兵大乱。这时，太平军发起强攻，清兵溃不成军，鞠登梗喝止不住，也只得一起逃回府城。谭新益现在还对太平军偷袭了他的汛地耿耿于怀，此时见太平军攻垒，也指挥部下拿出湘军霸蛮精神与太平军拼死一战。矿福的太平军先用野炮洗地，然后步兵散开，步枪上刺刀，交替掩护向前平推。湘军有一百余支洋枪、二百支鸟枪、抬枪，其余都是弓弩，洋枪以前膛枪为主，装弹速度慢，往往一枪打出后，正装弹时就被太平军射手爆头。抬枪射程不远，只有三百多米，精度也差，很多时候抬枪刚抬起来，枪手就被太平军一枪命中击倒。谭新益见清兵纷纷倒下，蛮劲上来，脱了上衣，手持战刀，大喊一声，率先冲出，后边清兵举着刀矛纷纷冲出壕垒，太平军散兵本就卧地边射击边匍匐前进，见清兵冲来，立即调整枪口，几轮射击，清兵伤亡大半，谭新益也连中五弹倒地而亡，剩下清兵转身就逃，背后弹雨追来，清兵死伤一片，太平军攻到清兵壕垒，清兵已所剩无几，全都投降了，菱湖北岸全归了太平军。菱湖南岸颜连玉部在太平军密集火力打击下，也伤亡惨重，颜连玉负伤退回府城。太平军攻到安庆府城，先拿下月城，就摆开三门四十磅攻城炮，对着安庆北城猛轰，安庆北城原被清军用地雷炸塌过，新修墙不甚坚固，十多轮炮击下来，城墙也塌了。太平军集中所有大小野战炮压制清军炮火，骑兵营在前，步兵在后就从缺口处突入城中。湘军在鞠登梗、颜连玉带领下，拼死反击，想要夺回堵住缺口。怀宁县传教尚可志带团练中的天道教徒约百余人，趁乱下城闯入孙衣言府衙中，孙依言见状喝斥道：“汝等不在城上御敌，来此何为，临阵怯战，小心军法从事！”尚可志笑道：“我等在城上玩命，孙大人在此逍遥，先该当军法的可是孙大人。”说完脸色一变，上前用刀抵住孙依言，大声道：“我乃太平天国怀宁县传教尚可志，快令你的手下放下器械投降！”孙依言浑身筛糠般抖个不停，忙点头儿道：“下官降，都依尚大人，只求饶了下官一家老小。”尚可志押孙依言出，团练兵本是乌合之众，靠着湘军死战撑到现在，见孙依言已降，大都脚底抹油，做了鸟兽散。鞠登梗闻报带十多名亲兵赶来，要尚可志放了孙依言，说话间暗举短铳对着尚可志施放，尚可志一闪，孙依言被拉着头儿一凑，正中前额，爆头而亡。鞠登梗大愤，丢了枪，举刀扑上前，双方一场混战。天道教徒人多，湘军训练有素，双方正斗间，几声枪响，几名清军倒地，五、六名太平军赶到府衙前。鞠登梗见势不妙，瞅个空档砍倒一个天道教徒，向城外逃去。这边，颜连玉已被太平军包围，长叹一声，横刀自刎而死，湘军大半战死，小部分被俘，安庆城遂克。