庐州得固，杨秀清又令夏官又副丞相曾立昌、恩赏丞相陈仕保、冬官又副丞相许宗扬统兵八千，北进直隶，接应林凤祥、李开芳。再令国宗韦俊、秋官又正丞相曾天养，飞速入鄂，会合石祥祯，再攻武昌。
韦俊、曾天养得令，督兵两万，逆江而上，1854年1月20日，进抵黄州。援军至，石祥祯满生欢喜。
曾天养道：“吾新诛江妖，兵锋正厉，乘胜攻武昌乎？”
石祥祯道：“隆冬时节，三九严寒，不利动兵；暂歇时日，且看清妖动作。”
韦俊亦附。
大军压境，湖北巡抚崇纶谓湖广总督吴文镕道：“吴大人上契圣心，下孚众望，至鄂月余，吾未见大人施技杀贼，一味坐守武昌，此能天长地久乎？贼于咫尺之黄州，随时来攻，大人何策御敌？”
吴文镕道：“吾已奏调胡林翼领黔勇来援，曾国藩水师亦于近日可成。届时可合全楚之力，水陆齐发，灭贼于荆襄。援兵未至，不宜轻出。崇大人如有杀敌高招，尽可即使。”
崇纶道：“吾皇屡敕出城接战，吴大人一再迁延，意欲何为？”
吴文镕道：“黔、湘军至，收夹击之效，有何不可？”
崇纶再不言语，恼而上疏：湖北现有兵勇一万数千，除守城及扎营城外要隘外，尚有数千可以出征，若待湖南两广各船炮到齐，道路迢遥，深恐有需时日。况贼匪大股多赴安徽，现在楚境者系零星小丑，并有土匪冒名抢劫，长发老贼实系无多。若派数千官兵配以现有炮船，水陆夹击足以痛剿。吴文镕终日闭城坐守，一筹莫展。兵勇各告奋勇，情愿自去杀贼，吴亦不准往，不知是何居心，是何肺腑！
咸丰帝闻奏大怒，谕斥吴文镕：一味株守，不图前进，竟置大局于不问，可有诚心？荆襄事大，朕来分工，所有省城防守事宜即责成崇纶妥筹布置，吴文镕亲率官军出城督战；倘再迁延，革职拿问。
吴文镕恨崇纶之阴，慨圣意之切，愤而出兵。
曾国藩闻讯力劝：“虽有严旨切责，吾师尚当剀切痛陈，备言进剿之不能得力，徒挫声威。即以此获咎，而于吾师忠直之素，谋事之臧，固亦可坦然共白于天下。”
吴文镕回道：“吾意坚守待君东下，汇合林翼黔勇，收夹击之效，自是正办。今为人所逼，时不及待，吾受国恩厚，岂惜死？以一死报国，无复他望。君所练水陆各军，必候稍有把握，然后可出而迎敌，不可以吾故，率尔东下。东南大局，恃君一人，务以持重为意，恐此后无有继者，吾与君所处固不同也。”
曾国藩观文默然，半晌无语。
罗泽南、郭嵩焘皆道：“不救江岷樵，吾已被全湘责骂；将士亦有离心。武昌近在咫尺，此若一破，潇湘难保。”
曾国藩道：“虹贯荆轲之心，见者以为淫氛而薄之；碧化苌弘之血，览者以为顽石而弃之。吾非心如磐石，今兵未练成，倾巢一出，溃如潮退，万般付之东流；家国完矣。”
湖南巡抚骆秉章亦是愁容满面，谓提督鲍起豹道：“曾国藩阴忍，一不救江忠源，二不救吴文镕，吾予王鑫三千兵，吴督却之，武昌若失，祸必及湘，看曾厮将窜至何处！左宗棠此人，吾三番五次恭请，总不待见；使币入山，再行敦促，勿厌其烦，至其足动而止。”
1854年1月29日，吴文镕亲率四千兵勇，倾出武昌，进驻堵城。时值隆冬，大雪纷飞，兵勇拆民房举炊；一时间，数十里内房屋尽毁，犹不足供，军民皆怨。
吴文镕叹曰：“本不欲民争利，奈何仓促而出，资财皆缺！”
湖北按察使唐树义道：“此地距黄州仅二十余里，贼逆转瞬即至，制台大人若有闪失，荆襄再难转圜，烦请大人速返武昌遥制。”
吴文镕道：“勿再大人相称，吾乃一兵弁也。子方兄扼守水路，吾护堵城，你我水陆并举，生死与共！”
唐树义道：“你我虽一把年纪，然皆大丈夫也；大丈夫做事，只求一点儿精诚；生当做人杰，死如江中丞！”
2月7日夜，太平天国天历新年，黄州城烟花盈天，石祥祯、韦俊、曾天养、陈玉成等燃香烧纸，普天同庆。