随着徽州城破，李元度部几乎一散而尽，仅千余兵勇回到祁门，李元度本人也下落不明。四天后，李世贤率部再克休宁，进逼祁门。

湘军内部大为震恐，曾国藩六次飞信皖北，向李续宜求救，前三次尤为急切，信中一再强调“皖南局势万分危急，欲求阁下带二三营，即日渡江南下相助”，“速带三营来此”，“速来救援”。

在李续宜应命兼程南下的同时，曾国荃顾虑乃兄的安全，也想加入南援行列。曾国荃身负包围安庆的重任，如果他南下就要撤安庆之围，这意味着曾胡夺取安庆的根本战略方针将无法进行下去，而且由于陈玉成开始在长江北岸活动，那里的局势同样变得紧张起来。胡林翼嘴上不便反对曾国荃南下，但言辞中已颇有些负气：“如涤帅（曾国藩）嫌南岸兵少，可以沅浦（曾国荃字沅浦）万人调去，北岸不须沅浦也。”

曾国藩的另一个弟弟曾国葆这时正协助曾国荃包围安庆，通过书信往来，曾家三兄弟围绕相关话题展开了紧急讨论。曾国葆坚决反对撤安庆之围，曾国藩认为他的意见很对，乃“至当之论”。

太平军自二破江南大营后，占据了苏南及浙江大部分地区，在苏北可自由活动，在皖南皖北也都拥有雄厚势力。唯有在安庆周围地区，湘军倾注全力，太平军却主力东调，这样湘军方面才占有优势，但这种优势只是局部优势，若想把局部优势变为全局优势，除了紧紧抓住安庆这一关键战略地带不放，也确实没有其他更好的办法了。

在给曾国荃的信中，曾国藩特别强调：“安庆不宜撤围，这是人人心里都清楚的一件事。现在普天之下贼（太平军）处处占据上风，独安庆一城系贼处于下风，岂能轻易撤退？”

见大哥和曾国葆均持此议，曾国荃这才回心转意，放弃了南下的想法。

曾国荃无法脱身，李续宜在短时间内也是远水难解近渴，所幸皖南湘军中最厉害