老仆名叫刘斗斋，李氏父子出京前他一直在李文安的寓中为佣，此时李文安正在庐州（今合肥）办团练，他就随李鸿章到了舒城。眼看情况紧急，他忙暗暗地把李鸿章拉到偏僻处，对李鸿章说：“他们死就死了，无可避免。公子为什么也要随他们一起死呢？你纵使自己不怕死，难道就不顾念老人倚门而望，焦急企盼儿女归来的心情吗？”

李鸿章一听，也有了悚然心惊之感，忙问他有什么脱身之策。刘斗斋说：“马已备。”他牵出已准备好的马，让李鸿章骑着马连夜逃出了舒城，第二天舒城便被太平军攻陷，吕贤基投水自尽。

李鸿章对刘斗斋感激不尽。他显达之后，在皖鄂间拥有良田百顷，便命刘斗斋的儿子某甲负责给自己收田租，不料某甲负责了十年，居然一文钱都没有收上来。李鸿章把人叫去询问，某甲将账簿呈递上去，他翻开一看，别说收钱了，账上入不敷出，还得再倒贴进三千两白银才能做到出入相抵。

这哪里是家人，简直是家贼啊！李鸿章大怒，一脚便将某甲踢翻在地。不过他所做的也仅此而已，并没有再加罪于某甲，只因为对方是恩人忠仆之子。

逃出舒城后，李鸿章又随父亲在庐州办团练，但是这条路非常不好走，简单说来，就是乡勇易招，饷银难觅。李文安不得不四处募捐，有时还免不了要用上“勒捐”等不得已的法子，乡民们为此向上告状，说李文安“翰林变作绿林”，借办团练之名假公济私，都快变成强盗了。

李文安的精神压力非常大，很快就在忧愁中告别人世。死的时候正值夏季，李文安身体肥胖，却仍然毫无顾忌地大口喝酒，而且还露宿在外，丝毫不在意会生病，所以有人说他其实是自杀的。

与此同时，李鸿章转投新任安徽巡抚福济幕中。福济是李鸿章参加会试的副考官，两人有师生之谊，他对李鸿章也很器重，但福济与吕贤基相仿，说到底只是一个不懂军