前线接连失利使僧格林沁受到了更多的质疑。咸丰不能不对此有所回应，他下达谕旨：“以科尔沁亲王僧格林沁办理海防未能周妥，革去正黄旗领侍卫内大臣、镶蓝旗满洲都统，并拔去三眼花翎，以示薄惩。”

尽管遭到处分，但僧格林沁并不以此为念，仍按原计划继续进行军事部署。他真正感到懊悔的，是不该撤出大沽南岸炮台。

原来在联军完全占领大沽炮台后不久，一场持续数日的狂风暴雨就席卷而来，泛滥的白河河水淹没了炮台周围的地方，使之形成了一道天然屏障。如果中国军队不提前撤出南岸炮台，到时联军的阿姆斯特朗等重型大炮都将无法动弹，他们要想发动对炮台的有效正面攻击也几乎不可能，南岸炮台是有望守住的。

当然谁也想不到有这场大暴雨，一名朝廷官员后来对联军谈判代表说：“你们攻下炮台乃是天不助我。”

僧格林沁一边埋怨自己没有在最后时刻坚持住，一边也怪咸丰不该给他下达弃守的谕旨，尤其是那句“天下根本，不在海口，实在京师”，更是显得很无头脑——京师固然是根本，可海口若失，要再保京师，岂是件易事？

正好大学士瑞麟率京旗兵九千人出防，也进驻通州。僧格林沁便问瑞麟：“前在大沽，我为守护津门，乃守南炮台。不知皇上听了何人的话，令我退守，我退一步，敌进一步，如何是好？”

瑞麟答道：“现在顺亲王瑞华、尚书肃顺都主张抚夷，所以皇上召王爷退守。”

僧格林沁这才知道，咸丰让他退守京师，除了要保住他以外，也同时受到了朝中主和派的影响，有退守以谋求和谈的意图。如今天津陷落，咸丰就更倾向于议和了，他一面不准僧格林沁等部“衅自我开”，一面按照英法提出的要求，改派曾参与过《天津条约》相关谈判的大学士桂良为钦差大臣，赴津会同桓福向英法议和。

桂良到达天津后