尽管李国耀再三要求部队坚守，但是到31日晚上九点多，徐虎还是致电李国耀，前线部队实在是撑不住了，请求后撤。

这一次李国耀没有拒绝，而是同意他们后撤！

接到李国耀的命令之后，徐虎带着六千多残兵从亳州前线撤离，赶往归德，和李国耀等人汇合。

涡阳和亳州几乎是在同一天沦陷，这让豫东前线的国军感觉到了巨大的威胁，所以薛岳命令部队连夜进攻。

由于李国耀所部在南线拖住了大量的日军，所以31日这天国军再次取得突破性进展，一天之内接连攻克了三义寨外围三座日军重兵驻守的村庄，将土肥原师团视为犄角的两条腿给打断了。

至此，土肥原师团只剩下三义寨和旁边不远处的一个寨子了，而且兵员已经下降到不到一千三百人了。

知道突围无望，而援兵又久久无法突破前面敌军的防线，土肥原贤二随即将另外一个寨子里的守军撤了回来，所有兵员全都放在三义寨，他要踞城死守。

6月1日凌晨一点半，第一兵团四个师的主力将三义寨团团围住，并且调来大量的火炮轮番猛轰三义寨的日军工事，土肥原师团覆灭在即。

而此时华北方面军司令部和华中方面军司令部在得知南线的部队已经攻克了涡阳和亳州，随即命令第三师团、第六师团、第九师团、第十师团以及独立第13旅团连夜追击，赶往归德。

凌晨六点多，南线的日军仅仅用了八个小时就急行军六十多公里，顺着大路直接追到了归德城下。

随着大批的日军援兵的抵达，此时城外的日军单单师团一级的作战单位就有五个，独立旅团也有两个，中将少将加起来足足有十几个。

而且城外的日军总兵力也达到了五万多人，而归德城里的国军却只有不到三万人，其中单单伤员就有六千人，可以上战场的只有两万四千人左右