第31军旋由淮河南岸向北岸集中。双方隔河对峙。

2月下旬，日军第2集团军开始分路南犯。东路第5师从山东潍县（今潍坊）南下，连陷沂水、莒县、日照，直扑临沂。第3军团第40军等部节节抵抗。第59军奉命驰援，3月12日到达临沂北郊的沂河西岸，协同第40军实施反击，激战5昼夜，重创日军，迫其向莒县撤退。西路日军第10师长濑支队（相当于旅）从济宁地区西渡运河，向嘉祥进攻，遭第3集团军顽强抵抗，进攻受挫；濑谷支队（相当于旅）沿津浦铁路南进，3月14日由邹县（今邹城）以南的两下店进攻滕县（今滕州）。守军第22集团军第41军英勇抗击，伤亡甚重，苦战至17日，该军守城的第122师师长王铭章殉国，滕县失守。

3月20日，日军第10师濑谷支队南进连陷临城（今薛城）、枣庄、韩庄后，不顾第5师和第10师长濑支队在其两侧进攻受阻，孤军深入，向台儿庄突进，企图一举攻占徐州。李宗仁以第2集团军总司令孙连仲率部固守台儿庄，第20军团军团长汤恩伯率部让开津浦铁路正面，转入兰陵及其西北云谷山区，诱敌深入，待机破敌。3月23日，日军由枣庄南下，在台儿庄北侧的康庄、泥沟地区与守军警戒部队接战。24日起，日军反复向台儿庄猛攻，多次攻入庄内。守军第2集团军顽强抗击，与日军展开激烈的争夺战。第五战区以第20军团主力向台儿庄机动，拊敌侧背，与第2集团军形成内外夹击之势，并令第3集团军进至临城、枣庄以北，断敌后路。日军为解台儿庄正面之危，速以第5师坂本支队（相当于团）从临沂驰援，进至兰陵北面的秋湖地区，即被第20军团第52军卷击包围。4月3日，第五战区发起全线反攻，激战四天，歼灭日军濑谷支队大部、坂本支队一部共万余人。其余日军残部于7日向峄城、枣庄撤退。·