日军第六十五联队在慈利屡攻不下，让师团长赤鹿理中将很是不爽。11月20日晚，在参谋长的陪同下，他来到第六十五联队本部，阴沉着脸对伊藤联队长下达严令：“今晚一定要迅速突破当面之敌，进入指定地点！”

无功受赏，固然会令人头轻脚重，而明明看得战功就在前面，却无论怎么伸手都捞不到，也够让指挥官苦恼和焦虑的。上司不顾实际情况的死逼，则更增加了伊藤的这种情绪，然而为全局着想，他也只能把那些眼睛已经熬得通红的部下们组织起来继续作战。

晚上六点，第六十五联队经过强行突破，仅仅占领了防守阵地的一角。一个小时后，仍未取得任何进展。伊藤急了，便亲自指挥联队步部随步兵大队突进。

这时天色黑得像墨团。联队本部跟着跟着跟丢了，伊藤只能一边前进，一边通过无线报话机来了解各大队状况。

为阻遏日军的夜袭，五十一师、五十八师各派一个营向日军两翼出击。就是这次出击打了日军第六十五联队一个措手不及，日军立刻陷入混乱之中，伊藤拼命向周围呼叫，但各部都忙于混战，联系很快就中断了。

在这场防守反击战中，七十四军采取以攻对攻、以袭对袭的战术，不仅成功击退日军第六十五联队的攻势，还缴获机步枪三百余支、骡马四十余匹以及诸多军用品。

伊藤在失去与部队的联系后，只得孤军前进，行至夜半时分，在余儿垭北侧高地遭到包围。当时联队本部除指挥机关外，仅有一个军旗小队可用以作战，众人全都傻了眼。

11月21日拂晓，七十四军的攻击逐渐加强，而伊藤依然未能与他的部队取得联系。下午一点三十分，一枚手榴弹在军旗下爆炸，伊藤右腿被弹片击伤，三名卫兵或死或伤，联队本部几乎就要支持不住了。熬到下午四点，大场大队的一部赶到，这才把惊魂未定的伊藤从危机中给捞出来。