即将与王耀武交锋的是日军第二十军司令官坂西一良中将。日军的指挥机构可以临时配属，第二十军原先是为了对苏备战而在东北编成，只是一个空头机构，到达衡阳后，才配属了大量部队，曾列于日军第十一军系列的第一一六师团、第六十八师团如今都是其麾下主力。

接到作战任务后，坂西即开始进行战前准备。日军使用的是五万分之一地图，这样的地图在中国军队里只有营长以上才有，而日军班长以上就有一份。就比例尺而言，五万分之一已经非常精确和详细，但坂西仍觉得不够，为了校正、充实现有地图，他专门派出密探，混过两军的交界线进行了实地侦察。

这些密探并不是一般日本特务就能充任，他们必须具备一定的商业地位，且在邵阳以北、以西地区原来就具有一定社会基础，这样才能在不引人怀疑的前提下，根据已定作战任务，对当地的兵要地志资料进行搜集。

通过侦察，日军纠正了地图中的一些错误。纠正后的图上连一座小桥、一间小庙、一处小树丛都有标记，战时日军便可以比较方便地识别、通过以及组织战斗。

驻邵阳的日军第一一六师团情报队还通过收买汉奸等办法，广泛收集第四方面军的军政活动资料。3月末，情报队发现邵阳以西靠近守军主阵地一带的村庄已经“空室清野”，老百姓纷纷进山，于是他们判断第四方面军已经发现了日军的进攻企图。

战前准备并没有因此而被打断。3月30日，冈村乘飞机到达衡阳，对第二十军进攻芷江的准备情况进行视察。不看还好，一看让他的心凉了半截。

与中国军队呈上升势头不同，此时日军却在走下坡路。第二十军新编的几个独立混成旅团均武器不足，士兵全部使用湘桂会战中缴获的汉阳造或中正式步枪，而且相当数量的士兵都是刚刚从国内征来的十七岁少年兵，缺乏战斗经验。

即便第一一六师团