他从军以后，在神策军里面，也顺利的晋升到了正七品的致果校尉。在杨复光担任神策军指挥使的时候，李霏木跟着神策军东征西讨，还是立下了不少功勋的。

但是，神策军后来落入了田令孜的掌握之中，田令孜在军队中大肆提拔自己的党羽，一切任命都看钱行事，不管你有没有才干，只要懂得送钱就行了。他的父亲对此就看淡了，于是找个机会，带着李霏木离开了神策军，在山南东道隐居，过着清淡的日子。

后来窦浣、刘崇龟、刘崇鲁等人来到了鹰扬军以后，收拢了一批以前在朝廷很失意的人员，利用他们的才干为鹰扬军效力，其中就包括来自神策军的李霏木。李霏木本来对鹰扬军不太感冒，他始终对刘鼎的身份有所抵触，当初神策军和黄巢起义军，可是不共戴天的仇人。但是他的父亲，却觉得天下大势如此，如果不顺水而下的话，只会被淘汰掉，于是力劝李霏木放下心结，前往鹰扬军效力。最后，李霏木在鬼脸都做了一名队副。

好像他们这样经历的人，在鹰扬军绝对是很少有的，尤其是军事方面的人才。鹰扬军对于这种来自朝廷的人员，感情还是相当的复杂的，这些人的确是有才华，能够为鹰扬军做出贡献，可是这些人的思想，跟不上鹰扬军的节奏，准确来讲，是他们的思想，还没有跟鹰扬军的主流吻合在一起。

他们还在神策军的时候，还整天都徘徊在天朝帝国昔日的辉煌中，幻想着帝国能够中兴，幻想着下一任的皇帝，能够是一代明主，带领帝国这艘就要沉没的大船，重新扬帆航行。即使来到了鹰扬军以后，他们也没有能够完全适应过来。用赵迎旭的话来说，李霏木等人，还生活在帝国时代，根本不明白已经到了改朝换代的时候。

吟游诗人的歌声仿佛还在耳边，是那样的熟悉和忧伤：“帝国啊，你的脑袋里已经被野草塞满了，你要清理；帝国啊，你的胸膛已经被虫掏空，你要清理；帝国啊，你的双脚