能遇上高怀远而深感欣慰，既然高怀远一个懵懂少年，都能为汉人想这么多，那么他这个饱学之士，难道还不如高怀远吗？于是纪先成下定决心，今后的日子陪着高怀远走下去，成为高怀远的一大助力好了。

对于纪先成的表态，高怀远自然喜不自胜，有这么一个人辅佐自己，日后想必很多事情总算是有人能帮他出谋划策了，可以说高怀远也已经将纪先成视作贴身幕僚，两个人自此也绑在了一起。

而高怀远也总算是从纪先成那里，得知了纪先成官场失意的事情，原来纪先成数年前本是一个意气风发的读书人，喜欢仗义执言，中举之后，看出了史弥远在朝中专权，于是便洋洋洒洒的写了一份万字书，上书当今圣上，弹劾史弥远专政，可惜的是他当年过于天真了一些，结果是好不容易写出的万字书压根就没能呈送到当今圣上赵扩手中，便通过史弥远把持的言路那里，被截留了下来，落到了史弥远手中。

其结果自然是可想而之，史弥远看罢纪先成所写的弹劾他的文章之后，险一些将纪先成给做掉，后来还是看在有人劝阻他，怕引起更多读书人不满的情况下，放过了纪先成一命，但是死罪可免活罪难饶，弹指间便将刚刚踏入仕途的纪先成夺去了功名，一撸到底贬为了庶民，并且言之永不录用，从此断掉了纪先成的晋身之路。

纪先成受此打击之后，一段时间过得相当落魄，也就此一蹶不振，整日饮酒作赋放荡不羁了起来。

结果是老婆也跑了，家业也败了，差一点流落街头要饭为生，纪先成悲愤之间投水自尽，结果幸好被路过的高建所救，而高建看纪先成一身才学，起了恻隐之心，于是便暗中收留了纪先成，算得上是纪先成的恩人。

而纪先成经此打击之后，也在思想上成熟了起来，从此不再对朝廷报以希望，就此安生开始隐居了下来，成为了高建的幕宾，时不时的为高建出些主意，倒也深得高建信任。