趁机上奏说：“仙客有宰相之才，尚书之职乃大材小用，有什么不可以的？九龄乃一文吏，过于囿于古义，有失大体；再者，天下者，陛下的天下，陛下用一官吏，有何不可？”

唐玄宗见有大臣支持自己，大喜过望，于是加封牛仙客为陇西县公，且夸赞李林甫为相而不专权。自此，唐玄宗便有意与张九龄疏远了。

李林甫曾引荐萧旻为户部侍郎。萧旻不学无术，有一次在与中书侍郎严挺之“同行庆吊”时，当众错读一字。严挺之深感遗憾，就对张九龄发了几句牢骚。张九龄凡事认真，便以不学无术弹劾萧旻，贬为歧州刺史。李林甫由此怨恨严挺之，刚好有件事主动撞上门来。严挺之曾经休妻，前妻后来改嫁蔚州刺史王元琰。王元琰因贪赃下狱。前妻无奈之下，只好求严挺之相救。大概出于补偿的心理，严挺之立即全力设法营救王元琰。李林甫使人奏告唐玄宗，说严挺之私袒王元琰，应该连坐。张九龄为严挺之辩解，认为其中不应会有私情存在。唐玄宗却道：“卿不知，虽离之，亦却有私。”皇帝这样说了，张九龄不便再求情，只好请裴耀卿代救严挺之。李林甫却趁机上言：“耀卿、九龄都是朋党。”唐玄宗早已经有疏薄张九龄之意，乐得有个借口，于是借此案将张、裴两人罢相，贬严挺之为洛州刺史。

罢朝之后，李林甫目送远去的二位老相，得意万分，阴阳怪气地问：“左右丞相何在？”

一旁的诸位大臣听见，无不心寒，且胆战心惊。李林甫旋即升为中书令，终于成为群臣之首。

张九龄作为开元盛世最后一位名相，深为时人所敬仰。他为人儒雅，风度翩翩。唐玄宗爱其风度，即使在逐走张九龄后依然怀念不已，每遇宰相荐士，总要问道：“风度能比得上九龄吗？”

张九龄有诗《望月怀远》，情韵隽永：

海上生明月，天涯共此时。

情人怨遥夜，竟夕起相思。