隆基有时也在楼上宴请宾客。有一次，剑南道的奏事吏经过楼下，上楼拜见李隆基，李隆基置酒宴请了他。后又召见将军郭子仪等，赏赐给他们礼物。这些事虽小，却引起了李亨的顾虑，他担心太上皇复位，开始十分警惕。从此，兴庆宫成了肃宗一直无法排遣的一块心病。

宦官李辅国此时深受李亨宠信，他猜出皇帝的心思，便献计将李隆基迁往西内，彻底隔绝太上皇同外界的联系。李亨一时还下不了决心，当时没有接受李辅国的这个建议，却将原来兴庆宫原有的三百匹马减去二百九十匹。李隆基对此事无可奈何，只好对高力士说：“我儿受李辅国蒙惑，不能再尽孝了呀。”

上元元年（760年）七月，李辅国为了立功以固其恩宠，矫诏诈称李亨请太上皇游西内。当李隆基一行途经夹城时，李辅国率五百射生手（唐肃宗至德二年，选拔善于骑射的人，成立衙前射生手千人，也称供奉射生官、殿前射生手，分为左、右厢，号为英武军）拦住道路，亮出刀刃，气势汹汹地对李隆基说：“当今圣上因兴庆宫地势低洼，迎太上皇迁居西内。”李隆基见对方剑拔弩张，大有加害之意，不由得胆战心惊，几乎坠下马来。

这时，高力士挺身而出，急步上前，指斥在马上耀武扬威的李辅国道：“太上皇是五十年太平天子，你李辅国想干什么，竟如此无礼！”

李辅国见状只得下马。高力士又代李隆基宣谕众将士：“诸将士好自为之。”

众将士纷纷收起兵器，翻身下拜，高呼万岁。高力士又回头对李辅国说：“李辅国可为太上皇牵马。”

李辅国无奈，只好与高力士一起将李隆基拥簇到太极宫甘露殿。

风波平息后，李隆基握着高力士的手说：“如果没有将军（高力士在宫中地位很高，李亨做太子时，称他为二兄。李隆基不叫其名而称之为‘将军’），我就成为乱兵刀下之鬼了！”李辅国出了个大丑