到底是江湖经验浅，李辅国根本没料到高力士会这么说，这事可大可小，严重点说就是欺君之罪。李辅国可不想被人抓住把柄，赶紧为自己辩白，我只是奉旨帮太上皇搬家，没有别的意思。
玄宗心中的苦楚无以言表，但是表面上仍然不动声色，落魄的皇帝也是皇帝，总不能在这帮小崽子面前丢了天子的威严吧！他对众人说，家，我自己搬就好了，你们都回去工作吧，不用护驾了。
武士们见领头的李辅国被高力士三言两语就灭了，更加不敢轻举妄动，全都伏地下跪，山呼万岁，而后便撤走了。
李辅国见他们走了，也想跟着走。高力士今天是彻底发飙了，见过欺负人的，没见过这么欺负人的，大声命令李辅国：“辅国可御太上皇马！”李辅国无奈，只好上前为玄宗牵马。
玄宗就这样在两个太监的护送下搬入了西内的甘露殿。
甘露殿，听这名字好像挺不错的，但实际上，硬件条件十分之差，遍地都是尘埃和杂草，一副萧瑟凄凉的景象。殿中的下人都是些老太监和老宫女，有的年龄甚至比玄宗还要大。
玄宗的心中充满着悲哀，对高力士惨然说道，今天如果没有老伙计你，我的面子就丢尽了，弄不好性命都没了（微将军，朕且为兵死鬼）。
高力士赶忙宽慰李隆基，太上皇您英明神武，老奴我也曾经干过骠骑大将军，像李辅国这样的跳梁小丑，只不过徒增笑柄而已。
玄宗可明白着呢，忧虑万分地说，皇儿为李辅国所蛊惑，恐怕不能尽孝道了。不过，转而，他又幽了一默，“兴庆，吾王地，数以让皇帝，帝不受。今之徙，自吾志也”。
中午的时候，有人来送饭了。玄宗不看则已，一看气得勃然大怒，都是些残汤剩饭、臭鱼腐肉，根本就不能入口。愤怒至极的玄宗把筷子都扔了，让来人把饭菜撤去，伤心地说道，从今个儿起，我食素不食荤。
再说李辅国，害怕自己的嚣张举动受到肃宗的责备，便带着将士们入殿请罪。肃宗明白，木已成舟，此时责备众人又有何用？弄不好反会引火烧身，便好言宽慰众人，你们也是为社稷着想嘛，不用这样，下去吧。
李辅国等人见肃宗居然毫不追究，全都欢天喜地的下去了。
自从搬到西内以后，玄宗和外界的联系基本上就断了。肃宗一方面为张皇后和李辅国二人蛊惑挟制，另一方面也不好意思直面自己的父亲，借口身体未愈，索性也不去西内问安。郁郁寡欢的玄宗越发地思念杨贵妃，终日里呆坐着，跟个木头人似的。
高力士是看在眼中，急在心头，便道：“太上皇，要不要把一尘叫回来，再让贵妃给您托个梦？”玄宗可不糊涂，当下就否决了高力士的提议，说道：“一尘辅助李光弼，忙于前线的军务，咱们这点小事就别打扰他了，我虽然年老，孰轻孰重还是分得清的。”高力士也是病急乱投医，军情紧急的时候宣召江一尘回长安，绝对是愚不可及的行为，一旦被肃宗知道，真会龙颜大怒，可是眼看着玄宗日渐憔悴，又是非常不甘心，左思右想下，找来了一个高人为玄宗解忧。
此人姓杨名通幽，法号鸿都道士，据传法术极其高强，能够自由出入神、人、鬼三界。杨道士说他可以为太上皇找到杨贵妃。
玄宗一听，黯淡的眼睛在瞬时便亮了起来，两朵炽烈的火苗在眼中燃烧起来。
这个杨通幽也是赫赫有名，本名叫杨什伍，是广汉郡什邠县人。小时候遇见过一个道士教给他召鬼神的法术，授给他三皇（指伏羲、神农、黄帝）的天书，用这天书召唤鬼神，鬼神会立刻就到。驱除瘟疫，制服妖魔，消除水旱天灾，呼风唤雨无所不能。
杨通幽为人古板孤傲，不随凡俗，道术千变万化，远近闻名，在其老家，盛名尚在了罗公远和张果等人之上。杨通幽被高力士秘密带进了宫中，把自己封闭在密室中，开始做法，
当天夜里，就向玄宗奏报说：“贫道已经在阴曹地府九泉之下找遍了，那里没有贵妃娘娘的踪迹。”高力士心下奇怪：“那天一尘做法让贵妃给太上皇托梦，又是从哪里找到的贵妃？”玄宗听了却道：“爱妃绝不会落到阴曹和鬼魂们在一起的。”第二天夜晚，杨通幽又奏报道：“贫道又去了九重天界，在虚空浩瀚的天空和日月星辰之间寻访，仍然没找到贵妃娘娘。”玄宗沉默了半天，叹息道：“她既不在九泉，也不在天上，能够去了哪里呢？”然后就熄了灯烛，点起香火，更加急切地恳求杨贵妃能降临。
第三天夜里，杨通幽又奏报：“我又找遍了人间的河流山川寺庙道观，还去了东海的蓬莱、方丈、瀛洲三仙岛和祖洲、玄洲、炎洲、长洲、瀛洲、元洲、流洲、生洲、凤麟洲、聚窟洲这十仙洲，仍然没有找到贵妃娘娘。最后，我来到东海的蓬莱山顶，在群仙居住的地方打听到有一位上元女仙名叫太真，我在她居住的南宫西廊屋里拜见了她，原来这位太真女仙就是贵妃娘娘。她对我说：‘我现在是天帝的侍女，隶属于上元宫。陛下您本来是太阳朱宫的神仙，由于有了很重的凡念，才下凡到人世，我也被贬到人间侍奉他。几年后，我们就会相见，希望陛下多多珍重，保养圣体，不要过分思念我。’说罢，贵妃娘娘就拿出陛下赐给她的金钗和钿盒各一半，还有一只玉制的小龟作为凭据，她说陛下见了这几件东西就会醒悟，也就知道她也在思念陛下了。然后，她就和我流着泪告别了。”