玄宗的决定让李林甫心里凉了半截，他身兼中书令和书左仆射，这两个官职只要还当任其中任何一个，他都还是宰相，但现在他两个官职都被免除了，就算他还有着晋国公的爵位，但已经不能过问政事，好在玄宗没有直接让他回乡养老，只是让他暂留京师候命，这就让他看到了起复的希望。
在李府大堂里，李林甫砸烂了十几个茶盅，气哼哼地坐在椅子上，一个官员快步走进来递上一张名单道：“大人，下官拿到了所有上书弹劾大人的官员名单，大人过目！”
“哼，老夫倒要看看，究竟有哪些牛鬼蛇神想要跟老夫过不去！”李林甫说着接过名单看起来，看了一半就大骂：“好你个王忠嗣、还要皇甫惟明、赵子良，你们这三个匹夫这么为难老夫，想要把老夫往死里整，等老夫官复原职，一定不与你们干休！”
站在旁边的官员小心问道：“大人，现在咱们该怎么办？接下来太子一系只怕要对我们下手了啊！”
李林甫摆手道：“这个你放心，你刚才没看见陛下是被他们给逼得吗？此时陛下心里正不高兴呢，太子没那么傻这个时候还去给陛下添堵，而且老夫虽然没有了官职，但还是晋国公，还在京师没走，他就是想对你们动手也得等到老夫离京之后再动手！陛下没让老夫直接回乡，说明事情还有圜转的余地，你去通知其他人，今夜来老夫府上议事！”
该官员迟疑道：“这大人，您已经没有了官职，那些人是否还会”。
话虽然没有说全，但意思却很清楚，无非就是说你李林甫现在无官无职了，从前依附您的那些官员是不是还听你的话，你这棵大树马上就要倒了，那些猢狲会不会作鸟兽散？
李林甫瞟了他一眼，摆手道：“哼，老夫还没倒呢，他们敢不来？就算老夫倒了，他们以为他们不来就会没事？事到如今，他们身上已经打上了老夫的烙印，生是老夫的人，死是老夫的鬼，想做墙头草都不行！你去吧！”
“诺！”
李林甫猜得不错，玄宗根本就没有打算让他回乡养老的意思，免了他的职务也只是做做样子，做给朝臣们和各地方大员们看的，不过尽管如此，朝中事务却是不能停下来。
过了几天，玄宗在紫宸殿召集心腹大臣们商议政事，而这次唯独李林甫不在，这让玄宗心里有些空落落的。
玄宗看了看几人，问道：“河西、西海之事，诸位卿家以为当如何？”
王琚行礼道：“陛下，老臣以为陛下既然已经命王忠嗣和皇甫惟明处理，就不应该再过多干涉，王将军和皇甫将军久在边关，对边疆事务熟悉，应该有处置的办法！反倒是王忠嗣将军按照陛下的旨意把主要精力都从北方转移到了河西，那北方的回纥、拔悉蜜和葛逻禄三族就无人能制了，时间长了只怕又多生事端啊！”
王琚是老臣了，在玄宗还没有当太子的时候就是他的坚定支持者，因此王琚在玄宗心中的份量不轻，他说的话对玄宗很有影响力。
玄宗一想，也觉得有道理，王忠嗣在北方对草原上的各部族制定的战略执行了一半，现在突然把他从北方调到河西，丢下一个大摊子却是不能不管，怎么办呢？
玄宗想了想，问道：“卿家以为如何处置？”
王琚心里琢磨了片刻，便对玄宗道：“其实在北方有一个现成的人选，赵子良将军！前几天他不是派了八百里加急送来捷报了吗？如今他率军打到了独乐河畔，奚人和契丹人已经不足为虑了，老臣以为，不如让赵将军全权负责处理回纥、拔悉蜜和葛逻禄三族事务！”
玄宗有些担心，他道：“赵子良虽然战功赫赫，武力无双，难逢敌手，可朕还是担心他太年轻，毕竟突厥、回纥、拔悉蜜和葛逻禄这几个大部族可不是奚人和契丹人，这些大部族其中以突厥、回纥和拔悉蜜势力最大，每一个人口都有十几万以上，人口多就意味着控弦之士多，势力强大，弄不好不但威慑不了他们，还可能把事情搞砸啊！”
王琚还想再劝劝，不过他转念一想，一味地进言只怕会适得其反，还不如以退为进，于是说道：“陛下之虑确实很有道理，现在赵将军屯兵独乐河畔，既然仗已经打完了，不如下诏让赵子良率军撤回河东，毕竟他屯兵在外没有名目和由头啊，而且如果突厥、回纥、拔悉蜜和葛逻禄如果真有什么事情，他是出兵还是不出兵？出兵的话，他没有名义，不出兵的话，恐延误战机，现如今在我朝北方也只有赵将军对北方部族还有些威慑力！”
听说让赵子良带兵返回河东，玄宗马上不干了，他是好大喜功之人，这几年尤其在边事上极为上心，开疆拓土是他最喜欢的，只有这样他才觉得自己的功绩不输于祖先，当即摇头道：“那不行，好不容打到了独乐河，向异域宣扬我大唐天威，怎么能说撤就撤呢？嗯你刚才说得也不是没有道理，那就传朕旨意，任命赵子良为单于都护府都护，其他职务照旧，主理漠北各族事务！”
王琚一听，提醒道：“陛下，现在是太子兼任着单于都督府都督！”
玄宗一愣，他拍了拍额头，竟然把这事给忘了，不过太子兼任单于都护府都督只是遥领，并不实际行驶都督权利，他又问道：“那现在是谁在单于都护府任副都护？”
高力士说道：“是裴胄先！”
“原来是他！”玄宗点了点头，思索片刻，便说道：“朕看太子这单于都护府都督做着也是一个闲职，与其占着位置不做事，还不如让出来，既然如此，就去掉太子单于都护府都督之职，由赵子良兼任，全权负责漠北各部族事宜！”
高力士无奈答应：“遵旨！”
唐朝先后出现了六大都护府，分别是安西都护府、北庭都护府、安北都护府、单于都护府、安东都护府和安南都护府，不过这六个都护府并非同时都存在，单于都护府在开元初年被并入了安北都护府，直到公元720年，才又重新设立。
从某种意义上来说，单于都护府的职责有不少于安北都护府重叠，不过如今单于都护府只是一个空架子，就连安北都护府也是一样，这两个都护府并没有配备专门的军队对漠北各游牧部族进行震慑，大唐对漠北诸部的武力震慑，一般都是由朔方军和河东军负责，安北都护府和单于都护府的职责和作用只是协调漠北诸部的关系，对漠北诸部进行管理，实际上这两个都护府权利小得可怜，因为手中没兵，这两个都护府对漠北诸部基本上没什么办法，只能靠一张嘴皮子四处说和，不过现在的安北都护由朔方节度使王忠嗣兼任，他的话在漠北是算数的，没人敢不听，如今王忠嗣的主要精力放在了河西准备对付吐蕃，漠北之事就落在了赵子良这个新任的单于都护身上。
按道理来讲，出任单于都督府都督要从二品才行，而赵子良的从四品已经好几年了一直没有升起来，不过有时候是可以事急从权的，玄宗也没有去管赵子良的级别是否够了，就直接任命他为单于都护府都护。
十几天过去了，眼看着马上就要过年，这些天玄宗一直跟杨玉环腻在一起，好不快活，除了高力士之外，身边再也没有其他人，不过他总感觉少了点什么，仔细一想，原来是好些天都没有看见李林甫，没有李林甫在他面前逢迎拍马，让他颇感无趣，他想起李林甫还在长安，当即下旨让李林甫进宫见驾。
李林甫接到旨意后心中大喜，知道自己的苦日子马上要到头了，前往大明宫的路上，他脑子里想着各种逢迎的手段。
从大明宫出来后，李林甫春风满面，好不得意，因为他已经官复原职了。
腊月二十三，群臣入宫朝拜皇帝，大家一起对今年的朝政大事做一个总结，也就相当于后世政府年底工作报告一样，三生六部九卿纷纷向皇帝报告本部门今年的政绩、财政支出，各官员洋洋洒洒念了一大堆报告。
玄宗听得有些不耐烦了，还没等下面的官员汇报完毕，就挥挥手：“算了，朕不听了，还没有报告完毕的把奏章呈上来，朕抽空再看！众卿家还有其他事吗？没事就散朝吧，一直到上元节都不必再来点卯了，有何事等过了上元节再说！”
高力士正要喊退朝，一个户部侍郎高紘出班道：“陛下，臣高紘有事启奏！”
玄宗一愣，但还是抬手道：“准奏！”
“陛下，西海郡的石堡城乃战略要冲之地，不能长期被吐蕃人占据，否则我河西和陇右始终受其威胁，臣建议命皇甫惟明着手准备夺回石堡城！”
皇甫惟明前两个月与吐蕃人打了一仗，率领陇右唐军进至石堡城后，立即展开攻城。吐蕃守城将士一面凭险据守，一面传书求援。吐蕃即派大论莽布支率军兼程往援，并取得吐谷浑小王的配合，与守城将士里应外合，攻打唐军。皇甫惟明由于急功近利，只顾攻城，忽略打援，结果使唐军曹到重创，副将褚诩战死，只好退兵。不过他这次战役虽然在石堡城下损失惨重但也收复了一些失地，俘虏不少吐蕃兵将，前两天他刚刚押送俘虏回京献俘，被玄宗加封为鸿胪卿，此时正好在朝堂上。
其他朝臣看见高紘站出来，都知道李林甫这老东西准备向皇甫惟明发难了，之前各地弹劾他的官员将领中，皇甫惟明的官职最高、功劳最大，也叫嚣得最厉害，李林甫先拿他开刀也在预料之中。
听了高紘的话后，皇甫惟明当即站出来向玄宗行礼道：“启奏陛下，非是臣胆怯，也非臣不愿替陛下分忧，如今吐蕃在石堡城部署大量兵力，准备充足，又加上石堡城异常险峻，在吐蕃有了防备之下，我军想要拿下石堡城只能进行强攻，而强攻必然伤亡惨重，就算把整个陇右军填进去也不一定能攻下石堡城，微臣建议等待时机再动手不迟！”