將楊慎矜投靠之言說於李林甫，李林甫未作回答，只是笑與李揚說了別事道：「近來韋堅此子借太子之勢，勾結朋黨以亂朝政，其心可誅！賢婿，對於韋堅此等小人，你因多加小心些。」
「謝岳父大人提醒，小婿知道了。不管他是誰人，只要禍及大唐，小婿定然以此身相拼，就算因此獲罪被貶也是心甘！」李揚正色拱手以道。
李林甫臉上不自然之色一閃而過，大笑道：「好，子仁有此決心實是大唐之幸。」又喚其子道，「你今日也莫要出去了，與子仁一同陪為父用飯。」
等李揚離去，小啜香茶的李林甫陰沉著臉道：「這些日子，風門之中整備如何？」
「回父親，除去風一行蹤不定，風九、風六早死外，其它之人皆是已投效。」李岫小聲回道，同時見其臉色遞過一盤梅子，「那風一之貌，世人之中除去已死的九齡外已是無人見過。但依查證，此人不熱衷於權勢，先帝在世之時曾以上府大都督之職相待，但這位風一以江湖之人不喜為官為由拒之。後陛下登基詔招此人入京奉職，也如先前一樣未見人影，陛下年輕氣盛一怒之下也由著他去了。而張九齡因在先帝這時事從張悅，張悅見其有才便臨行之時將風一招回以示，告之，日後風門便歸張九齡提帶，而風一卻是至此不見了蹤影。有人說是隱退，也有人說是已死，更有人說是東度日本，因為在東海簷羅之島上見過其一面。」
「如此大能之士是不會死的，多加盯緊了風門。畢意此先是聽從張九齡的，再加上他與我相鬥多年，彼此手中都是沾了血跡，不管他放權交待的再明瞭，但這恨是結下，不能掉以輕心。那邊的人先不要動，等穩定下來該殺的殺，該拿的拿，該清則清，不可手軟了。」李林甫淡淡說著，好像說的輕巧之事。
李岫應是：「謹聽父親之命。」
「你閒暇時來派人去探一探楊慎矜的口風，如是真心投靠，便讓王珙去登門相說去，自家的人就不必去了，省得顯了我等矮了身子。」放了茶杯，望門又道，「門裡門外之人要分的清一些，再有子仁那邊也想法子派個人去。」
李岫聽了急道：「父親，這，這只怕不妥吧。畢竟子仁是？」
「糊塗！你如是抱有此心，對誰人都善只怕我身死後，李家這若大的勢力將被人眾推而倒！」李林甫怒起，拍了案面而責道，「騰空雖是你妹，但子仁卻與你我必不是一李之人。人心無盡始藏於腹，誰人能知他心想了些什麼？兒啊，你還是不懂，不懂呀！」痛心疾首，恨極了兒子不成才之像。
李岫驚起跪倒言道：「兒知錯，兒知錯了。望父親莫要生氣。」
「起來吧。」李林甫唉了一聲，「我知你心懷仁善，但你可知道如今這李宅上下可是不比以前了。昔日，為父官小職卑，就是做錯事說錯話也無非不過受人喝斥罷了，可如今位在中書門下坐堂，這大唐之內有多少人眼熱於此。若是出了差錯，那便是大禍臨頭了！說九齡慘然，說不得到時我等能比的上他就算不錯了。子仁雖為你之妹婿，但也不能不防，記著，此宅中除了為父之外，你不得將心剖於他人知。明白麼？」
「是父親，兒受教了。」李岫施禮低首而道。
李林甫又歎一聲，知道兒子的性子，只怕是現在聽了進去，過後便又是忘記了，尤其是親情之上更是不堪，便是心中索然，無力的揮了揮手道：「你且下去安排吧，為父靜思一些事情。」見子恭敬退下，眼中厲光一閃，自語道，「如你挺不起這份家業，那你就做個富家翁吧！」說罷，就覺得心累之極，閉了眼睛靜靜的沉於心海之中，將精神溫養了起來。
五月間，李揚朝上奏今歲秀才、明經、進士三科之榜名，監察侍御史從之。陛下閱之，詔與吏部銓後再擇才而授其官，又下敕書道：「今歲大賀，六月加試一科。」
諸臣謝恩。
六月，禮部侍郎於南院再行舉科，秘書監賀知章再次上疏請辭，以回鄉致仕入道。陛下不准，詔道：「卿為國之大家，豈能值此當頭拂手而去。」
賀知章感恩過幾日而再辭，其子代其上殿痛聲哭奏：「陛下，家父雖是有心，但力有不足。前日咳至半夜，嘔血數次，望陛下恩准回鄉埋骨。」
「罷了。朕准奏。」李隆基心中亦是難過，這老臣一個接一個的而去，如今滿朝當中又有幾人是能陪伴自己的人呢？想罷，思緒飄渺便是恍忽，被高力士輕喚陛下方是醒過，下旨道：「傳旨，於故里會稽建宅為千秋觀而為知章居。劃辟周宮湖數頃為千秋觀放生池，賜鏡湖剡川一曲（可譯為部分，局部，意為下詔賜賀知章鏡糊剡川那部分）以養天年。」又傾身下問道，「曾子現居何職？」
「回陛下，臣現為東宮典設局從六品下典設郎一職。」
李隆基笑了自語道：「小了。」又高聲傳旨道，「傳旨中書門下，擢升東宮內設郎賀曾子加朝散大夫，可為會稽郡司馬，賜緋衣配銀魚，以伸侍養知章膝下。其未婚娶之幼子入門為道士，賜知章以羸老乘輿車既行回鄉。」後不語，看著曾子謝恩，思及賀知章之好處，便歎聲提筆寫道：「天寶三年，太子賓客賀知章，鑒止足之分，抗歸老之疏，解組辭榮，志期入道。朕以其年在遲暮，用循掛冠之事，俾遂赤松之遊。正月五日，將歸會稽，遂餞東路，乃命六卿庶尹大夫供帳青門，寵行邁也。豈惟崇德尚齒，抑亦勵俗勸人，無令二疏獨光漢冊。乃賦詩贈行。」隨下詩云：「遺榮期入道，辭老竟抽簪。豈不惜賢達，其如高尚心。寰中得秘要，方外散幽襟。獨有青門餞，群英悵別深。」又云：「筵開百壺餞，詔許二疏歸。仙記題金菉，朝章拔羽衣。悄然承睿藻，行路滿光輝。」寫罷，心傷之下道，「明日之晨，太子代朕送別吧。」說罷顫抖起身竟是入東序門而去。
二日次明，太子率百官以送，李揚等弟子哭跪而拜，賀知章含笑於車上拱手謝過，大笑而朝南行去。
未想及至會稽郡，病情日漸加重，許與鄉黨說笑幾日，回宅便是不起，再過幾日便是撒手駕鶴西遊了。坐下弟子時為太子後為肅宗陛下念侍讀之恩，於乾元元年十一月詔道：「故超州千秋觀道士賀知章，神清志逸，學富才雄；挺會稽之美箭，蘊昆岡之良玉。故飛名仙省，待詔龍樓；願追二老之奇蹤，克遂四明之狂客。允協初志，脫落朝衣；駕青牛而不還，狎白鷗而長往。舟壑靡息，人琴兩亡；惟舊之懷，有深追悼。宜加縟禮，式展哀榮，可贈禮部尚書者也。」這便是後話了。（以上摘改自360百科——賀知章）
李揚方自家中養身怡心，與眾妻妾歡笑。聽聞座師已去，手腳冰冷掌中把玩之玉如意抓握不及破碎於地，怔然而淚下，大聲痛哭而哀道：「師長已去，獨留弟子，弟子其心，慼慼為痛！師，提攜我於南院之中，教訓至今。如今逝去，怎讓小輩安生！弟子不孝，弟子不孝！」遂於內裡設靈堂建靈牌以念。
朝會之上，李隆其初聞惡號，怔然半響未是發聲，良久方自念道：「少小離鄉老大回，鄉音難改鬢毛衰。兒童相見不相識，笑問客從何處來。離別家鄉歲月多，近來人事半銷磨。唯有門前鏡湖水，春風不改舊時波。（唐、賀知章，回鄉偶書二首）維摩你是悟了，可朕呢？難，難了！」忽然之間覺得好生的傷感與難過，不免心灰意冷不想理會其朝政。於偏殿中嘗與高力士敘道：「朕不出長安近十年，天下無事，朕年事已高且居無為，不如將政事全數委於林甫，將軍以為何如？」
高力士早先行於貞順皇后處，見識了李林甫之諂，近年來滿朝之中皆出其門下，不由的心中擔心起來，脫口而出回道：「陛下，天子巡狩四方，這是自古之制也。並且陛下持以治國之大權，萬萬不可假於他人之手；如是假手那其人威勢既成，這天下又有誰人敢再說復！」
李隆基頓時沉了臉，心想，我不過是想過幾日快活安逸的日子，讓其暫為替我分憂，你卻這般做答，這豈能是我的心腹。便冷哼一聲不語。
高力士見其如此，便知是惱了自己，便跪下叩頭而道：「臣狂疾，發妄言，罪當死！」
「哈哈，無妨，將軍不過是發心腹之言，不必當真。來，朕為將軍壓驚。」李隆基冷笑著為高力士置酒，這時左右侍從皆呼萬歲，以表陛下仁愛。
高力士自是懊悔不已，跪伏於地上，心中暗言，陛下變了，唉！還是少言的為好。（摘改自資治通鑒卷二百一十五）