天寶五年chun，正月十三日，詔以隴右節度使皇甫惟明兼河西節度使，入朝任鴻瀘卿。施行之下傳至洮郡，鹹直公主於京中傳來消息，可能與已不利，李揚更是小心從事，任何事務皆不敢張口，只做了個啞巴司馬。
過幾日，楊釗又至書中安慰道：「妹婿不必小心，過幾日便好。」果然二十三日，又傳消息，至尊因皇甫惟明與韋堅結朋黨密謀他事，下制書責韋堅謀求上位官職，存有野心，貶為縉雲太守；皇甫惟明為挑撥離間君臣之間的關係，貶為播川太守。一時朝中大嘩，人人皆是寒慄。
李揚回想楊釗之書中所說，便是歎了一聲，私於妻楊氏小荷道：「朝中風雲莫測，實是心寒。」便生了歸隱之意。
月底，留於長安宅中的劉五遣人送書，將此事說透，原因也簡單，不過是權勢相爭罷了。太子享與李林甫暗中不睦，本來他是想立壽王而陛下改為忠王，這便恐日後有不利，便日日想廢之。這皇甫惟明、韋堅又與太子善，加之皇甫惟明入朝後曾勸至尊，『林甫專權，恐為大唐之禍，不如改為刑部尚書韋堅代之。』早已收買至尊身邊左右的李林甫隔ri聞之，心中大惡。遂今御史中丞楊慎矜密查其所動向，以圖把柄。十五之夜，太子行遊，私會韋堅，而韋堅又不愛自身，轉而密會皇甫惟明於景龍觀。楊慎矜次日上書至尊，言其為太子親戚之人，不該與邊將狎混。二人之間行跡鬼魅，是否存有不當。至尊疑之，李林甫又使御史中丞王鉷上奏道，陛下，歷來邊將與國戚交通，不外乎謀權二字。但韋堅為太子親，這恐怕是否對陛下有不利之圖。李隆基這才大怒，朝責韋堅與皇甫惟明為逆，令兵部銓曹案中之能手京兆府法曹吉溫審其事。韋堅、皇甫惟明知事關太子，便咬牙不屈李林甫之意，吉溫也是束手。但至尊心中早已有了別樣的想法，大抵是敲打太子，便是下制書戒百官，貶二人（摘改自資治通卷二百一十五）。
這讓李揚心中更感恐慌，疾書於國公宅呈李林甫道：「政見不同，可攏之。此事天下人知，恐損岳父大人聲譽！」。李林甫未回，但李岫卻是回書道：「子仁如表字，心為仁，但朝中之事，恐不是你我之人所能左右，也非是和氣一團之像。子仁，稍安勿燥。」
李揚接書，半響未言，輕輕的拍於案上，用手指猛然扣住死死團成一團，扔於角落之間。
隴右、河西不可一ri無主政之人，二月，制下授朔方、河東節度使王忠嗣兼隴右、河西二節度使，一人執四節，軍傾天下！
三月王方鎮入主鄯郡，李揚拜之，皆是舊識談說甚歡，言之安心為官，至尊心中常念子仁之語，這讓李揚心中湧出一些暖意。
月末，妾室李氏柳葉兒房中冬梅聞喜，小荷以奴婢不得亂老爺之血脈為由，今其墮胎。血崩之下，冬梅差些喪命，但身子已損，不能再孕。知其事後，冬梅精神便是恍惚，常有瘋癲之舉動，安史之亂時走失再無音信，這今小荷心中自責不已，遂放開禁制。此後秋娘、夏蓮、chun桃、chun月、梅子皆是生子女，卻未立妾，以家中之人得以善終。
四月，契丹、奚平叛，至尊封故去燕國公李娑固為昭信王，其婿薊郡公李楷洛為恭仁王，各為二族之主，以楷洛子李光弼為左清率府中郎將兼安北都護，充赤水軍使。又下制書於洮郡，因李揚之妾李氏婦道貞德，為昭信王之後，特再為清和縣君。洮州都督府司馬李揚遷中書舍人押刑部事，復為清徐縣開國男。
未及楊釗來書笑稱，皆是貴妃之功，回京勿忘來拜。
接制書後，李揚宅中頓時起伏，妾室楊太真飛揚起來，仗貴妃勢處處壓眾妾一頭。事及正妻之利益，被小荷正以家法方是好了些。是夜敘與李揚，婉轉承歡討了歡心，又諂朵兒之壞。李揚不知情，依言二日辰責張氏，朵兒氣不過，尋太真理論反被其嗆之。朵兒一怒之下，掌摑其臉，太真不甘受辱與之破口，驚動眾女。小荷又執家法將此事壓下，而不與李揚說過，但二女之間怨氣卻是濃生，至死時後輩依言分葬於李揚之左右二穴中，雲中之人皆稱二妒美人塚。尤其今人稱道的是，朵兒這邊起一樹頭朝左，太真那邊起一樹頭朝右，真是讓人歎道不已。
五月入京之時，於驛中又聞，李適時因病推托政事，上書言之散地（譯為閒散之地，此處代為閒散的官職）。李隆其准之，以其為太子太保遂罷其政事，以門下侍郎、崇玄館大學士陳希烈為門下同平章事。在太子少保李適之子衛尉少卿李霅設宴待賓客，也不知所為皆是無人應赴，世人皆指長安城東薛王別墅卻不敢言。
進中書省至中書舍人公事房，進見閣老知權禮部待郎事達奚珣，與同為舍人的李ri韋、陽浚等人相見禮，再拜右相（中書令）李林甫。
翁婿二人相見自是各有所感，不知何因，李揚只知心中對其隔閡已深，雖是笑顏相說，但那笑臉之下卻是各自有些淡淡的冷漠。
再回蘭陵之宅，鹹直公主早已相候，見面已是淚眼。李揚癡癡而望，掩面別過一邊，想將其擁入懷中卻是有些不敢。小荷卻是迎了上去，口稱妹妹與之痛哭在了一起。
過後相說之間，鹹直公主幽怨之極，闇然而道：「萬安阿姊去歲自阿郎西行之後，便是被禁於宮中。妾身相看數次皆是被旨意擋回，也不知她如今過得可好？」說罷定是思念極深，便又是淚不成泣。
李揚闇然，一切都是因已而起，想必是至尊不許萬安隨意出入，好斷了與已的關係。心下難過，卻是無計可施。
月底，四節節度使王忠嗣遣將入京獻俘，同時拜會李揚。將其迎入府中，問道：「王方鎮近來可好？不知洮郡是否安定。」
來將施禮道：「多謝中書李舍人掛念，一切皆安。前月有小股賊子寇邊，已被軍鎮擊退，並掩殺百里，俘其甚多。」
李揚連聲說好，又是問其之名。
「卑職名為哥舒翰，祖諱名沮為太子左清道率，父諱道元，官為安西副大都護、赤水軍使。卑職現為王方鎮之牙將。」
李揚歎道：「原是名門之後，本官敬仰之至。」
「豈敢承李縣男如此，卑職惶恐。」哥舒翰忙是施禮回道，並取王忠嗣所捎於的棋子一付呈上，「方鎮知李縣男好此道，便讓卑職呈上。」
李揚對此物倒是不拒，命人接過，又與之攀談了幾句，卻是發現哥舒翰熟知《春秋》、《漢書》，考研了幾分當是對答如流，便是心喜。喚李蒼頭過來，將自己曾佩過的一柄長劍相贈與他，並吩咐道，「本官此生已是無望於沙場之上，請哥舒將軍佩此劍多斬敵之首！」
哥舒翰感激，於堂下以此劍舞一曲破陣子回贈。
同月，楊釗之好友劍南節度使章仇兼瓊入朝為戶部尚書，皆是舉薦楊釗之因果。
六月，至尊贊楊釗張馳有度，遷其為度支員外郎，兼侍御史。
三日，貴妃思姊妹，遂讓李揚之妾太真與另三位阿姊入中宮。李揚送出中使高力士出宅門，竟見其坐御者處充當老闆，便大驚失色，求他下車。
高力士笑道：「無妨，為貴妃做事，理當如此！」揮鞭而去，獨留李揚於當地歎而搖頭，心中卻是恐慌之急，心中暗道，如此跋扈恐是不妥。回宅與小荷商議，小荷便將近日楊太真勢壓眾妾之事略說幾處。李揚聽後半響未語，有些悔恨道：「都是為夫之過，太過寵信她了。」將朵兒喚入房中，好聲的安慰。
張氏垂淚，憐愛之樣今李揚又是加了幾分疼愛。
是夜，太真回宅，手捧彩色織錦與眾人顯耀後。回房披於身上討好李揚道：「阿郎，請觀之。這為貴妃所贈之物，是嶺南經略使張九章特地進貢貴妃的。阿郎，你看好麼？」
李揚惡其行為，沉聲道：「脫下來！」轉了臉不去看她。
「阿郎——」太真不知今日李揚為何這般，嬌喚了一聲，見其仍不動聲色，將織錦扔於地上，想如往常一樣依如他懷中，卻被李揚輕輕推開，責道，「太真，往後莫要多行於中宮，以恐世人笑話。」
太真大感委屈，幽幽道：「阿郎，妾身豈是不知，可貴妃教招於妾身，妾身也不敢不去。」又道，「就說這錦段，那進獻之人一位加三品，另一位為最者遷為戶部侍郎職，阿郎為中書舍人豈能不知？又想及阿郎不過因娶番女李氏為妾，便從副大都護貶為下都督府司馬，再次又回中樞，這其中的道理可是明明白白。」
「糊塗！」李揚怒起，但也不知道因何而氣憤，只是胸中難平，手指太真後語卻塞住，不知要說什麼好，半響甩袖推門而去。
太真怔住，十幾年來未見阿郎衝自己發過怒，今日這是怎麼了。一時之間羞惱從生卻是咬緊下唇不肯開口相喚。chun桃急著從外間進來喚道：「奶奶！」
「滾出去！」真是不敢相信自己會對chun桃如此喝罵，氣洩之後又是後悔，太真又急是問道，「老爺呢？」
chun桃低首紅著眼回道：「回奶奶的話，老爺去了二房奶奶那裡。」
「原來是她！二姊算你狠毒！」太真咬牙擠出話來，一股無力之感湧上頭，便是頭暈目旋慢慢的朝地上倒去。
七月，李林甫聽聞韋堅慢行其道，又上奏道：「陛下，罪人有罪，左降之後更是不想留京，就是起赴任上，都為慢行，至其任上官位缺失數月也是有之。」
李隆基聽後下敕書道：「流貶人多在道逗留。自今左降官ri馳十驛以上。」
過ri，韋堅之弟將作少匠韋蘭、兵部員外郎韋芝為其兄訟冤，奏道：「陛下仁愛，但兄犯重罪悔之晚亦，途行之中與書臣等，稱其罪是為太子殿下所游所致，悔不改交通邊將，以致鑄成大錯。望陛下看在其兄有功這份上，請求發還家鄉。」
李隆基大怒，責二人道：「你等這是逼朕嗎？難道朕之判是錯了？好，好的很，你等皆是忠心耿耿呀！」便下旨再貶韋堅為江夏員外別駕，韋蘭、韋芝皆貶嶺南惡水之地。
李林甫暗想，斬草需除根，便再引韋堅與李適之等人為朋黨，如不加以懲處，恐為亂大唐。
陛下怒氣更甚，隔二日，改貶為流使韋堅於臨封，女婿巴陵太守盧幼臨長流合浦郡，李適之貶為宜chun太守，太常少卿韋斌貶巴陵太守，韋堅之外甥嗣薛王李琄貶夷陵別駕，睢陽太守裴寬貶安陸別駕，河南尹李齊物貶竟陵太守，凡親黨連坐流貶者有倉部員外郎鄭章貶南豐丞，殿中侍御史鄭欽說貶夜郎尉，監察御史豆盧友貶富水尉，監察御史楊惠貶巴東尉等數十人。
太子聞風大懼，上表企求與韋妃合離，並言道：乞不以親廢法。時今眾臣心中為之一寒，不免可憐又不免暗歎。
冬十一月，又發淄川太守裴敦復與北海太守李邕案，陛下使李林甫查之，李林甫以京兆士曹吉溫與御史鞫之，案中贊善大夫杜有鄰一女為左驍衛兵曹柳勣妻，柳勣狂妄，數次流言杜有鄰借圖讖之說與太子，言中涉及至尊。李隆基得知震怒，下旨杖斃涉案贊善大夫杜有鄰、左驍衛兵曹柳勣、柳勣好友著作郎王曾等人，堆積屍體於大理寺，其妻妾與子女皆流與邊遠。柳勣好交友，曾被裴敦復舉於李邕，三人已是交好遂發此案。過後，李邕之子嗣虢王李巨貶義陽司馬、鄴郡太守王琚因與李邕交好也坐贓貶為江華司馬，杜有鄰又一女時為太子良娣亦受累，被太子廢為庶人。此上明為案發，實是李林甫yu將太子廢之。（以上摘改於資治通鑒卷二百一十五，舊唐書本紀玄宗下）