也正在這一時期，司徒、彭城王義康的權勢日益增大：原本應該由皇上處理的諸多事務，一小部分被擱置起來了，而大部分都由他來處理了.
在一定程度上，司徒義康代替了皇上。
與此同時，劉湛自從通過司徒左長史劉斌的引薦而與彭城王義康重修舊好以來，權勢也日益增大了：過去由司徒處理的事務，除了一部分仍由司徒處理之外，另一部分已由劉湛處理了。在一定程度上，他也替代了司徒。
劉湛原就有器干，後又屢經輔佐名州——雖曰輔佐實為專治，這更培養了他治世的才幹，因此，他屢受前大臣如謝晦、王弘等人的讚賞。在彭城王義康看來，劉湛遠遠強於他的追隨者劉斌、王履等人，也因此，除了將過去親自處理的一部分事務交給他處理之外，如今即使在處理朝政時，也是事事向劉湛咨訪。彭城王義康每每對他的群僚這樣讚賞劉湛：才能卓異，無人能比！
然而，彭城王義康與劉湛的合作，雖然也得到了一些朝野人士的喝彩，但也受到了來自不同方面的抨擊。在眾多抨擊者中，新任太子中庶子詩人顏延之就是其中較為激烈的一個。
自從元嘉初年以來，顏延之先從始安太守任上被徵入朝擔任中書侍郎，不久改任太子中庶子，其後又升為四品的步兵校尉。入朝初，他很受也愛詩文的皇上的賞識，所得賞賜也很多，但他生性好酒，為人疏誕。劉義隆在與他閒聊時，曾經問他的四個兒子才藝如何，他回答說：「長子繼承了臣的筆，次子繼承了臣的文，三子繼承了臣的義，四子繼承了臣的酒。」時人稱有韻者為「文」，不講究情采聲律的文章為「筆」，即後世所謂散文；文與筆往往相對而言。在旁侍坐的侍中何尚之打趣他，問：「誰又得卿之狂？」他立即答道：「其狂狂不可及！」劉義隆聞言大笑。
其時，顏延之憑其才學，名氣與謝靈運不相上下，朝野皆敬重他，時人有「江右稱潘、6，江左稱顏、謝」之說。潘、6，指西晉詩人潘岳和6機。只有年少氣盛的司徒祭酒袁淑自負才氣，年輩雖然小於他卻不太推重他。顏延之在稠人廣座中曾忿然斥責袁淑：「前朝陳元方與孔元駿齊年文學，元駿拜元方於坐床下，今君如何不拜？」袁淑無言以對。侍中何尚之曾經當朝值日，顏延之酒後造訪他，何尚之知道這個「醉漢」難以對付，就佯裝睡覺。顏延之揭開簾子仔細地看他的睡相，然後吟誦著孔子批評弟子宰予白日睡覺的話：「朽木不可雕也，糞土之牆不可圬也。於予與何誅！」這後一句是孔子的失望之辭：對宰予這樣的人，責備是沒有用的——不值得責備！等到顏延之離開之後，何尚之對身邊人說：「此人醉了酒就更可怕！」
顏延之既生性疏誕，不能與當世權貴相周旋，因此也就不能取容當世。他會讓袁淑、何尚之等一般朝臣難堪，就是朝中權貴，他往往也不把他們放在眼裡。
少帝時，傅亮自以為文才是一時之冠無人能及，顏延之自然不理這一套，加之廬陵王義真又厚待他，徐羨之、傅亮就嫉恨並排擠他，出他外任為始安太守。謝晦對他說：「過去荀勖嫉恨阮鹹，斥之為始平太守；卿今日又出始安，可稱『二始』。」那時還只是黃門侍郎的殷景仁還很敬重他，就安慰他說：「卿之今日，正應了世人所謂『人惡俊異，世疵文雅』。」後來劉湛入京，與殷景仁專當權任，他意有不平：「天下事豈是一二人之智所能獨了！」又因劉湛兼任太子詹事，官位三品——太子詹事在東宮就相當於朝中的尚書令、領軍將軍之職，而他只是擔任劉湛的屬下太子中庶子，職位五品，他的鬱悶可想而知。在經過朱雀航時，看到路上有人趕驢，但是驢不肯向前走，顏延之也不顧身邊還有其他人，就高聲衝著驢說：「驢兒，好好幹吧，像你這樣的才能，在朝中已經能做到三品的職位了！」
後來，當劉湛頻頻出入東府，司徒義康對他言聽計從的時候，他竟然面對劉湛說：「我職位不陞遷，就是因為做過卿家的差吏！」這是說他年輕的時候曾做過劉湛的父親後將軍劉柳的屬官主簿。劉湛聞言大怒，哪有做過家父的屬下後不感戴家父卻遷怒於家父的人！劉湛積前後怨怒，就在司徒義康面前如此這般地說了一番，而此時司徒義康對劉湛又是如此言聽計從，於是再次將顏延之逐出京城，讓他去做永嘉太守。
去做永嘉的太守，這正是謝靈運當年所走過的老路。
顏延之在怨憤中，寫下了《五君詠》。五君者，即曹魏末年竹林七賢中的阮籍、嵇康、劉伶、阮鹹和向秀。七賢中的另外兩人山濤和王戎後來都成了朝中權貴，因此都被他棄而不詠，由此也可見詩的意旨所在。
《阮步兵》中寫道：
「物故不可論，途窮能無慟？」
阮籍原有濟世之志，但處於魏晉禪代之際，天下多事，名士很少有能保全性命的，他就不關世事，終日以酣飲為樂，甚至連醉數十日以此避禍。他曾聽說步兵營有人善釀造，並且藏有酒三百斛，於是就求任步兵校尉。他為人極孝，他的母親死了，那時他正在與人下圍棋，知道消息後他卻沒有停下來，直到下完棋，又連飲二鬥酒，然後一聲大嚎，吐血數升；大臣裴楷來弔唁他的母親，他卻披散頭箕踞而坐，醉而直視並不回禮。他又非毀禮法。某兵家女有才色，未嫁而死。他與其父兄素不相識卻跑去為她痛哭，然後盡哀而歸。他常常率意獨駕，也不走正路，車行至不通處，有時痛哭而返。顏延之在詩中讚賞他外坦蕩而內淳至，理解他托酒自遁是因世道不可言說，是不得已。
《嵇中散》中寫道：
「鸞翮有時鎩，龍性誰能馴！」
詩中以神鳥鸞鳥的羽毛會遭摧折但龍性決不會馴服，來讚美嵇康有高卓之氣、龍鳳之姿，雖遭受當權者的摧殘，但他不受世俗束縛的反抗性格終究不可馴服。他最終得罪了統治者，受刑於東市，臨刑，他環顧日影，索琴彈奏《廣陵散》，曲終受刑，時年四十。生前，吏部尚書山濤將舉薦他以自代，他寫下了《與山巨源絕交書》表明心跡。他愛酒，寫有《酒會詩》。山濤曾評價他：「嵇叔夜之為人也，巖巖若孤松之獨立；其醉也，傀俄若玉山之將崩。」傀俄，傾倒的樣子。
《劉參軍》寫劉伶的寄情於酒有他不得已的苦衷。其中寫道：
「韜精日沈飲，誰知非荒宴。」
這兩句寫劉伶的寄情於酒有他不得已的苦衷。劉伶常常乘坐鹿車，自帶一壺酒，讓童僕扛著鍬跟著他，說：「我死了便就地掩埋。」其為人淡默少言，不妄交遊。他曾經向妻子索酒，其妻潑灑了酒砸壞了酒器，然後哭諫：「此非養生之道！」劉伶聽後說：「說得好！但我不能自禁，只有擺好酒肉祝鬼神起誓，然後才可禁酒。」其妻擺好了酒肉，他跪下祝鬼神道：「天生劉伶，以酒為名。一飲一斛，五斗解酲。婦人之言，慎不可聽！」於是飲酒吃肉，酣然又醉。從他所作的《酒德頌》中可以看出他深藏於內心的隱情。
《阮始平》中「屢薦不入官，一麾乃出守」，寫阮鹹雖有高材美質，薦者再三，終究不被信用，而權貴一麾，他就不得不出任始平太守。他與叔父阮籍一樣縱情越禮，也一樣不為世俗所容。他愛上了姑姑的侍婢，姑姑回娘家時答應為他留下侍婢，但臨走時又帶上了侍婢一道走了。其時正有客在坐，他急忙借客人的馬追趕而去，趕上之後與那侍婢同騎一馬而歸，路人驚怪不已。諸阮都愛飲酒，一旦阮鹹到了，宗人就不再用小的杯觴斟酒，而改用大盆，然後圓坐相向，大酌再飲。權貴荀勖曾經和他談論音律，自以為遠不如他，心懷嫉妒，就出他外任始平太守。這就是謝晦打趣顏延之「二始」的由來。
《向常侍》一讚頌向秀專心文辭，甘於淡薄的情懷，詩一開篇就說「向秀甘淡薄，深心托毫素」。他與嵇康、呂安關係友善。嵇康喜歡鍛造，向秀就為他打下手，兩人欣然相對旁若無人；他又和呂安在山陽灌園，嵇康、呂安被司馬氏殺害之後，向秀經過山陽舊居時，聽到鄰人笛聲，有感而作《思舊賦》。
顏延之所詠之五君，都好酒，不以官場為務，又都任性而為，不媚權貴，這不正是顏延之的自畫像嗎？此詩一出，雖還不如當初謝靈運的詩有那麼大的影響，但憑著顏延之的名望，加之詩中似有影射意——這往往會讓好事者爭相傳抄，因此它很快就傳遍了京都。
劉湛等人自然也都看到了這組詩，他們不僅僅著眼於它是不是顏延之個人自敘的問題，而且要細細地尋找詩裡有多少影射的成分，以及顏延之在詩中究竟在影射什麼人。尋找的結果，讓劉湛以及司徒義康大為惱怒，他們也不管已經宣佈過讓顏延之去任永嘉太守，就在顏延之備辦行裝的時候，乾脆徹底削了他的職——他既然言辭如此不遜，那就讓他在家閉門思過好了。
他們好像覺得這事對顏延之的打擊還不夠重，就在宣佈削了他的職的同時，任命光祿勳車仲遠代替他為永嘉太守，而這個車仲遠正是顏延之平素所鄙薄的人。