自從元嘉十七年彭城王有罪出京，朝廷就徵調江夏王義恭任侍中、司徒、錄尚書，兼太子太傅，給班劍二十人，置仗加兵；二十一年，義恭又進位太尉，任它職如故.這些職位和待遇，也就是義康過去所兼任和享有的，雖然個別名號有所不同。
五皇弟和四皇弟多少也是有所不同的。身居顯位的五皇弟義恭有感義康之失——「亢龍有悔」，因此小心謹慎；他雖位居總錄，但只是執行朝廷的文書而已，他事從不過問。
義恭一向生活奢侈，又不吝惜錢財，左右親信一旦向他索要，他往往就給予一二百萬，但小有忤意，他又強令索回。朝廷每年給相府（即東府，司徒位同宰相）錢二千萬，其它物品倍於此，但他常感不足。皇上因他行事大體還讓人滿意，每年就多給相府錢千萬。義恭善騎馬，常騎寶馬出城二三百里遊玩，甚至東到吳郡，登上虎丘山，又登上無錫烏山來眺望太湖。其時，高句麗送給宋王朝八百匹馬，皇上就特意把一匹八百里馬送給他。
義恭生活上豪奢，但政治上卻小心得過了份。他以國家要北伐為名，上書朝廷請求罷去自己的錄尚書一職。劉義隆就把那奏章扔在一旁：北伐與罷去錄尚書一職有何關係？何必多此一舉！隨後，他又上書要求削弱王侯的權利，「臣位居台輔，貶損之端請從臣始」。他要求貶損的項目有：
「帳鉤不得作五花形；劍不得作鹿盧形；刀不得銀銅飾；儀仗用馬不得過二匹；平乘船皆下兩頭作露平形，不得比擬龍舟，皆不得朱油；胡伎不得著綵衣；正冬會不得鐸舞、杯盤舞；諸鎮常行，車前後不得過六隊；公主、王妃傳令，不得著朱服；諸王子繼體為王者，婚葬凶吉，皆依諸國公侯之禮，不得同皇弟、皇子。」正冬會即冬至節，在古代是一個重要的節日。
劉義隆看了這些瑣碎的建議，陰沉著臉。是吃飽了撐的？還是為了防嫌？在離書案好幾步遠的地方，他就用力一扔，那奏折連同案上的書札一起落到了地上。侍臣連忙上前撿起了它們。
從義康時起，劉義隆為了親近兄弟姐妹，就要求諸王進入齋閣，只需穿戴著白服裙帽（高屋帽、下裙蓋）見皇上，只是出了太極殿四廂才穿戴朝服。——那時候，義康還稱呼皇上「三兄」呢！於是義恭又上疏請求罷此，劉義隆不許，並把它定為家法：他這麼做實際上是傚法先帝的做法。
此後義恭又啟奏：
「臣北第舊邸，本已華麗，今已修葺完畢。往年收拾得些許雜木，並蒙陛下所賜木板，擬於宅內作小眠齋，而東府又有齋，亦甚華麗。臣今有二處住止，下情竊所未安。近知東宮玄圃雖有柏屋，制甚古拙，然內中無此齋；臣今欲拆除以奉太子。臣之今啟，伏願陛下垂許。」
就這些內容，他能林林總總寫滿幾張紙。
劉義隆答道：
「狄當今啟你願及見別紙。你州府事眾，何苦作如此煩長啟事！屋事不煩時建時拆，他事當由狄當轉述我意。」
江夏王義恭的頻繁啟奏已讓劉義隆煩不勝煩——劉義隆認為他是庸人自擾，而更讓劉義隆頭疼的，還是七弟衡陽王義季回京以後的耽酒成癖。
有感於四兄彭城王的幽禁生活以及自己被沈邵囚禁的遭遇，衡陽王義季自豫章回到京都以後，一直悶悶不樂，甚而至於久積成憂，只是以酒為友，常作長夜之飲，一改在江陵時的勤政治民之風。
原來逗留京都只是個過渡，他卻因此遲遲不去廣陵上任。劉義隆知道後手詔勸止：
「誰能無過？過而能改，改之為貴。長夜之飲，不止耽延事務，也會自損性命。近來長沙兄弟（指原南兗州刺史長沙王劉義宗）因酗酒致病而亡，你所知之；將軍蘇徽又耽酒成癖，命在旦夕。我懲義宗之亡，試禁斷之，並給藥膳，蘇徽如今已康復。杯中物是可節之物，只是嗜好者不能立志斷絕而已。晉元帝過江之後，貪戀杯中物，王導因其誤政事而為主上設饌，一飲之後盡毀棄美酒及器皿。晉元帝身為人主，尚能為王導之諫所動，終身不復飲酒；你既有美政，加之我慇勤致意，何故不能慨然自戒？莫非需嚴加禁斷，致使朝野紛紜，然後方能漸止？劉家一門無此酣法，你於何處得之？臨書歎惜！」
接了皇上的手諭，義季雖表示奉旨，但酗酒如初，久而久之終以成病。
聽說義季病了，心情沉重的劉義隆又派身邊年稍長的侍者楊佛前去開導他。楊佛拜見了義季，就對他說：
「殿下不見那覆蓋在酒罈上的布嗎？時間一長，酒漬的布也要爛了。」
義季端著酒，雖苦著臉，但仍不忘他的幽默：
「醃過的肉糟更能持久！」
楊佛也被他說得笑了，最終無言以對。
後來劉義隆得知義季的狀況更加糟糕，就派遣身邊人去強行禁阻他飲酒，同時再次手詔：
「你近來飲食轉少，而一向又體弱多病，我常憂此，今果然委頓。你縱不能以國家為懷，豈不顧惜性命之重？可歎可恨！昔時先帝以你幼齡托吾，你今竟至於此，先帝在天之靈見此，將如何！本望你能厲志自斷，不欲相煩。今特遣我左右孫道胤等前往，令早晚侍你起居，並進止飲食。你宜開懷虛受，慎勿違避。我每每見人斷酒，其實無他，不過當時嗜之而已。今者我所憂，正在你性命！」
此後，劉義隆又托臥病的長公主在義季探望她時多加勸戒，但義季聽了，並不多言，只是念叨著「願來世不復生於帝王家」。
這樣的話語，只能讓長公主暗自垂淚——她自然不會忘了那個被貶豫章的四皇弟。
在未找到病因的情況下，劉義隆的多方勸解終無成效；義季的固執一念，也使他的身體每況愈下。這讓劉義隆備感傷神。是虛度時日無所事事，還是在京會引起他的過多聯想？劉義隆覺得該讓他到方鎮去，一旦有政務在身，他或許還會像在荊州那樣；即使不能徹底戒斷，或許不致沉溺其中傷了身體。於是劉義隆就再次令楊佛去催促他快快離開京都到廣陵去。
皇四子南平王劉鑠也要出任南豫州刺史，鎮守壽陽，劉義隆就決定為他們叔侄二王一同祖道（古代為出行者祭祀路神，並飲宴送行），時間定在元嘉二十二年九月十七日，地點定在建康城北門廣莫門外的宣武場。
九月十六日，劉義隆外出視察歸來，在路上正好碰見始興王劉濬帶著一群小廝狩獵回城。但見劉濬左臂上站著一隻鷹，右手牽著一條大黃狗，劉義隆就叫車駕停了下來，沒好氣地說：
「一身而二勞，不覺得累嗎？」
劉濬和眾隨從一併跪在路旁，個個頭不敢抬，一言不敢。
此前，劉義隆又聽說太子數日前率眾賓客到鄉間看百姓收割稻子，太子對賓客說：「割稻場面也很好看！」眾人連連附和，只有太子家令湊近了說：「春耕、夏耘、秋收，此三時之務，農民辛勞。下官願殿下能知稼穡之艱難，切勿追尋一朝之逸樂！」太子這才正色不言。
丟下劉濬，劉義隆上了車，念及太子觀看收割一事，就想起晉惠帝聽說天下饑荒百姓餓死卻問左右：「百姓無糧，何不吃肉糜？」惠帝不慧，倒也罷了，如果祖上貧寒的劉家後人，在先帝創下江山的兩代三代之間就不辨菽麥，那將會怎樣？他於是當即令侍臣轉告傳詔，遍告在京都中十歲以上諸皇子（其時劉義隆已有十五子，其中九人年過十歲），明日都到宣武場武帳崗為二王祖道，同時告誡他們不要在家吃飯，在武帳崗備有美味佳餚。
九月十七日皇上將率諸皇子到武帳崗為二王祖道的消息，在皇宮擔任衛隊長的許曜最先知道，他甚至比范曄知道得還要早。
許曜立即以最快的度密報孔熙先，孔熙先也以最快的度密告范曄及相關諸人。在他們看來，這是一次天賜良機，因為包括皇太子在內的年長的皇子都將出席，這樣除了在外的三皇子武陵王劉駿和六皇子廣陵王劉誕之外，正可一網打盡斬草除根——剩下的幾歲娃娃就不是什麼問題了。另外，皇上在明處，我們在暗處，且上有范大人，下有得力的許曜，還有什麼大事不能成啊！