待諸事已經平定，劉義隆這才派中書舍人徐爰入中書省義康留宿處宣旨——此時義康已經被軟禁，告以劉湛等人罪惡。義康知道劉湛等人的罪惡，其實就是自己的罪惡，於是上表遜位：
「臣幼蒙國恩，爵位逾等。陛下推恩睦親，以隆棠棣，愛忘其鄙，寵授遂崇，任總內外，位至宰輔。臣不能正身率下，以肅僚屬，暱近失所，漸不自覺，致令毀譽違實，賞罰謬加，由臣才弱任重，以及敗亡。今雖罪人已誅，王道載靜，養隙貽垢，實由於臣。鞠躬顫慄，若墜深谷，有何心顏，而安斯寵？請解所任，待罪私第。」
朝廷接了他的遜位表，改授義康為都督江州諸軍事、江州刺史，持節、侍中、大將軍如故，出鎮豫章（在今江西南昌，是江州刺史治所）。
有了這些頭銜，義康的出外任，似乎只是因過而降職而已，其實不然。實際上，上述諸職，對義康而言，不過是徒有虛名，掛個職罷了。別的且不說，單就那侍中一職而言就可知一斑：侍中，侍奉於中，那是殿中皇上身邊的職位，豈有出外任而為侍中的？不但如此，他的出外任，實際上就是流放，因為他很快就將在豫章失去自由。因他的「出鎮」，朝廷還特意挑選出心腹之人沈邵擔任大將軍中兵參軍，由他掌管豫章城防事務，實際上就是讓沈邵領兵防備義康及其它非常之事。
此後十多日，彭城王義康都被留止在中書省。在此期間，叔父長沙王劉道憐的兩個兒子桂陽侯劉義融和新喻侯劉義宗一同以宗人的身份前往探視過義康，那個被免於一死的皇上的外甥、秘書監徐湛之也受長公主的委託前往寬慰。
在義康被幽閉的這十餘日裡，東府數千家丁，或充軍戍邊，或遣歸鄉里，只留下一些老弱者充作僕人。
在羽林兵的監督下，僕人們已經把南下的行裝打點齊備。遵照皇上的旨意，義康平素所喜愛的器具也盡可能地讓他們裝上船，他所寵愛的姬妾也都悉數隨行。另外，征虜司馬蕭斌，過去曾經深得義康信任，後來劉斌等人忌妒他得主公之寵，就進讒言使義康疏遠了他，現在也以蕭斌為大將軍咨議參軍，兼任豫章太守，事無大小，都委託給他。司徒主簿謝綜，平素也為義康所親近，但是他並沒有過多參與劉湛、劉斌等人的逆謀，現在也以他為大將軍記室參軍。其實，謝綜的作為，只是被主謀劉湛、劉斌等人掩蓋了，所以朝廷在盡捕大魚的同時，也讓他這條不大不小的魚兒得以僥倖逃脫。其他為義康所親近、看重諸人，朝廷一併讓他們隨義康南行豫章。
臨行前，義康自知罪孽深重，也知道授予自己江州刺史不過是朝廷的一種姿態，就識相地辭去了江州刺史一職,朝廷接受了他的請辭。
義康南行的那天，劉義隆帶著沈演之、徐爰等人乘車駕來到秦淮河邊為他送行。
這時義康已經下船，劉義隆的車馬就停在數十步遠的地方，卻並無靠近的意思，劉義隆甚至也沒有下車的打算，只是坐在車中掀起窗帷向水中看著。看到了站在船頭的昔日的司徒，如今就要因有罪被逐出京都，劉義隆想起了十多年前兩兄長少帝義符和廬陵王義真在十六七歲同時被殺，想起了昔日在東府城家人歡聚的場景，他又想起了數日前長公主扔在他面前的破舊衣衫，他默默地流了眼淚。
站在船頭的義康看到了皇上的車駕，就在充滿期待中等待著。但是什麼也沒有生，他看到了皇上的車駕，卻沒有看到皇上的身影。皇上呢？
皇上已經離開了窗口，此時正蹲在車內掩面痛哭。陪侍的近臣，一個個都顯得束手無策。
久之，皇上平靜了下來，這時徐爰才走出車駕，然後示意義康的船隊開船。
來到秦淮河邊，自始至終劉義隆都沒有說一句話。
秦淮河邊停泊著數十百艘船隻，它們滿載著彭城王義康的妻妾子女、隨從以及家中用品、朝廷資奉。在這些船隻之間，還夾雜著朝廷派出的護送的船隻。出的場面是盛大的，然而卻沒有常日送行時依依惜別的深情話語，有的，只是靜穆，只是一張張表情凝重的面孔。
這不同於一般的送往迎來：它既不是一般的新官赴任，也不是一般的任滿之後載譽歸來。
這是大皇弟被廢黜，是一個一人之下萬人之上的要人被逐出京城。
人們不敢聚攏圍觀，只有為數不多的人或呆在船艙裡，或從家中的窗後窺視著這個場面。當然，能看到和不能看到這一場面的人都在關心著這裡，因為這裡連著朝廷。他們都知道，朝廷出事了，朝廷出了大事了，出了大事的朝廷關係著千千萬萬個或遠或近的黎民百姓。他們默念著祈禱著，希望皇室平安國家太平。
近百年來，江左這塊地方不是內亂就是外討，真可謂兵革不休戰亂頻仍：先是王敦弄權以制朝廷，接著蘇峻、桓氏父子又先後作難揮戈犯闕，而孫恩、廬循、徐道覆曾歷時十多年，把江左攪得再無安寧之日，這其間國家又大舉北伐，難得有三兩年不打仗的時候。
如今的皇上，自即位以來，除了元嘉七年北伐之外，十多年來民不外勞，役寬務簡，百姓繁息，奉上供徭，止於歲賦，晨出暮歸，自事而已。
國家無事，乃民之大福啊！可如今……
船隊已經接近入江口。
這時，又有一隊人馬簇擁著某個要人來到秦淮河邊為義康送行。這來人不是別人，正是名僧釋慧琳。
釋慧琳原姓劉氏，少年出家，住建康冶城寺，他為人頗有才華，又精通儒家經典，當年曾深得廬陵王義真的賞識，因此義真曾說自己一旦得志，就以慧琳為西豫州都督。釋慧琳除了注有《孝經》以及風行一時的《莊子?逍遙游》之外，還著有《均善論》。在《均善論》中，他托白學先生和黑學先生之名相駁難，以申述自己的觀點，其論大行於世。舊僧認為他是在貶黜釋氏，欲加以摒棄，但劉義隆看到此文之後卻對他大加讚賞。因與皇上交往密切且深得皇上器重，十多年來，有時候，他甚至能參與朝政決策大事。從某種意義上說，如今的皇上實際上是做了當年其兄廬陵王想做而沒能做到的事。也因此，釋慧琳勢傾一時，門前賓客輻輳：他的門前常常停著數十輛車，四方饋贈不絕於道。有人譏刺他是「黑衣宰相」——和尚穿黑衣。
義康一直視名僧釋慧琳為高僧，他知道慧琳的到來所具有的意義，於是趕忙停了船回到岸邊，親自迎上去，寒暄了幾句後，他就關切地問：
「弟子還有回京的可能嗎？」義康是信佛的，所以對高僧自稱弟子。
慧琳並不接話。沉默良久，他才示意隨從從車上搬出包括《史記》《漢書》在內的數篋典籍，他要把這些書作為分別的禮物贈給義康。
義康一邊看著他們來來往往地搬著書，一邊對慧琳說：
「當年謝述只勸我退，後來劉湛只勸我進。謝述死了，劉湛卻還活著，這是我得罪的原因。」
這時慧琳才對義康說：
「劉湛固然是個原因，但公之所憾，關鍵在於不讀數百卷書！」
不讀史書是個原因？義康聞言默然。愣了一會兒，他才悻悻地離岸上船，然後由入江口駛入大江。