就在西蜀亂成一團麻的時候，新任臨川內史的詩人謝靈運又不甘寂寞了.
按理說，在會稽因得罪郡守孟顗而惹了大禍之後，謝靈運星夜馳往京都，那時可謂誠惶誠恐，他也該接受這一次有性命之憂的教訓，可是不。皇上雖顧惜他的謝氏風流和舊時情面任他個臨川內史，但在他看來，這些年自太子左衛率到永嘉太守，由永嘉太守到回京任秘書監、侍中，其後就是托疾東歸，就是被彈劾，就是由會稽輾轉來到臨川！這其中有徐、傅的排擠打壓，有御史中丞的彈劾，更有小人孟顗的詆毀陷害，這都在他的胸中鬱積成一口口惡氣，而這一口口惡氣有時真是讓他實在難以下嚥。現在到了臨川，是臨川需要自己，還是自己需要臨川？是自己愧對了別人，還是別人愧對了自己？自己原本一個朝中三品大員，如何落到了這步田地？心中這一股股不平之氣，再次讓他難以靜坐在郡府的齋中。
這樣，官府的大事小事，他都一概不問，他和他的那一幫詩朋文友又去優遊山水去了，從永城到南豐，從宜黃到安浦，遊遍了臨川的山水，有時甚至游到了旁郡，和當年在永嘉時沒有兩樣，和不久前在會稽時也沒有兩樣。
郡國的太守和內史是朝廷五品的命官，而身為朝廷命官卻置所管事務於不顧，只是一味地放縱自己優遊山水，這實在有虧皇化，於是御史中丞再一次履行自己的職責了。
也許是由於不愛詩書的司徒生來就不喜歡什麼詩人的名士風流，也許是出身寒門的彭城王要在自家的田地裡殺一殺那些豪門的傲氣，執政的司徒彭城王劉義康在全權處理此事時，也不顧皇上的憐惜和寬容，竟然派使者隨同江州從事鄭望生在山中抓捕謝靈運。
皇上的憐惜和寬容為何也救不了這樣一個詩人？因為這時的劉道濟正被圍在成都城內，而彭城王的理由是：西蜀已亂到這種地步，江州再不能出一個趙廣、程道養——詩人固然不會成為趙廣，但詩人可能成為被人利用的程道養，更何況，謝的名望要比那個不知名的和尚大到上萬倍！
西蜀實在是讓劉義隆頭痛了很久，司徒義康的理由又實在是讓人不能不服；劉義隆在面見彭城王時，聽他以此為辭，也只得同意出此下策——誰讓謝靈運頻頻添亂呢！讓他嘗點苦頭也未必不是好事。
那謝靈運在山中正遊玩在興頭上，見來人帶著旨意要抓捕自己，使得自己能飲盡杯中酒，不能續完口中詩，一時惡氣上湧，怒不可遏，不但不受命，反而下令家中童僕和隨從士兵把江州從事鄭望生給拘禁起來。這也許是受了西蜀趙廣的影響——趙廣那樣一個無名小輩竟使得天下聞名，也許是胸中鬱積過多的惡氣再也沒有存放的地方，作為詩人的謝康樂真的動起手來，這是在謝晦之後，以名士風流著稱的陳郡謝氏中又一個要和朝廷較勁的狂人，差別在於謝晦手中拿的是長矛，而謝靈運手中拿的只是一支寫詩的筆。
謝靈運在率領郡中那幾個有限的兵士揮戈叛逃的同時，為了宣洩心中的惡氣，他再一次以詩言志：
韓亡子房奮，秦帝魯連恥。
本自江海人，忠義感君子。
他在詩中以子房、魯連自比。子房，就是漢世名臣張良。張良的先人是戰國時韓國人，父祖五為韓王相，秦滅了韓，張良為報亡國仇，弟死不葬，用家中資財尋求刺客，後來終於找到一個能使用一百二十斤大鐵椎的力士。聽說秦始皇開始東巡，張良和刺客在博浪沙（在今河南原陽縣）伏擊他，但誤中他的副車，刺殺未果。魯連，即戰國時齊國的魯仲連。趙孝成王的時候，秦軍包圍了韓國的上黨，上黨投降了趙國，秦又出兵進攻趙國，並在長平大敗趙軍，坑殺趙**隊四十萬人，隨即進圍邯鄲，趙國形勢危急。在這種形勢下，趙、魏兩國的君臣有意尊秦為帝，魯仲連極力勸阻，誓不以秦為帝。
在謝靈運看來，自己的先人們，尤其是在保衛國家的肥水之戰中立有大功的祖父謝玄等人，都是晉世名臣，自己也是在晉世襲封康樂公爵位的；而劉氏代晉建宋，別的姑且不論，單就自己從公爵被降為侯爵這一點來說——雖說那不過是改朝換代時依舊例行事，難道不多多少少讓人品嚐到了一些亡國的滋味了嗎？那鬱積胸中的，怎能沒有「魯連恥」和「子房奮」呢？
但是謝靈運的所謂「造反」，既無益州官逼民反的環境，其自身也無趙廣等人善於煽動民情的計謀，或者換句話說，他的本心並沒有像趙廣等人那樣真心要拿刀拿槍和官府對著干；他的所謂「造反」，不過是一個失意的貴族，或者說是一介滿腹牢騷和怨氣的詩人的一時性起。因此，官府在捉拿這樣一個一無裝備二無規模的謀反頭目時，不過就像捕捉一隻從欄圈裡跑出去的羔羊似的，幾乎沒費什麼力氣。
接下來的日子，那個幾十年來一直心高氣傲藐視眾生的康樂侯謝靈運，只能蓬頭垢面地坐在檻車裡，伴隨著吱吱啞啞的車軸聲，緩行在通往京都廷尉的泥濘的路途上。一路上，免不了農人的好奇觀望，行人的指指點點，以及驛站商旅的圍觀歎息。
到了京都，謝靈運就直接被投入廷尉；隨後廷尉奏謝靈運率眾造反，罪當斬。
劉義隆接了奏折後想著他的詩、書「二寶」，愛惜他的才情，又想起他前後所受的怨情和委屈，腦中只有「詩人造反」這幾個字，於是只想免了他的官職、關他幾天煞煞他的傲氣讓他好好反省反省便罷。但這時在朝中有著舉足輕重地位的司徒彭城王劉義康卻對此不依不饒了。他特意從東府城趕了來，就是要確定此事的。他見皇上有意寬恕謝靈運，一向不愛詩文的他偏偏拿出了謝靈運在臨川所寫的反詩。
任何人的寬容都是有限度的。
劉義隆看了那短詩，沉默著，再不稱「寶」，只是輕輕地念叨著「子房奮」、「魯連恥」，這不是在對抗取代晉氏的劉宋王朝嗎？他的腦中又掠過幾年前那個不願在詩抄上寫上劉宋年號的陶淵明。這是詩人的脾性，還是代表了那些對亡晉仍然懷有心結的失意者的心願？
站在一旁的彭城王於是再加一把火：
「詩人造反不可怕。如今益州雖然漸趨平定，賊程道養、趙廣等人仍然逃亡在山中。前日益州來報，趙廣部將張尋又攻破了陰平（治所在今四川江油東北），且與程道養再度聚合；帛氐奴又圍攻廣漢，西蜀並未徹底平定，而謝靈運又在江州興風作浪。謝自身不可怕，但若有人以此為名藉機生事……殺一詩人，於國何損！」
這才隔了幾天，謝詩人又添麻煩，劉義隆猶豫著。
此前，出任荊州刺史的臨川王劉義慶因愛好文史，撰寫過《徐州先賢傳》十卷奏獻皇上；也因此，劉義隆每給他寫書信，都要刻意斟酌一番。臨川王又愛好招聚文學之士，不論遠近，只要才力稍可，他都要引為自己州府的僚佐，這其中有憑文辭聞名天下的吳郡人6展、東海人何長瑜和鮑照等人。也是依憑了這些文士的見多識廣，臨川王劉義慶在閒暇時寫就了著名的軼事小說《世說新語》。
那何長瑜原是伴謝靈運作山澤之遊的，後來謝得罪了府君大人離開了會稽，何長瑜等人也只得紛紛作鳥獸散。臨川王既招募文才之士，他就欣然西來，臨川王也不吝惜職位，就任命他為平西記室參軍——臨川王時任平西將軍。也許是伴隨謝的東遊沾染了謝的習氣，何長瑜說起話來往往也是口無遮攔。在江陵，他給宗室兄弟何勖寫信，信中用詩譏諷臨川王州府的僚佐。其中譏諷6展染白討好小妾的詩寫道：
6展染鬢，欲以媚側室。
青青不解久，星星行復出。
這樣的句子還有一些，它們就此流傳開來，而京都的那些輕薄少年就此又演而廣之，凡是那一類人士，他們都就其身上的某一特點，用辛辣的言辭加以諷刺挖苦。這樣的詩句就像當年謝靈運從永嘉傳來的山水詩句，很快就傳遍了京都及周邊地區，不久也傳到了劉義慶的耳中。打狗還看主子呢！義慶看了詩大怒，於是稟告皇上貶謫何長瑜到荒原的嶺南，任廣州所統的曾城縣令——在奏疏中，義慶也遷怒謝靈運屢屢對上司不敬，因而才會有何長瑜這樣的詩友。
何長瑜的事情剛過去不久，如今面對司徒的堅執，劉義隆只得折中行事，於是下詔：
「靈運罪釁纍纍，誠宜伏法，而謝玄功勳卓越，宜寬宥及於後嗣。可降靈運死罪一等，流放廣州。」
這樣，狂傲不可一世的貴族詩人只能帶著他的謝氏風流，被放逐到那荒遠的嶺南去了——依照法律，他的子孫也必須隨行。
但是，詩人的故事並沒有到此就完。