並不是所有的朝臣都會有得意的感覺.
自從皇上賜假讓謝靈運東歸會稽養病以來——謝靈運原也沒病，他就夜以繼日地宴集賓朋遊玩娛樂，藉以排解心中的鬱悶。他與賓朋以文章賞會，共為山澤之遊，參與其中的就有他的「四友」：東海人何長瑜、穎川人荀雍、泰山人羊璇之和他的族弟謝惠連。他在東部種種出格的行為，又被御史中丞所奏，御史中丞認為他所作所為缺乏朝廷大臣的風範。劉義隆看著奏折，不得已，免了他的官職。免官後的謝靈運不但沒有收斂，反而覺得無官一身輕，就在會稽一帶恣意遊玩。
因為繼承了父祖所留傳下來的十分豐厚的家業，謝靈運家中的奴僕傭工有數千人，門生故舊也有數百，於是他就在會稽開山挖湖，勞役不止。雖然謝惠連等人後來回京做官去了，但隱士王弘之以及追隨他的何長瑜等人仍是他極合宜的遊玩唱和的夥伴。謝靈運在他們的伴隨下，常常帶著數十百人爬山涉嶺，把東部方圓數百里的奇山異水都一一遊遍；他們所行走的路途又必定選擇奇徑險道，不論山回路轉，層嶂千重，不能到達不肯罷休。
為了爬山，謝靈運還揮了他的聰明才智，繼十年前在永嘉太守任上明瞭曲柄笠之後，他又明瞭一種便於爬山的木屐：在它的前後安裝上齒兒，上山時取下它的前齒，下山時則取下它的後齒。這種被時人稱作謝公屐的木屐，讓人在上山下山時倍感輕鬆便捷。
游罷始寧（今浙江上虞），謝靈運又率領他的門生故舊十多人從始寧南山出直趨臨海（轄今浙江臨海、天台、麗水等縣），使他的家中童僕數百人隨後，遇到山路難行他就讓數百童僕伐木開道。
他在山中如此興師動眾，不久就驚動了當地官府。臨海太守王秀聽屬下稟報說山中有千百人砍山開道不知何為，極為驚恐，他那根敏感的神經讓他馬上想起二十多年前也是從東部起事的造反頭目孫恩和盧循；他以為山賊臨郡，急忙兵自衛。後來待細細打聽，知道是貴人謝靈運，他才知道是虛驚一場。
待王秀見了謝靈運，謝靈運只稍作問候，並不行禮，並邀請他一道遊玩——謝靈運雖是被免了官的朝廷大臣，但瘦死的駱駝比馬大，他畢竟不是普通的吏民，所以也就不太把被吏民視作「府君」「邦君」的太守大人當作回事。那王秀也不太計較，天下何人不識謝康樂啊？但他既無遊玩的雅興，也無謝靈運這樣的膽子，只能謝絕。
臨別，謝靈運作詩贈王秀，其中寫道：「邦君難地險，旅客易山行。」「邦君」指王秀，謝靈運以「旅客」自稱。詩中的一「難」一「易」，盡寫出他以遊玩山水為樂不關俗務的得意之情。
從臨海到會稽（治所在今浙江紹興），謝靈運的山澤之遊方興未艾，但這時的會稽太守再不是他當年從永嘉回始寧時的那位太守了，那時的太守是他的本家叔父謝方明——謝惠連的父親。如今的太守甚至也不是臨海那位不和他計較的太守王秀了。現任會稽太守是一位精誠信佛的人，他的名字叫孟顗。
謝靈運也不管如今的府君是哪一位，依然遨遊如故。在他看來，雖說自己只是一個白衣詩人，但畢竟曾是一位皇帝身邊的三品大員，「瘦死的駱駝比馬大」！即使不論這一點，單憑他陳郡謝氏百年來的豐功偉績、名士風流，單憑他馳名天下的「謝康樂」幾個字，他是無論如何——即使強打起精神來——也無法把孟某這樣一個官階五品的「俗吏」放在眼裡的。已經知曉了孟顗虔誠信佛，這也不能改變了謝靈運對他的看法。
當年謝玄因子孫難得——兒子謝瑍生來就是個弱智，孫子謝靈運年幼時卻聰明異常，謝玄當然不清楚還有隔代遺傳一說，就曾感慨說：「我這樣的人竟然只生了個這樣的兒子，而這樣的兒子竟然會生了個少見的天才！」因此就對他寄予厚望，於是送他到錢塘人杜明師處寄養，並為他取名叫「客兒」。
這杜明師是何許人也？杜明師，名昺，「明師」是他的道徒弟子為他所上的謚號。杜昺在晉宋之際甚至在整個南朝時期，都是一位家喻戶曉且有相當影響的明星人物。相傳他「通靈有道術」，因此晉時的一些政治、軍事方面的重要人物，如賢相謝安謝太傅和車騎將軍謝玄叔侄，以及大司馬桓溫、右軍將軍王羲之等人，每遇生老病死一類大事，就要問之於杜明師，甚至有關國家禍福、戰爭成敗這樣的大事，他們也卜之於杜明師。他們將杜明師奉若神明。
就連那個以討伐王恭為名起兵，被司馬道子誘殺的天師道領孫泰，也是杜昺的弟子——孫泰被殺，他的侄子孫恩逃到海上，後來率軍進攻浙東，繼而和盧循等人把晉氏天下攪成一團亂麻。
謝靈運幼小的心靈正是受到了道術高明的仙風道霧的熏染，這也對他日後的性情多少產生了影響。杜明師去世後，謝靈運「十五方還都」。回京都以後，謝靈運開始信奉佛法。當時南方佛界的領袖人物、廬山名僧慧遠不僅精通佛理，而且精通玄學，並擅長儒學，尤其擅長《三禮》《毛詩》，天下僧徒對他「聞風而悅，四海同歸」——這八字正是謝靈運後來在《廬山慧遠法師誄》中對他的評價。謝靈運對他仰慕極了，希望投身到他的門下，皈依佛法。
十八歲那年，謝靈運就去廬山參加慧遠等人立誓往生淨土的盛會。後來貶謫永嘉期間，他除了寫有諸如「池塘生春草，園柳變鳴禽」「野曠沙岸淨，天高秋月明」等吟詠山水的佳句外，還寫了諸如「清霄颺浮煙，空林響法鼓」「禪室棲空觀，講宇析妙理」等詠唱佛理的詩句。他寫過一篇《辨宗論》，曾引起沙門和社會的廣泛注意：他提倡「頓悟」，在佛法面前人人平等，人們可以頓悟佛法立地成佛。只是他始終熱中功名，沒能看破紅塵。
正是因為有了這樣的經歷和「成就」，所以當孟顗和謝靈運談起佛法時，謝靈運才毫不客氣地對這位年長於他的府君說：
「得道應須靈性。丈人升天當在靈運前，成佛必在靈運後！」丈人，是時人對長者的尊稱。
我死在你前，成佛在你後？聽了這表示輕蔑的話，孟顗暗地裡咬牙切齒。
謝靈運父祖都安葬在始寧，家中的產業大都也在始寧。等到把祖上的余資產業從始寧移到會稽以後，謝靈運在山澤之遊的同時，也一直在不斷地拓展產業。他看到會稽城東有一個回踵湖可以利用，就上表皇上想得到它放了水改作農田，皇上答表令會稽郡履行此事。
回踵湖離城近，水產豐富，周圍百姓賴此以為生計，孟顗以此為由堅決不給他回踵湖。謝靈運無法，只得求其次，想得到始寧縣的岯崲湖，孟顗再次拒絕了他的要求。謝靈運認為孟顗並非為了百姓著想，只不過是因為他自己信佛不願殺生，害怕放了湖水多殺生壞了他的功德，於是就不分場合口出惡言詆毀孟顗，從此兩人結怨深固。
元嘉八年夏天，謝靈運和隱士王弘之等人又在會稽千秋亭縱情豪飲，豪飲之餘眾人又裸身大叫。轄境內竟有如此不堪之事，孟顗得知後深感難堪，就派隨從責問諸人何故聚眾裸身大叫。謝靈運見了來人，不但不加收斂，反而倚酒三分醉，破口大罵：
「我等飲酒得意，何關傻鳥屁事！」
孟顗聞言大怒：
「謝客兒如此目中無人，莫怪老夫手下無情！」
在忍無可忍的情況下，孟顗以謝靈運在郡中橫恣輕法驚擾百姓為由，兵自防，同時上奏朝廷稱謝靈運在郡違法有謀反的企圖。
謀反？這可是要殺頭的啊！自古以來，任何一個王朝，它或許可以寬容諸如貪污腐化這一類惡行，但一提到謀反，就沒有不作出果決的反應的。從某種意義上說，會稽是個敏感的地方：當年孫恩在海上起事，登岸後先攻破會稽，殺死會稽內史王凝之，這王凝之還是祖父謝玄的姐夫呢！後來孫恩佔領東部八郡，人數展到了數十萬。如今孟顗以此為言，分明是想把自己和孫恩放在一起讓人聯想，其險惡用心可想而知。
謝靈運既知自己惹了大禍，為了避免讓孟顗置己於死地，他匆匆告別了王弘之等人，甚至等不及天亮，就帶著僕從星夜上路，直奔都城建康而去。
到了建康，他叩闕上表：
「臣自抱疾東歸，至今三載，居處山林，安分守命，以期終了餘年。忽於上月二十八日得會稽太守臣顗二十七日疏云：『近日異端之徒言論紛紛，百姓蠢蠢欲動，今郡縣兵以自防。』臣見此驚駭，不知所由，便星夜奔馳，歸骨陛下；行至山陰縣，臣見防衛嚴備，彭排馬槍，斷截街巷，巡偵相繼，戈甲滿道。不知微臣罪為何事。臣往昔忝居近侍，蒙受聖恩，若臣罪跡昭彰，文字有證，不只甘受刑戮，陳屍示眾，普天之下，自無容身之地。今顗虛擬罪證，何酷如之！觀自古誣謗，聖賢不免，然致謗之來，皆有緣由：或輕死重氣，結黨聚群，或勇冠鄉里，劍客馳逐。未聞詩禮之學，欲為叛逆之罪；山居之士，而遭犯上之禍。今影跡無蹤，假謗空設，古來之酷，聞所未聞。臣非自惜餘生，實悲其痛。誠復自省無過，而冤屈莫申；因而拖曳病軀，束骸歸誠。仰憑陛下天鑒俯照，則臣死之日，猶生之年。臣連日憂懼，疾病作，神思恍惚，不知所陳。」
劉義隆見了他的上表，立即召見了他。這次見了謝靈運，讓劉義隆想起了登基後第一次見他的情形。現在是不見了他的曲柄笠，也不見了他的倨傲。見過了孟顗的奏章，又見了謝靈運的誠惶誠恐，劉義隆知道孟顗的會稽郡是再容不了詩人謝康樂的了；至於說謀反，那更是不可能的，謝靈運不過是一介詩人而已，詩人怎能造反？這就像他說的那樣，「未聞詩禮之學，欲為叛逆之罪」。他又想起謝離京前的勸伐河北，現在北伐已經結束，此中種種，真是難以一言蔽之。
劉義隆是愛才的，這時他覺得謝的東歸，尤其是後來又遭彈劾，多少讓他受了委屈；而如今又受了孟顗一氣，多多少少也是自己的處置不當造成的。
為了彌補這些缺憾，劉義隆叫來了殷景仁；當得知臨川內史任缺之後，他當即任命謝靈運為臨川內史。
臨川郡（治所在今江西撫州市西）是臨川王劉義慶的封國，依晉宋的國制，王國不設太守，只設內史，由內史掌管郡內一切事務。謝靈運任臨川內史，行使的是一個太守的職權。
對這樣一個張狂的貴族詩人，皇帝還不算虧待他。