謝靈運是早已不再安坐在秘閣中翻翻故紙堆動動筆墨撰寫《晉書》了，儘管要他寫的《晉書》已經粗立了條目；在伴君拜陵的時候，他就已經是一個侍中了.侍中是一個要臣，但他這個侍中卻不是要臣，他覺得自己只是一個陪侍。皇帝只是喜歡他的「二寶」而已，自己會成為一個弄臣嗎？他再次鬱悶著。
在京口，他看到了劉家掛在土牆上的農具，他想起了自己祖上的豐功偉績；他知道皇上僅僅停留在欣賞讚歎他的「二寶」這一層面上，所以只和他談論詩文不和他談論國事。皇上見了他的應詔詩——那裡也有他的鬱悶，但皇上卻裝做視而不見對他置之不理。這都讓他的心中久久不能平。
從京口回京以後，謝靈運像變了一個人似的。
他不僅不再去撰寫《晉書》，而且輪到他入宮值日，他也不去，甚至連朝會也不參加了。有時候，他驅使著數百個童僕在自家佔地數十畝的花園裡，挖池塘築籬笆，栽竹子植堇花，忙得不亦樂乎；有時候，他又和族侄謝惠連等人一道，帶著童僕出城遊玩，遠至二百多里，十多天不回京。
他聽說江北也有山水佳處，鍾離郡（在今安徽鳳陽一帶）有一山洞，深不可測，奇妙無比，於是他就和謝惠連等人帶著行裝出了。
他們先是雇了一條能容納數十人的大船，渡過長江，然後一路北上，直奔鍾離。到了鍾離，但他們並沒有找到那個傳說中的山洞。正在大家沮喪的時候，謝靈運卻意氣風地說：
「當年王徽之居山陰（在今浙江紹興）時，見雪中景，突然想起隱士戴逵，當即命駕。經過一宿的奔波，天亮時到了戴逵的門前，他卻吩咐隨從掉轉車頭返回山陰。隨從不解，他說：『我本乘興而來，如今興盡而歸，有何不可？』如今也是一樣。何況我等興味未減！不在於是否找到了山洞看到了山洞，而在於離開了侷促的建康，離開了憋人的宮廷！這還不足以令人感到愜意嗎？」
眾人見他有這樣的興致，也都舒心地笑了。
將離開鍾離的時候，謝靈運又想繼續北上，他想去看看久聞其名的聖地泰山，儘管那裡邊臨魏人。但剛走了一天，因為微染小恙，他才不得不南歸。
在外出遊玩期間，謝靈運既不上表稟告，又不按例請假，全然是一個逍遙自在的詩人了。這時候，負責糾察朝廷官員的御史中丞開始履行其職責了：
一份彈劾謝靈運身為朝廷大臣竟然目無綱紀的奏章放在了劉義隆的御案上。
劉義隆不想傷害大臣，尤其是詩人謝靈運，於是他叫來中書舍人秋當，吩咐他去找謝靈運。
在謝靈運回京的次日，中書舍人秋當就去登門拜訪了。他婉轉地轉告了皇上的意旨，希望詩人能主動提出辭呈，這樣面子上也好看些。於是謝靈運上表，陳說自己疾病纏身，請求辭去所任職務。雖然這只是托詞，但這也是君臣都可以接受的。
在接到謝靈運的上表後，劉義隆想想即位數年來對待謝靈運的前前後後，又深深地理解了他的所作所為。他並未免去謝靈運的官職，而是賜假二百日讓他東歸會稽郡始寧（故治在今浙江上虞附近）以了卻其遊樂的心願。
始寧，有謝靈運的父祖置辦的大批田產及豪宅，他的父祖也都安葬在那裡。自晉氏江左以來，那些南渡的中原望族為了避免和當地富家大族在產業上生矛盾，就遠遠地離開京都，到江浙一帶購置產業，也因此，江浙一帶往往有朝廷官員大片的田產和別業（即別墅）。此時，朝廷還依照晉時官員休假制度：朝臣每月休假五日，一年之中有六十日假期，若遇家中有急事，可以合併請假六十日，後來又增至百日；若家住千里之外且道路難行，也可合併請兩年假，合計二百日。劉義隆賜假二百日，當然是對謝靈運開的特例：在他看來，既不免謝的職，且賜其長假，這多多少少也算減了自己心中的一些缺憾。
臨行，謝靈運求見皇上。並未像其他朝臣那樣在求見的表疏呈上後要等上很長一段時間，劉義隆很快就在太極殿接見了他。
問過謝靈運遠遊了些什麼地方見了些什麼奇景之後，劉義隆就問他為何求見。謝靈運聽了，接過話頭：
「在京口北固山，陛下遠眺江北，沉默良久，給臣留下了深刻印象。」
「遠眺？」劉義隆重複了一遍。
「從北固山北望，除了能見江北的一些朦朧之物，並無可讓陛下長久凝神而望者，有的只是……」
「是什麼？」
「陛下所眺望的，是那看不見的地方。」
劉義隆的心中咯登一聲。在這一點上，倒是謝靈運能瞭解自己。是謝常陪侍在左右故能明瞭己心，還是因為謝的悟性高，不只是有詩才而已？
「卿以為是何地呢？」
「是司州，是黃河以南的大片失地。這是陛下所魂牽夢饒的！」司州原治所在洛陽，後來被北魏佔領。
劉義隆無言地看著他。
「五胡亂華，至今已經有一百多年了。中原地區，一直淪沒在魏虜的鐵騎下。先皇聰明神武，哀濟群生，滅了姚泓以後，準備踏平北方，統一天下，使久困之民歸於正化，但最終事與願違，天下之人，只能仰德抱悲。少帝景平初年，先帝陵土未干，魏虜乘喪南犯，侵佔我黃河以南大片土地，有識之士，誰不扼腕！但是景平時當政者徐、傅等人，所任並非其才，大敵當前，卻只顧紛擾京都，無暇顧及先皇托付，終致孤城淪陷，徐、傅等卻不肯救助，致使忠烈之士，囚於荒漠，長河三千，反落寇手！河南之地，一戰淪亡，此國恥宜雪，朝野同心！而河南自落入敵手，百姓備受蹂躪，徵調賦稅，沒有終了；若徵求不得，魏虜則濫殺百姓，河南之民，家破人亡。這也是仁者所切齒痛心的！」
謝靈運說得很激動，劉義隆專注地聽著，在謝稍停時，就問謝：
「對此，卿有何高見呢？」
「愚臣以為，今賊魏拓跋燾又出兵西征夏。頻繁征戰，使魏虜師老於外，國內空虛，此時北伐，機不可失。若失此北伐良機，大宋將與魏相持下去；而魏虜屢經征戰，勢力範圍將擴大，力量將得以增強。等到那時，大宋即使兵多食眾，再想取魏，則非易事。」
劉義隆點頭讚許。謝靈運又接著說：
「歷觀前朝，強國都以兼併弱小者為根本，古今聖賢，無不如此。古人有這樣的話：『既見天殃，又見人災，乃可以謀。』過去曹魏雖強，但平定荊、冀二州，都是乘袁紹、劉表弱小；晉氏雖盛，但開拓吳、蜀之地，也乘葛、6衰落。這都是前世成事，今見於史冊的。當年先帝平定姚泓之時，長驅滑台，席捲下城，魏虜失氣喪魄，指日就盡，天下之人都以為魏虜當隨姚氏而滅。可惜王鎮惡、沈田子、王修諸將相互殘殺，加以長安違律，潼關失守，這樣使魏虜得以延緩歲月，時至今日，十多年了。如今魏虜攻夏，大宋兩取其困，其勢必如卞莊刺虎，一舉兩得！中原百姓期盼皇恩，如饑似渴，翹南望，時日已久。至於今日國家府藏，的確並不豐足，但是凡舉大事，不必坐等國富兵強，貴在天時。現在兵器充滿，兵力粗足，糧食無憂，和先帝時相比，條件更好。群臣中有人認為北伐之舉得不償失，這是不能成立的：中原人口，百萬有餘，田賦之沃，著自《貢》典，澄流引源，桑麻蔽野，強富之實，昭然可知。得中原，國力將大增。為國家長久計，怎能計較一戰之費呢！」
「先帝遠征姚泓，收復長安，但隨即長安不能守；朕若興兵伐河北，河北可守嗎？」
時人所說的河南河北，都是以中原地區的黃河為界：黃河南即河南，黃河北即河北。
「鑒於長安之敗，陛下自然會擔心河北難守。但依臣看來，長安與河北形勢不同：關西百姓雜居，種族不一，加之遠戍之軍，處於新舊交替之際；而河北則不同：河北之民都是漢家舊戶，幾乎無雜人，況且那裡地理形勢連山阻隔，又有三關之險，守軍若游騎長驅，則沙漠風靡；若駐軍守塞，則安如山固！」
「卿以為，伐河北有必勝的把握嗎？」
「晉武帝，不過一中等之主罷了，但恰逢吳後主孫皓暴虐荒亂，天授其福，加之謀臣獻策，武將揚威，故能建功當年，天下一統。而今陛下聰明聖哲，天下歸仁，文德與武功並振，霜威與素風俱舉，加之宰輔賢明，諸王出眾，州郡齊心，虎臣滿朝，而天威遠命，何敵不滅！魏虜拓跋氏，不過是苟延殘喘罷了。臣見識膚淺，願陛下早定大計。臣行將東歸，但心中盼太平之道，期泰山之封。臣早已想和陛下陳說愚見，但擔心所言荒謬，有污聖聽；今蒙陛下賜假，臣將暫離京都，而抱此愚志，如骨鯁在喉，今日得以一吐為快，再無缺憾！」
謝靈運所言，有些是他人所曾說過的，有些是劉義隆所反覆琢磨的，而有些新觀點卻給了劉義隆以很大啟示，這也讓劉義隆對他有了進一步的瞭解。也正因為如此，劉義隆犯難了：去說服眾人，讓謝留下來？若留下來，又讓他做什麼？
等等再說吧。劉義隆沉思良久。
隨後，劉義隆親自把他送出太極殿。
走出宮殿的謝靈運，見皇上並沒有因為自己今天的一席話而流露出什麼挽留的意思，心中一片悵然。