在隨皇上歸京口的文武百官中，謝靈運也是其中之一.
此前，謝靈運在秘書監的位置上快有一年的時光了。他先是奉皇上的旨意整理皇家圖書，以補足秘閣裡圖書的遺缺；其後又因有晉一代還沒有一部令人滿意的史書，劉義隆就下詔令讓他著手撰寫《晉書》。為了撰寫好這部史書，在一段時間裡，謝靈運埋於那些記載有關晉代歷史的典籍之中，通宵達旦，廢寢忘食。這些典籍，大都是西晉的歷史，有的只是一些片段，其中有王隱的《晉書》、虞預的《晉書》、6機的《晉記》、干寶的《晉記》、習鑿齒的《漢晉陽秋》、郭頒的《魏晉世語》、傅暢的《晉諸公贊》、習鑿齒的《襄陽耆舊記》、傅暢的《晉公卿禮秩故事》以及《晉泰元起居注》，等等。
在看到數十年前先輩們的輝煌業績時，謝靈運在仰慕、讚歎之餘，往往廢卷感慨：陳郡陽夏謝氏中的翹楚人物，如謝安、謝奕、謝萬、謝石以及謝琰、謝朗、謝混，曾相繼共宴處，居住在烏衣巷，世稱「烏衣之遊」，那真可謂風流一時。
尤其是在淝水之戰中，謝家創下的業績是多麼輝煌：謝安是坐鎮朝廷的總指揮，謝石（謝安弟）是征討大都督，祖父謝玄是前鋒都督，他們僅憑八萬兵——其中主要是北府兵，就打得號稱百萬兵的前秦苻堅軍隊丟盔棄甲，「風聲鶴唳，草木皆兵」，苻堅軍隊投水死者不可勝計，淝水為之不流，謝氏一門因此得封三公。
祖輩的韜略雅量及赫赫戰功，使得原本顯得黯淡的有晉一代的歷史輝煌了許多，也使得胸懷大志的謝靈運再也不能執筆安坐在秘閣中了。
謝家與王家，曾是支撐司馬晉王朝的兩大支柱；而在那場決定晉氏命運的淝水之戰中，統帥部的主要人物都是謝家的。少了王、謝的家族史，有晉一代似乎無史可寫。
此一時也，彼一時也。王、謝後人今何在？王氏如今仍執掌著大權：王弘任司徒、揚州刺史，那是一人之下，萬人之上的位置；其弟王曇任侍中，是皇上的心腹之人；王華任侍中，兼護軍將軍，也是帝之代臣。而謝家呢？曾經顯赫一時的謝晦竟會落到那樣一步田地！謝弘微在皇上被封為宜都王時，曾擔任宜都王文學，皇上即位後，現任尚書吏部郎，雖和王華、王曇、殷景仁、劉湛等號為「五臣」，但他居身清約，恬退隱忍，並無什麼作為。
自己呢，襲封了祖父康樂公的爵位，劉宋代晉稱帝以後，依舊例降公爵為縣侯，如今自己的職位雖和侍中一樣同為三品，但朝廷大事無由得問，像自己這樣的出身和才華，怎麼能長久埋於浩如煙海的故紙堆中呢！他想起了漢高祖劉邦被西楚霸王項羽封為漢王之後曾說過的話：「安能鬱鬱久居此乎！」——蕭何舉薦韓信時問劉邦，若只想呆在漢中，不必重用韓信；若要和項羽爭天下，沒有人能取代韓信。劉邦曾這麼回答。
而今之皇上……成了帝之心腹的王氏兄弟，整日侍立於帝之左右如影隨形，他人若想親近皇上近於空手攀天。而王弘又是何人！晉時，武帝劉裕初建宋國，謝靈運曾擔任世子左衛率，因軍人桂興**他的愛妾，謝靈運大怒，在江岸僻靜處誘殺了桂興，然後棄屍於江中。王弘彈奏謝靈運「殺興江邊，棄屍洪流。事京都，聲播遐邇。宜加重劾，肅正朝風」；其後又彈奏他「過蒙恩獎，頻得榮授，聞禮知禁，為日已久，而不能防閒閨房，致茲醜聞，不顧憲軌，忿殺自由。此而勿治，典刑將廢。請以此事免靈運所居官，削其爵土，收付廷尉治罪」。謝靈運因此被免官。
事雖過去數年，但他一直耿耿於懷。王弘兄弟今借近水樓台之勢，大權在握；殷景仁、王華等人，名望與地位一直不如自己，如今卻後來居上，這怎能不讓人心中恨恨！而蜷縮在這幾乎與世隔絕的秘閣之中，這又豈是先輩的「東山之志」！
在安靜的秘閣裡，謝靈運時常低著頭來回踱著。那迴盪著的腳步聲，傳遞著他心中的躁動不安。久之，他的腳步聲漸漸消失。他平靜下來。走到案邊，他坐下來靜思良久，然後推開那一大堆用以參考的晉史，重又攤開一紙，提筆寫下了一詩，以追述祖父謝玄在晉氏危難關頭曾建立的功德：
中原昔喪亂，喪亂豈解巳。崩騰永嘉末，逼迫太元始。
河外無反正，江介有蹙圮。萬邦鹹震懾，橫流賴君子。
拯溺由道情，龕暴資神理。秦趙欣來蘇，燕魏遲文軌。
賢相謝世運，遠圖因事止。高揖七州外，拂衣五湖裡。
隨山疏浚潭，傍巖藝枌梓。遺情捨塵物，貞觀丘壑美。
在拜謁京陵前夕，劉義隆好像覺察到了謝靈運的鬱悶，又好像是為使身邊有一個詩人能助其雅興——作為皇上的劉義隆也是頗愛詩文的，就特意任命謝靈運為侍中伴己前行。
但在京口這一個月中，就像在宮中時一樣，商議治國之大事的，仍然是王華、王曇、殷景仁等人，而在宴筵和觀賞時，離帝最近的，則是謝靈運和顏延之。他們也是朝臣，但在皇上眼中，他們似乎先是詩人。
在陪侍皇上的這一個月裡，有兩點給謝靈運留下了深刻的印象，這兩點都是在陪侍皇上登上那三面臨江、高數十丈的北固山（在今江蘇鎮江市北）時留下的：一是皇上登山後佇立山頂向江北眺望時的目光和神情，一是他自己奉詔寫下的侍游詩《從游京口北固應詔》。在詩中，他先以「玉璽戒誠信，黃屋示崇高。昔聞汾水游，今見塵外鑣」來讚頌皇上遊覽的盛況，中間部分用華麗的辭藻描繪了登北固山所見美景：「遠巖映蘭薄，白日麗江皋。原隰荑綠柳，墟囿散紅桃。」在詩的結尾處，詩人卻以「顧己枉維縶」、「終以反林巢」、「曾是縈舊想」等句子抒自己因不得志而想歸隱山林的意願。
像往常一樣，謝靈運總是在詩寫好之後，再恭恭敬敬地把詩抄寫好，然後呈給皇上。劉義隆拿到謝詩，也像往常一樣，先稱讚其好書法，再對其詩作本身讚不絕口：
「好詩好詩，顏延年所不及。二百年來，我朝謝康樂，當推第一！」顏延之，字延年。
劉義隆每在欣賞謝詩之餘，也會模仿他的詩作寫上幾句。只是在模仿之後，他會邊吟詠著自己的詩作，邊自歎不如。謝詩寫的好，即使是應詔詩，其中也不乏優美的山水佳句。他一邊看著，一邊高聲吟誦著詩中的佳句：「遠巖映蘭薄，白日麗江皋。原隰荑綠柳，墟囿散紅桃。」詩末「顧己枉維縶」「終以反林巢」幾句，讓劉義隆沉默不言。
謝之為人，性情疏放，前朝時殺兵士於江邊，遭王弘彈劾；景平時，又放浪不羈。他雖有謝太傅游弋山水吟詠詩文的雅趣，甚至大過之，雖也有謝太傅的東山之志，但其經略之才……尤其是其為人……謝名望高，只可拿高位來羈縻他，讓他呆在朝廷裡；若要重用他，縱使自己有這個意想，王弘、王華諸大臣可能也不會從命。但謝的性情，能羈縻得住他嗎？
面對「二寶」——劉義隆一直稱謝的詩及其書法為二寶，劉義隆陷入沉思之中。