在謝靈運因為僅能侍奉皇上談賞詩文得不到重用而心懷怨憤，怨憤漸漸形於辭色的時候，擔任著侍中、司徒、揚州刺史、錄尚書的王弘，他的感覺又是如何呢？
這時候，朝中受重用的，除了王弘，只有其弟王曇和侍中、中領軍殷景仁了，——王華已在上個月病故.王華病亡以後，王弘兄弟都感到了位極人臣，任遇過重，懲此前徐、傅等震主之威，他們因此而深感憂慮。
這正是前人所謂「位卑有溝壑之憂，位高有危殆之懼」。
不久，平6縣縣令成粲，一個素不相識的局外人，給當今宰相——司徒、錄尚書王弘寄來了一封勸退信：
「勢之所處，非親不居。因此周之宗盟，異姓為後，朝權之要，任歸二南，此前代之典範，當今之明轍。明公位居宰輔，天下俱瞻，勞苦夙夜，義同吐握；而總錄百揆，兼任京畿，功實盛大，無人能比。然而天道貴謙，宜思損抑。彭城王德才兼備，帝之賢弟，宗本歸源，所應推先，宜入主朝政，輔佐聖皇；竟陵王、衡陽王春秋已長，又宜出據列蕃，齊光魯、衛。明公高枕論道，協理陰陽，則天下和平，災害不興，福慶與大宋升降，享年與松柏長久，名垂萬代，豈不美哉！」
成粲敬告王弘如今功勞巨大，就應該考慮謙退，以便安度晚年——言外之意是什麼當然很清楚了；而陛下之賢弟彭城王德才兼備，應該入主朝政，另外兩位皇弟竟陵王義宣和衡陽王義季年已漸長，也應該出據藩鎮，做國家的拱衛。如果能這樣的話，那麼就會天下太平，災難不生。
小小縣令，卻是一個頗有見識的人，當然，他也是以古為鑒。
接到成粲的來信之後，王弘更加惶恐：身處要地，不僅僅王氏兄弟自感不安，天下之人也因此震懼！
經過一夜的輾轉反側，次日一大早，雖不是朝會的時候，但王弘已恭候在太極殿前。在拜見皇上之後，他先從竟陵王義宣、衡陽王義季兩位皇弟年齡已大應出據列蕃說起，然後又盛讚彭城王義康的道德、才幹，應入京輔佐，最後才說自己年過半百，病魔纏身，心力交瘁，不堪重負。
對他的建議，劉義隆只是說尚須時日，眼下不煩以此為慮；對他的求退的話語，劉義隆只是勸慰一番，並未認真看待此事。
元嘉五年春，大旱。
自古以來，人們一直把天象氣候的變化和人事的吉凶聯繫在一起。像許多朝廷要員一樣，王弘也認為天降災害，是上天對人世權力失據、觸犯上蒼的一種懲罰——所謂「權力失據」就是他們兄弟佔據了原不該佔據的位置。於是，誠惶誠恐的王弘再次上表，引咎退位：「陰陽不調，亢旱成災，秋無嚴霜，冬無積雪，疾厲之氣，彌歷四時」，這都是因為「政有失德，咎徵必顯」，「寇竊非據，謫見於天」。
劉義隆接了表疏之後，王弘又面辭，態度堅決，劉義隆拗不過他，只得稍准其意：降他的侍中、錄尚書為衛將軍、開府儀同三司。但這樣的降職並不能令他滿意，因為這並沒有觸及其痛癢：他仍是一人之下萬人之上的司徒、揚州刺史。
平6縣令成粲的進言，是要皇弟彭城王劉義康回京入輔，勸司徒王弘功成身退。王弘懲徐、傅覆亡之鑒，借亢旱之災上表求退，皇上雖部分恩准，但很有限：彭城王仍在荊州，王弘仍是宰輔。
幾年前，左光祿大夫范泰在徐、傅當政時，因準備上書皇上建議恢復廬陵王爵位而遭到兒子的反對，其事未成。如今，范泰年事已高，但耿介之氣未改。在家人的陪伴下，他不顧高齡，驅車來到王氏府邸。見范光祿來訪，王弘快步恭迎，親扶范光祿輕緩下車。
才落座，一向直言的范泰也不繞什麼彎子，始一言，就直奔主題：
「天下事眾，而權要難居。卿兄弟盛滿，應當深思降抑。彭城王，帝之次弟，應徵還入京，共參朝政。」
范泰的來訪，並無什麼新意，但言簡意賅。也許，重要的是，不在於范泰帶來了什麼，而在於范泰的親自到來。這再一次使王弘不能安坐。王弘再一次上求退表，以為當今旱災之因，是「宰輔之失」，故「上天譴之」，又引經據典，力請陛下使彭城王回京入輔：
「異姓為後，宗周之明義；親不在外，有國之所先。」周王朝是後世的典範：周公、召公輔政。
劉義隆先是堅決不許，以為「王公體道淵虛，明識經遠，使朕安居垂拱」，現在王公固辭，賢相離位，豈不是告示天下朕之不德嗎？後來見王弘求退心切，反覆至於再三，於是不得已，劉義隆這才下詔，「敬從司徒之所請」，然後召彭城王義康回京入輔，參贊機務。
元嘉六年春，彭城王劉義康告別了鎮守三年的江陵，回到京都，代替王弘任司徒、錄尚書，兼平北將軍、南徐州刺史，與王弘共輔朝政；王弘復任侍中，兼揚州刺史。
彭城王回京以後，接替他的又是誰呢？
按照先帝遺言，荊州是國家根本，不可使外姓居之。這樣，繼任的，依兄弟行次，就該是皇上的五弟、年僅十七歲的江夏王義恭了。江夏王自幼受先帝寵愛異常，他雖也涉獵文史，但那養成的驕奢之性，對一個鎮守國家重鎮的主帥來說……這讓劉義隆頗費躊躇。