在王華言及「危如累卵」的次日，司徒徐羨之和尚書令傅亮再次上表歸政。他們以殷高宗武丁為其父帝小乙服喪，三年不言，委任宰臣不理政事為例，陳說：「高宗不言，以三齡為斷；宰臣聽政，以兩年為節，……伏願陛下遠存周文之道，近思皇宋之艱，覽萬機，親朝政。今臣重披丹心，冒昧以請。」
他們的意思是，從去年到今年已經兩年了，按照古人的例子，我們該交權了，陛下該親政了。
新帝近來頻頻召人入宮，在這種情況下，徐、傅又一再上表歸政，這讓有些人深感不安。在這些人中，尤其感到不安的，甚至心懷恐懼的，當數徐羨之的侄子吳郡太守徐佩之和在宮中任職的謝晦的弟弟黃門侍郎謝皭。
為什麼他們感到不安，甚至心懷恐懼？因為他們深知徐、傅和謝晦等人做的是一件與眾不同的事：殺了人家的兩個兄長，還要立人家做皇帝，人家又不是幾歲的娃娃，怎麼能沒有想法？人家在江陵哭成那樣，你們這些主事者心裡還沒有數啊？這是其一。另外，那是一個株連的時代，主事者犯了事，往往他的親屬的腦袋也保不住。
就在徐、傅第二次上表歸政的那天晚上，徐佩之和謝皭雙雙乘車來到了傅亮的府第前，然後並肩進入府內拜見傅亮。
屏退閒人，他們就直入話題。
先說話的是謝皭：
「近日宮內行動異常，下官親眼所見。而公等只顧在尚書省審閱文書不關內事，或坐視成敗如若不聞。下官以為，照此下去，公等旦夕之間將……將身禍不測。公威名遠著，天下所服。近日宮內異常，而皇上在江陵所為，公所親見；皇上近日又追還一道被流放的營陽王生母張夫人及王妃、廬陵王生母孫修華及謝妃。皇上種種所為，都是在推翻公等去年所廢之事。事已至此，今若不斷，旦暮禍至，後悔莫及！下官隨公多年，蒙公照顧異常，故今日敢盡言。願公撤回所呈表疏——非但如此，且應作長久計。今日再思，猶未為晚！」
今日再思？傅亮拈鬚不語。
徐佩之更進一步：
「今日再作安排，並非為求富貴、求功名，不過是為了免禍朝夕罷了。王華、到彥之等人雖是皇上龍飛之代臣，然而立足未穩。殿中將帥，猶有公等舊人，公等舊時所領部下，遍佈宮省，皇上左右，都有公等心腹之人。廢營陽之夜，檀征北曾領兵入住領軍府，入宮之後又率兵居前，檀征北威名重，左右將士皆身經百戰，加之謝荊州鎮江陵，居上流之重。……然後，公與阿父在尚書省，自率朝中文武百官依照前朝故事，更選其次以奉社稷。此萬世一時，機不可失！晚生吐良言，公宜詳其禍福！」阿父，指其叔父徐羨之。
傅亮仍不一言。
自晉世末年以來，傅亮就一直追隨著武帝，義熙年間，武帝見他勤勞且家境貧困，就讓他出任東陽太守——做地方官才有油水可撈，這是古代官場上的一條潛規則。兄長傅迪知道後大喜，然後轉告他，但他卻只願追隨武帝而不願外出，武帝時任太尉，於是就任命他為太尉從事中郎，掌管記室。武帝在壽陽，想禪代卻難開口，正是他揣知武帝心意，然後入京征武帝入輔。自北征廣固之後，武帝所有表策文誥，都出自他的手筆。他自覺對武帝及其大業是忠心耿耿的，也正因為如此，他才和徐羨之等五人被封公爵，然後又同受顧命。至於江陵之行，宜都王因二王被殺而泣涕漣漣，從而使得他汗流沾背……謀事在人，成事在天啊！而徐佩之等人……營陽王時，徐公為錄尚書，徐佩之等就常常干預政事。其時謝晦久病，因連續針灸不能見客，徐佩之等就懷疑謝晦以有病為借口心懷異圖，是曹魏之司馬懿——司馬懿當年也是這麼幹的。也是在一個陰雨綿綿的夜晚，徐佩之和侍中程道惠、中書舍人邢安泰等三人同車赴傅府，想讓傅亮作詔書誅謝晦。傅亮就說：「我等三人同受先帝遺命，怎可相互殘殺！諸君若果然行此事，僕當布衣歸田。」徐佩之等這才謀而未。
今日又他和謝皭同來勸我再行大事，將置我於何地？傅亮仍然不置一詞。
徐佩之見傅亮良久不語，催促說：
「公是何意，晚生願聞一二。」
「諸君……」傅亮緩緩地說，「聽諸君所言，僕以兩句話相告：諸君若促我等再行此事，僕將無所作為，只有步出掖門白衣歸田；不過，今日二君言，三人聽，僕當不洩此言。」說畢，他就站起來，似欲送客。
二人相互看了看，怏怏而起。
從「榆木疙瘩」傅亮的府上出來，二人同走了一段路就分手了。謝皭回了家，而不甘就此罷休的徐佩之又來到了台城西側的西州城。西州城在台城的西邊，是揚州刺史辦公的地方，阿父徐羨之就住在西州城內。
當徐佩之把在傅亮府上的遊說之辭及傅亮的回答一一向徐羨之說過以後，躺在臥榻上的徐羨之望著高大的房頂，低沉地說：
「阿父年過花甲，又有何求！」
一向輕薄好利的侄子脫口而出：
「司馬懿臥疾時年已古稀……」
徐羨之一下直起身子，瞪著侄子。東漢末年，魏破孫權，孫權派遣使者請求投降，上表稱臣，勸曹操代漢稱帝。曹操曾說：「此兒欲置我於爐炭之上！」
如今，此兒也欲置我於爐炭之上？
「言不密則殺身！」徐羨之告誡侄子。
勸說不成，徐佩之似已無計可施，臨別，他丟下一句話：
「皇上若真接受了表疏，阿父，……一日不朝，其間容刀！」
望著侄子邁過一道道門檻，走過一重重庭院，徐羨之一聲聲輕輕地念叨著侄子丟下的那句話：「一日不朝，其間容刀。」要是有小人趁機進讒言，那讒言可比刀子還厲害啊！
真會有這麼嚴重？是小子妄言，還是老夫遲鈍？
他在庭院中久久地踱著，反覆地想著自己追隨武帝以及作為顧命大臣的前前後後：
當年桓玄篡位，以桓修為撫軍將軍身份出任徐·兗二州刺史，徐羨之和比自己年長一歲的武帝劉裕同任桓修軍府的中兵參軍，兩人關係深厚。義旗初建，武帝自任領軍將軍，版徐羨之為領軍府司馬兼尚書庫部郎；武帝任太尉，又任命他為太尉咨議參軍，武帝北伐，又任命他為太尉左司馬，負責留守京都事宜，以作劉穆之的副手。
後來武帝準備北伐姚泓，朝議時群臣多諫阻，只有徐羨之默然，有人問他何故不諫阻，他的理由是：「如今二方已經平定，國土拓展萬里，只有小羌未定，劉公為此寢食不安，為何諫阻？」聽了這話，諸人無言以對。及武帝在長安，劉穆之病亡，武帝立即任命徐羨之為吏部尚書、建威將軍兼丹陽尹，以代替劉穆之全權負責留守事宜，並給他甲士二十人做護衛出入宮殿。
武帝代晉即大位後，為嘉獎佐命之功，封徐羨之和王弘、檀道濟、傅亮、謝晦五人為公爵，任命徐羨之為司空、錄尚書事、揚州刺史，可謂任遇隆厚；武帝駕崩前，徐羨之又和檀道濟、傅亮、謝晦同受遺詔輔佐少帝，同屬顧命大臣。遺憾的是少帝失德，不堪承繼大位，徐羨之和傅亮、謝晦從國家大局出商議準備廢黜他。
按兄弟行次，武帝次子廬陵王義真應繼位，但他又輕躁多過失。武帝生前就知道他多才少德，才聽從了謝晦的建議，然後出他為南豫州刺史，鎮守歷陽；將赴歷陽，恰逢國喪，但廬陵王義真卻和謝靈運、顏延之、慧琳和尚毫無哀容地在東府前視察將開赴歷陽的軍隊及隨從，然後就在船內宴飲。廬陵王又嫌所乘平乘船不及其生母孫修儀的華麗，就令下人把孫修儀船上的樓梯剔除下來安裝在自己的平乘船上。他與太子左衛率、詩人謝靈運，員外散騎常侍、詩人顏延之以及慧琳和尚結為密友，過去曾宣言「得意」之日，以顏、謝為宰相，以慧琳和尚為西豫州都督，而謝靈運、顏延之又好非毀朝政，這都是幾位顧命大臣所不能容忍的，於是才出謝靈運為永嘉太守、顏延之為始安太守。義真到了歷陽，多所求索財物，一旦不得滿足就口出怨言，又上表求還京都，不聽僚佐勸阻。
在這種情況下，要想廢黜少帝另立新帝，義真就成了一個障礙，徐羨之與傅亮、謝晦商討後，不得已，這才廢義真為庶人，把他流放到新安郡。後來不得已出下策，殺了他們兄弟二人，這也是為了不給新帝留下後患，就像謝晦說的那樣：東漢時耿弇進攻張步，就是為了不把賊留給君父。試想，如果留下一個廢帝，再留下一個失意且性情毫不馴順的廬陵王義真，那麼，新帝不論是誰，他又怎麼能安坐在太極殿裡呢！這一點，新帝即使現在不能知道，不久的將來，他也一定會明瞭我等苦心。
既廢殺了二王，至於選擇誰來繼位，侍中程道惠力勸立五皇子義恭，實出於其個人私心。……古時人君教子，會說話的時候就令師教之以辭，會走路的時候就使傅授之以禮，而武帝一生南征北戰，無暇嚴於教子，甚至不能常常與諸子相見相處，因此少帝才會失於管教，所交非類：居中所任幾近僕妾，在外所親無非小廝。廬陵王義真雖與謝靈運、顏延之、慧琳和尚交往甚密，但那也是另一種意義上的所交非類。徐羨之與傅亮、謝晦三人最終選定立三皇子宜都王，是因為朝野都認為他少時即出眾，長大雖無師、傅管教之嚴，但天授和敏之姿，自稟人君之德，是武帝七子中的佼佼者。實際上，從某種意義上說，選擇宜都王，並不僅僅是他們三人的意思。傅亮從江陵回來後，說他在晉景、文之上，現在看來，的確如此。
想到這裡，徐羨之再次喟然長歎：
「我等只是為大宋選擇最好的，這才不會辜負武帝的厚望。新帝必能明瞭我等赤心！」
次日，詔令不許歸政。
徐羨之、傅亮又第三次上表歸政，「伏願陛下以宗廟為重，百姓為心，弘大業以嗣先軌，隆聖道以增前烈」，於是劉義隆這才答應他們的歸政請求，從此開始親覽萬機。
徐羨之仍堅持遜位——讓位，退回位於清溪邊的私人宅第。
吳郡太守徐佩之、黃門侍郎謝皭、侍中程道惠、吳興太守王韶之等人既認為不妥，更感到不安，於是諸人輪番求見，力陳利害。不得已，徐羨之才重新回到西州府，奉詔視事。