殷景仁等人離宮以後，劉義隆閒坐，問近侍徐爰：
「卿以為今世當用何種人才？王敬弘有虛名，但似乎無益於朕治理國家，朕將如何對待此事呢？自近代以來，下品無世族，上品無寒門，高卑出身，已有常分，卿意以為如何？」
侍坐的徐爰原名徐瑗，因犯了要臣傅亮的父親傅瑗的名諱，不得已改名為徐爰.他出身寒門，後來在軍中因長於文辭而受先帝賞識，劉義符為太子時，他入侍東宮。劉義隆即位後，他深受親任，升任中書舍人，在皇帝身邊負責掌管呈奏案章。現在聽了皇上一連串問，他深有感觸，但他一時又不知從何答起。這幾問，不過是有關出身與賢才的，於是他反問一句：
「自上古以來，設置文武百官，陛下認為是為了安置富貴膏粱兒，還是為了輔君治國呢？」
「那當然是為了輔君治國了。」
「若是為了輔君治國，那麼陛下即大位以來，為何仍如前朝那樣看重門第，不出選拔賢才的詔令呢？」
「若有特殊的人才，不擔心不知道他；出身名門世家的，即使他沒有當世之用，只要德行純正，朕也用他——前人治國都是這麼做的。」
「以此而論，傅巖、呂望等大賢之人，又怎可憑門望被推舉呢？」
傅巖，即傅說，相傳殷高宗在夢中得到賢人傅說，於是派人到民間去尋找，最終在傅巖（也稱「傅險」）那個地方找到了他，那時傅巖只是一個正在做版築苦力的奴隸，後來他成為輔佐殷高宗的賢人。呂望，即呂尚，呂尚年老時過著以魚釣為生的隱居生活，周文王出獵，在渭水邊和他相遇，和他交談後十分高興，說：「我太公望子久矣！」於是和他同載而歸，後來呂尚輔佐武王滅了殷王朝。因此後世也稱之為呂望；又因呂尚姓姜，俗又稱其為姜太公——「太公釣魚，願者上鉤」說的就是他。
「像他們這樣的人，數十百年難見其一，前朝葛洪說過：『高勳之臣，曠代而一』。」不是嗎？像傅、呂這樣的賢才，多少代才能有一個。
「陛下若專以門第取人，那麼，魯之三卿，何如孔門四科？」
三卿，指魯國貴族「三桓」，即魯桓公的後代季孫、叔孫和孟孫，他們分別擔任魯國的司徒、司馬和司空，分領三軍，文公死後，他們實際掌握了魯國的政權；而孔門四科，指孔門德行、言語、政事和文學四科，它們是孔子教授門徒的四種學術科目，其翹楚人物是顏回、子貢、冉有和子游等人。
「還是那句話：高勳之臣，曠代而一。」
「良劍在於鋒利，不在於是否叫做莫邪；良馬在於能日行千里，不在於是否叫做驥驁。門望是什麼？門望是他們父祖的遺業，而父祖的遺業，又何益於皇家？有益於皇家的，是賢才。如果他有才，即使是屠宰垂釣奴吏等賤民，古之聖皇重用他們而不以此為恥；如果他無才，即使是禹湯、文王的後人，他也只能是個皂隸。因此，大才授大官，小才授小官，各得其所，這才會有和樂昇平的盛世。近百年來，人們都說今世無奇才，不如取於名門，這是錯的。怎能因世無周公、召公，就廢棄宰相之位而不安排呢？陛下應當檢校人才的寸長銖重，依次錄用，這樣，賢才就不會流失了。」
莫邪，相傳春秋時吳王闔閭使干將鑄劍，鐵汁不下，其妻莫邪自投爐中，鐵汁才出來，這才鑄成雌雄二劍：雄劍名干將，雌劍名莫邪；也有人說，莫邪是吳國大夫，曾鑄成寶劍，因以為名。驥驁，指千里馬。
周公，姓姬名旦，是周文王的兒子，周武王的弟弟，周成王的叔父；他輔佐武王滅了商，武王駕崩，成王年幼，周公攝政，接著東平武庚、管叔、蔡叔的叛亂，繼而制定法令制度，再次建造洛邑為東都，作為統治中原的中心；周公成為聖賢的典範，也成為了宰臣的統稱。召公奭，姓姬名奭（召音紹，奭音市），也是周文王的兒子，武王的弟弟。他的采邑在召（今陜西歧山西南），他曾輔助周武王滅商，周成王時，他出任太保，與周公旦分陜而治，陜以西的地方歸他管理。他支持周公旦攝政當國，並平定叛亂。召公把他的轄區搞得政通人和，貴族和平民都各得其所，因此深受愛戴。傳說他曾捨於甘棠樹下，後人為了紀念他，捨不得砍伐此樹。後世因以「召棠」作為頌揚官吏政績的典故；召棠，又作「召伯棠」「召公棠」。
和徐爰交談，劉義隆往往歎服他的博學多通；但在歎服之餘，劉義隆又覺得他並不很瞭解自己：朕的心中哪裡又是看重那門第名望的呢！
先帝能有江山，全憑當初起自布衣。當年先帝躬耕於京口裡，據說，京口裡的老屋中至今仍然保存著先帝曾用過的農具。如果用人靠門第名望，先帝只能終身躬耕於丹徒。然而時世崇尚門第，一百多年來，在建康這塊土地上，自王丞相輔佐晉元帝安定晉世江山時起，王、謝等家族就是支撐國家政權的支柱。時至今日，這一現象仍然沒有大的改變。不過，不用這些根深蒂固的世家子弟，要想治理好天下也是件難事，甚至是不可能的，更何況他們中確有許多人是博學多能之士，有高人之處。但如果過於看重那些東西，像王敬弘那樣的人，於治國又有何裨益呢？而像到彥之那樣的人，豈不是將永遠以挑糞為生嗎？
和徐爰的一席閒談，劉義隆以假意言，最終卻頗有收益。