劉義隆回到太極殿以後，緊接著，何尚之就求見。剛剛還在一起，怎麼就又求見？劉義隆以為他一定有要事相商，於是就准了他的求見。
「陛下打算建造三神山，出眾人意料，臣有話要說。」
「哦，何令，有何言？」
「數月前臣曾去過玄武湖。臣見盛暑之下，農工暴曬於驕陽之下……」他想用此打動皇上。
「築北堤，建玄武湖，都是造福於民……農工耕種，常自暴背，此不足為勞。」
「陛下言是。築北堤，造福於民；建玄武湖，操練水軍，以了卻陛下收復河、洛的大業，無人會有異言，臣也是。然而三神山之事，臣以為……」
「何令博學，今日既以此相諫，我也正想求教於卿。這求仙問神之事……這靈驗之事究竟有無？」
劉義隆這樣問，自然事出有因。
袁皇后仙逝之後，後宮常傳出一些靈驗之事。沈美人，名容姬，曾受皇上寵幸，元嘉十六年生帝之十一子劉彧，其後蒙冤遭斥責，依法應當賜死。行刑前，她被押著經過袁皇后故殿徽音殿。徽音殿共有五間，袁後崩後，曾經一度關閉。就在走到殿前時，沈美人想起同樣死得冤屈的袁後，也不顧太監和女官的制止，流著淚衝著徽音殿大聲喊道：「今日無罪就死，先後若有靈，當知妾冤屈！」話音未落，徽音殿的窗戶應聲豁然而開。太監和女官見了一個個大驚失色，立即派人飛稟報在太極殿內的皇上，皇上驚疑之中急忙去看，果然見窗戶洞開，彷彿先後之靈在天有知，於是釋放了沈美人。
這事後來越傳越奇，皇上就又讓原先侍奉皇后的侍女小寧等人重新回到徽音殿，事死如事生。又因為在皇后崩後，劉義隆常常心懷愧疚，且屢屢夢見皇后悲狀，越感到心有不忍，甚至妄想讓皇后再生，或再睹皇后尊容——皇后仙逝前，他不曾好好地見她一面。也因此，他曾經走遍後宮，也沒有看到有任何一個宮妃的音容笑貌有似皇后者。
何尚之先不知從何說起，愣了一下，才說：
「自古以來，求仙搜神者眾多。前人《穆天子傳》《漢武故事》上也有，臣就說說秦始皇、漢武帝的故事吧。
「始皇既吞併天下，除了長生不死藥，可謂應有盡有。始皇二十八年，始皇南登琅邪，齊地人徐福上書說海上有三神山，名曰蓬萊、方丈、瀛州，仙人居之，請求率童男女去尋求，於是始皇派徐福率數千童男女入海求之——至今似乎還能聽到那些家人生離死別的哭聲。相傳三神山在大海中，離人不遠，曾有人到過，諸仙人及不死之藥都在神山中，山中禽獸都是白色，用黃金白銀建造宮闕，人未到，望之如雲，到了，卻在水下。也有人說被大風吹阻不能到，但無論如何，終究無人能到。徐福等去尋求它，也以大風為辭，不能到達，只說看見了神山。
「始皇三十二年，始皇巡行碣石，又派燕地人盧生去尋找古仙人羨門、高誓，隨後又派韓終等人去尋找仙人不死之藥。盧生入海歸來，上奏圖書，上面寫著『亡秦者胡也』。始皇不知讖語『胡』是指二世胡亥，卻下令將軍蒙恬率領三十萬大眾北擊胡人。其後盧生又對始皇說：『臣等求神仙靈藥不能得，是因君王所居處之地人臣皆知，而神仙境界人主微行以避惡鬼，惡鬼避，仙人至。若君王所居之地勿令人知曉，則不死之藥可得。』始皇信以為真，說：『吾仰慕真人，自稱「真人」，不稱「朕」。』從此始皇到何處，有透露的就處死。但久不得靈藥，盧生等認為始皇為人暴戾，而靈藥難得，不驗則死，於是都逃亡了。始皇大怒，認為他們既不得靈藥且誹謗君王，揚君不德，下令御史徹查此事，最終在咸陽坑殺儒生四百六十人。徐福等人入海尋求神仙久不能得，且花費巨大，也害怕遭到譴責，於是欺騙始皇說蓬萊靈藥可得，然而常為海中大鮫（鯊魚）所苦，才不能到達神山，請求派強弩手隨行。三十七年，始皇年五十駕崩，求仙問藥之事再無後文。
「始皇為求神仙不死之藥，興師動眾勞民傷財，除了屢被欺騙，最終一無所得。」
劉義隆聽出這話是說給他聽的，就沉默不語。
「漢文帝時趙人新垣平憑借能望氣拜見文帝。有人上書告新垣平所言都是欺詐，文帝把他交給臣下查驗，果然如此，就殺了他。此後文帝不再談論神仙之事——文帝歷來為人稱道，並不虛然。」
劉義隆抬頭看著何尚之，覺得他實際上是在批評自己。
「漢武在位，尤其敬重鬼神之事。有個叫李少君的人以有延年益壽方拜見武帝，武帝尊奉他，他說：『祭祀灶神可以招致神異，能招致神異就能化丹砂為黃金，黃金成就可作飲食器具，就可延年益壽，能延年益壽就能見仙人。臣曾遠遊海上，見過神仙安期生，安期生給臣棗子吃，那棗子像瓜一樣大。』於是武帝親自祭祀灶神，又派方士入海尋找安期生。久之，李少君死，燕、齊一帶的方士爭相談論鬼神之事。此時武帝所寵幸的李夫人死了，齊人少翁能在夜間用方術招致夫人，武帝竟能從帷帳中望見夫人，於是武帝拜少翁為文成將軍，賞賜豐厚，又建甘泉宮來招神。最終神沒有來，少翁就用帛書餵牛，然後對人說牛腹中有神異，於是殺牛得帛書，所言怪異；武帝看了認出是少翁的筆跡，責問他，他不得不招供，於是武帝殺了他，但對此事隱而不，只說是吃了馬肝中了毒死了。武帝雖殺了少翁，但信神不止，其後又建柏梁台、銅柱、承露仙人掌。」
「那武帝從帷帳中看見李夫人，又作何解？」劉義隆問。這事若是真的，那自己不就可以再見袁皇后了嗎？
「那不過是方術，一種小戲法，騙騙人而已，今人也能做到。」
「卿再接著說吧。」劉義隆有些失望。
「少翁之後，又有欒大。欒大是膠東王府中人，與少翁同師。武帝殺了少翁，後悔他的方術不盡，等到見了欒大，似是少翁重生，大喜。欒大為人敢說大話且鎮靜自若，這種人往往會有。他對武帝說：『臣之師曾說過：黃金可成，河決可塞，不死之藥可得，仙人可致。臣往來海上，曾見過安期生等神仙，只因為臣微賤，諸神不信任臣。』武帝說：『少翁吃馬肝而死。若真能得其方，我有何愛惜！』武帝先讓欒大驗小方，欒大就擺好棋子，然後讓棋子相互撞擊，武帝見了，就信任他並拜他為五利將軍。過了月餘，欒大又得到四塊印，武帝看了之後以為他能通神，就下詔封他為樂通侯，賜豪宅及童僕千人，又把公主嫁給他。一時間王侯將相爭相和他交往，欒大可謂貴震天下。
「其間，又有齊人公孫卿和武帝說起古時黃帝游五山，與神相會，黃帝邊戰邊學仙，百餘歲然後得與神通，天龍下垂鬍鬚迎黃帝。武帝聽了無比仰慕，感歎說：『唉，若真能如黃帝，那我扔掉妻與子就像扔掉鞋子一樣不足惜！』於是就拜公孫卿為郎。久之，欒大諸事都不應驗，又並無方術，武帝失望之餘就殺了他。儘管如此，公孫卿仍然屢屢說見過仙人，其他方士也說見過蓬萊諸神，武帝再次燃起希望之火，似乎神仙仍可遇，於是就東遊海上，封禪泰山，並拜公孫卿為中大夫。公孫卿說『仙人好樓居』，於是武帝就在長安建飛廉館、桂館，在甘泉建益壽館、延壽館，又建通天台，台高三十丈，用來招神仙；又建建章宮，挖鑿大池，池中立三神山，又立神明台、井干樓，樓高五十丈，上有輦道相通。其後武帝再次東巡海上，但神仙之事終究無驗。
「終漢武之世，諸神仙之事都不見應驗，然而破費無法計算，但漢武至終仍篤信無疑。」
劉義隆若有所思。
「其實秦皇、漢武之後還有篤信鬼神之君。」何尚之似乎意猶未盡，「因為沒有繼嗣，漢成帝末年頗好鬼神之事，耗費巨大。於是谷永諫道：『諸方士背仁義之正道，不遵五經之法言，而盛稱奇怪鬼神，求報無福之祠，及言世有仙人，服食不死之藥，都屬奸人惑眾，挾左道，懷詐偽，以欺蔽世主。聽其言，洋洋滿耳，似乎可遇；求之，空空如捕風捉影，終不可得。因此賢君拒而不聽，聖人絕而不語。往昔周史萇弘想用鬼神之術輔尊靈王，會朝諸侯，結果周室愈微，諸侯愈叛。楚懷王重祭祀，事鬼神，想以此獲福助，退秦師，結果兵挫地削，身辱國危。秦始皇初並天下，樂於神仙之道，派遣徐福、韓終之徒多攜童男童女入海求神采藥，因逃不歸，天下怨恨。漢興，新垣平、少翁、公孫卿、欒大等，都以入海求神采藥貴幸，賞賜累千金。欒大尤為尊盛，娶公主，高爵位，震動海內。漢武之際，燕齊之間方士多達萬計。其後，欒大等都因術窮詐現，誅滅伏罪。綜觀往事，曠日經年求仙問藥，終無毫釐之驗，足以示今。《論語》曰：子不語怪、力、亂、神。希望陛下拒絕此類，勿令奸人有機可乘！』
「谷永所諫，就是今日臣想說的！」
說完，何尚之長吁一口氣。
劉義隆沉思良久，然後才對何尚之說：
「前些年，我屢為病痛所困，至於屬纊相繼。冥冥之中，常想起鬼神之事，此其一；袁後仙逝，讓我難以忘懷，加之常常有小靈驗，就讓我想起齊人少翁能招致神仙降臨諸事，此其二。卿今日所言，往日讀史也略有所知，但卿綜而述之，我有所悟……因卿所諫，我將停建三神山。」
「萬民幸甚！國家幸甚！」何尚之面露喜色。
從此，湖中不再建三神山。
後人所見玄武湖中幾個小島，即元嘉年間擬建三神山之遺跡。