劉義隆的麻煩是由一個名叫孔熙先的小人物引起的.這個故事就從小人物孔熙先說起。
孔熙先的祖上並不顯達。他的曾祖做過前朝的尚書祠部郎，祖父雖被征為秘書監但並未赴任，父親孔默之在元嘉初年作為皇上的欽差曾出使南、北豫州以察訪民情，後來擔任彭城王義康的幕僚。元嘉六年正月義康回京任司徒，七月就舉薦時任尚書左丞的孔默之出任廣州刺史。在職四年，孔默之同有些州郡長官一樣，去時匹馬單車，歸時卻帶著一支浩大的車隊或船隊。因貪贓枉法，他隨即被囚禁於廷尉。仍然得力於彭城王的庇護，孔默之得以保全性命，同時也得以保全從南方帶回的巨額財產——劉義隆原打算殺了他並抄沒他的財產以懲戒他人。孔默之的性命和財產雖得以保全，但從此他的仕途就終止了，不久後也就鬱鬱而死。
孔熙先曾經隨父親遠赴廣州，又隨父一同回京。他親眼看見父親被抓捕後來又被釋放，他曾經和弟兄們一同到廷尉接回了老父。他對那些場景記憶得越是深刻，他就越是不能忘懷彭城王的救父之恩。
他是有才氣的。他博學，對於文史星算無不兼通。他觀測天象後作出判斷：皇上必死於橫禍，事由骨肉相殘，江州應出天子。但他又是寂寞的。他懷有縱橫之志，但年過三十還只是一介員外散騎侍郎，因得不到顯貴的賞識，他久在此位卻不能陞遷。這樣的職位，與他的遠大志向比，實在是相去甚遠。——他有一個伯父，名叫孔淳之，因在東部隱逸而名聲很大，當年很得謝靈運的賞識。伯父茅屋蓬戶，庭草蕪蔓，只有床頭數卷書而已。伯父淡泊如此，孔熙先見了只是大搖其頭。
在隨父去廣州的少年時期，孔熙先就立下鴻鵠之志：年在三十以內，官至三公九卿！可是現實卻讓人如此難堪：員外散騎侍郎，是一般貴公子所不屑擔任的。每每在獨處一室時，他就會拍案感慨：
「寂寞無聞，鄧禹笑人！」漢朝鄧禹年二十四時，已經擔任司徒了。
他又作詩抒自己的懷才不遇：
「種蘭忌當門，懷玉莫向楚；
楚少別玉人，門非植蘭所。」
每當朱雀航打開時，在朝中任職的官員或商旅行人都會擁塞在那裡，但一旦三公九卿這些達官顯貴到來時，職位低下的官員和商旅行人都要站在一邊避讓他們。每當此時，他就會用手捶擊車壁板感歎：
「車前無八騶，怎能稱丈夫！」騶，是為顯貴們駕御車馬的人。諸公、諸從公，朝廷都給騶八人。
江州應出天子，這不就是指彭城王嗎？於是孔熙先就密懷報效彭城王之志。可是自己地位卑下，難成氣候。他一直在探聽細察，他要找到一個合適的人，這人當然得是地位顯貴之人。經過幾年的不懈努力，他終於找到了這個人。這個人就是皇上的股肱之臣左衛將軍兼太子詹事范曄。
范曄身高不足七尺（一尺約24、5厘米，七尺約171、5厘米），肥胖且黑，禿眉鬢。他善彈琵琶，且長於創作新曲。他所彈奏的新曲，頗有韻味，但他並不常彈，一般人更是難得一聞，即使是皇上也是如此。皇上聽說他善彈新曲，幾次讓人在他面前婉轉地表達此意，但他都裝做不知，終不肯彈。
有一次侍奉皇上宴飲，皇上正在興頭上，就對他說：「我唱，卿彈。」他這才不得已奉旨，但皇上歌一停，他就立即止弦，似乎多彈奏一個音符他就會短了一分志氣。還有一次，皇上正在宴飲，他入殿咨詢事務，侍立於側的徐爰就對他說：「皇上上次聽了詹事的新曲，稱讚不已。今日正巧詹事前來，可為皇上一彈新曲以助興。」侍從忙拿來琵琶，他卻推而不受。皇上就對他說：「今日為歡，卿何必吝惜一曲？」他回答道：「君舉必書，哲王之所慎。臣雖鄙陋，但身為國家大臣，腰紱冠冕，鳴玉殿省，豈可令臣操執絲竹，以行伶人之事！若釋朝服侍私宴，臣不敢辭。」一席話，義正詞嚴，說得皇上也頗為尷尬。這是孔熙先身歷親見，於是孔熙先就暗中佩服他，以為朝中要員，除了人們稱之為「顏虎」的顏延之會有這樣的作風，他人莫及。
范曄能如此，也與他心懷怨憤有關。劉湛被誅、殷景仁病亡以後，劉義隆深為信任且重用的大臣是范曄和侍中兼右衛將軍沈演之，兩人分擔左、右衛，這是掌管御林軍的要職；兩人又同參機密，是皇上的左右手。和殷、劉時一樣，在對待兩人的關係上，劉義隆似乎有所倚重：兩人雖並受器重，但每被引見，范曄若先來，必須等到沈演之來了才一道入殿，而沈演之若先來，常先被召引入內。久而久之，這就讓范曄漸感不滿，又使他由不滿而生怨恨。擴而大之，他甚至對那些得到皇上親近的人也漸懷不滿。為此，他還寫了一篇《和香方》，在序中他用種種香料來影射譏諷時人：
「麝本多忌，過分必害；沈實易和，盈斤無傷。零藿虛燥，詹唐黏濕。甘松、蘇合、安息、郁金、奈多、和羅之屬，並被珍於外國，無取於中土。又棗膏昏鈍，甲煎淺俗，非唯無助於馨烈，乃當彌增於尤疾也。」
此序所言，皆以比類朝士：「麝本多忌」，比庾炳之；「零藿虛燥」，比何尚之；「詹唐黏濕」，比沈演之；「棗膏昏鈍」，比羊玄保；「甲煎淺俗」，比徐湛之；「甘松、蘇合」，比慧琳道人；「沈實易和」，則用以自比。
經過長時間的觀察，孔熙先覺得，無論從職位上，還是從個人志趣上看，范曄都是能幫自己實現大志的最為理想的人物。但是自己現在職位卑下，不為權貴所重，若想結交范曄這樣的要人，尚無門徑。
他苦惱著，他在尋找著可能的、合適的突破口。又經過一段時間的蟄伏靜觀，他終於有了機會：他結識了同樣位卑的七品官太子中舍人謝綜以及其弟謝約——他們的三弟謝緯雖尚（娶皇帝女稱「尚」）皇上第五女長城公主，但一向為謝綜所憎，所以范曄也就不和謝緯交往。謝氏兄弟是范曄的外甥，而謝約又是大將軍彭城王義康的女婿，孔熙先暗自得意，因為他找到了無可替代的突破口。
謝綜是謝述的長子。謝述在彭城王義康任驃騎將軍兼南徐州刺史時，任其將軍府的長史兼南郡太守；義康回京任司徒時，謝述隨之入京任司徒府左長史，後來升任左衛將軍。謝述風姿綽約，為人清廉，私無宅舍，與殷景仁、劉湛關係並善，元嘉十二年病死在吳興太守任上時，殷、劉一同出都迎喪，望船落淚。劉湛被誅後，劉義隆望著義康南去的背影曾經對身邊人說：「謝述若活著，義康必不至此！」義康南遷後，原任義康司徒府主簿的謝綜一向為義康所親近，又改任義康的大將軍府記室參軍，隨義康同赴豫章。
不同於其父的清約謙退，謝綜為人樂於名利，不甘淡泊；他長於隸書，富於才藝，因而也深得舅舅范曄的賞識。往往有才氣的人都是不甘寂寞的，所以一旦和孔熙先相識，他們雙方都有惺惺相惜之意。
和謝氏兄弟的深交，孔熙先用的是賭博的手段。
他們賭博的名稱叫樗蒲，樗蒲即五木：削木為正方塊，一副共五枚，每枚的上面塗黑色，下面塗白色；黑面刻二，叫犢，白面刻二，叫雉。賭的時候，把五子擲於盆內讓它們旋轉，面全黑，稱「盧」，其采十六，是頭采，又叫勝采；二雉三黑稱「雉」，其采十四，次采；二犢三白稱「犢」，其采十，又次；全白為「白」，其采八，又次。此四采，都屬於貴采。這種博戲漢代已流行，到晉宋之際盛行。
謝氏的府邸。
孔熙先已經不記得這是第幾次登門了。他已熟識了謝氏兄弟之外的廣州人周靈甫、僧人法略等常來聚賭的人。在寂靜的夜晚，他們圍在桌子四周圓睜雙目專心致志，到了激動的時候，那呼盧喝雉的叫噪之聲就開始不絕於耳。孔熙先原是此行的高手，但為了誘使諸人入道，他往往故意顯其拙行；諸人每每得了勝采，就喜形於色。有時賭到夜半雞鳴，個個都興猶未盡。在行將散場的時候，他們往往已經約好了次日再戰的地點和時辰。今日，他又輸了個精光。就依靠這一輸再輸，他和謝氏兄弟漸漸情投意合。
不多日，也是水到渠成，孔熙先提出了拜會范詹事范大人的請求，謝綜也就滿口應承。
范氏的府邸。
「熙先的叔父諱淳之，當年歸隱東土……」謝綜介紹孔熙先時，范曄低著頭看他的書。范大人位居台輔，又怎麼會在意這樣一個無名小輩呢？能讓他進門是看在外甥的面子上，那就是抬舉他了。
「熙先的父親諱默之，曾任廣州刺史。」聽了外甥的話，范曄抬頭打量了一下孔熙先，但只是「噢」了一聲，卻也並未說話。
接下來，謝綜又極力推崇孔熙先的才學和為人，但這對自視甚高的范大人來說又算得了什麼呢？
第二次再登范府的時候，頗有心機的孔熙先為范大人獻上了一份小小的禮物——其父當年從嶺南帶回的一副精美的五木。它由象牙精雕而成，另配一隻精美的銀盆。這是孔熙先愛不釋手的，在他家設賭局的時候，他也不捨得拿出來用。見了這套精美的賭具，范大人眼睛一亮。樗蒲，也是他所喜好的，他雖不很精，但也常和甥侄們來些綵頭。
就在孔熙先獻上象牙雕制的五木及銀盆的那個夜晚，范曄在謝綜兄弟和孔熙先的慫恿下，第一次和孔熙先等人聚集在內室裡小小一博。結果，不出所料，范曄用孔熙先所獻的器具，輕鬆地贏了孔熙先的錢。這一結果，是范大人所高興的，也是孔熙先所樂意看到的。
在其後的日子裡，孔熙先雖然不是大輸就是小贏，但他心中是清楚的：先父從嶺南帶回的財物，也不是他們兄弟一下子就能用完的，更何況他們兄弟都有自己可觀的田產——當然那份俸祿就可以忽略不計了；再說，錢財這些東西生不帶來死不帶去，如果能用它們實現其最大價值，那才不負造物主的賜予。