呂布隨後又被負責招賢館的陳琳攔住，陳琳一定要讓呂布去會見最近一個月內投奔中央軍的賢才。
呂布那求賢似渴的名聲已經響徹整個大漢，他不能自己砸自己的招牌，便跟著陳琳去了招賢館。
歷史上，東吳孫權設立招賢館，命顧雍、張延接四方賓客，得到會稽闕澤、彭城嚴、沛縣薛綜、汝陽程秉、吳郡朱桓、陸績、吳人張溫、烏傷駱統、烏程吾粲等人，這些人都為東吳的興盛立下汗馬功勞。
呂布有念於此，便在鄴城設立了招賢館，讓擅長待人接物的陳琳負責。
陳琳此時雖然兼任少府，但少府的權力已經被下面那些太醫令、太宮令、太史令、尚方令等令、丞分擔，陳琳每天要做的事情很少，呂布便讓他兼管招賢館，好發揮他巧舌如簧、長袖善舞。
招賢館不單只是接待四方投效人員，還負責起草招賢佈告、處理往來函件，正好可以發揮陳琳的文采。
這招賢館名義上是朝廷設立的，所以讓九卿之一的陳琳負責，也不會遭人非議，實際上這個招賢館裡的所有英才都會預先被呂布中央軍甄選一遍，然後才把剩下的交給朝廷其他各司衙門。
招賢館靠近鄴城南門，共有十個院落，每個院落都有三層小樓，整個招賢館總共能夠容納三百多名賢才居住。
呂布在外作戰了將近一個月，在這一個月裡陸續投奔的賢才足有五六百人·有些是呂布慕名已久，並派人徵召的，這樣的人很少;有些是沒什麼名聲，卻對自己才能很有信心，揭了呂布的招賢榜的。
當然也不排除有些招搖撞騙的·但呂布深感孟嘗君得雞鳴狗盜之輩相助、信陵君得侯嬴朱亥佐助的禮賢下士的典範，不再重蹈曹操錯過張松、孫權錯過龐統、劉備差點錯過龐統的錯誤，便在領兵作戰之前一再叮囑陳琳，莫要輕視任何前來投奔的賢才，只要他能展露才能，不管是什麼樣的才能，都要讓他住在招賢館裡，等待呂布回來面試。
呂布知道來了五百多賢士·心裡甚是高興·笑著對陳琳說道：「攬天下英才而為我用·何愁大業不成！」
陳琳卻苦著臉說道：「主公，來得多是無名之輩，主公之前在洛陽派人徵召的賢才大部分都拒絕前來。」
呂布非常平靜地問道：「在洛陽的時候，我聲名不顯，沒有多少賢才投奔是可想而知的，我們到了鄴城以後，我大破白波賊、南匈奴、黑山張燕、黑山於毒，名聲逐漸響亮起來，又有太傅盧植、太師蔡邕、太保馬日、司徒楊彪、太尉劉虞、司空劉弘、尚書令黃琬、涼州牧皇甫嵩、并州牧朱為我盟友·慕名而來的賢才應該多起來才是啊。」
陳琳依然苦笑道：「主公說的沒錯，我們在洛陽的時候過於樂觀，派了一些普通士卒前去征辟那些賢才，那些賢才多說『未聞世上有呂布，而拒絕了我們，願意來鄴城的張機是因為主公答應委任他為太醫令，華佗前來鄴城是抱著跟張機競爭的心態，滿寵則是因為跟郭嘉、徐晃有交情，真正因為我們的徵召書信而來的沒有一個！我們到了鄴城，派出文吏前去征辟·並一一許諾官職，這才勉強招來了幾個，還有十幾個正在路上。」
呂布心裡狂受打擊，面上表情還依然是那麼平靜：「呃，你先告訴我，到底是那些人不肯前來？！」
陳琳看呂布表情如常，以為呂布心境好，先說了一下豫州的賢才：「豫州的許褚、劉馥拒絕前來。」
呂布皺起眉頭，甚是不解地問道：「許褚、劉馥為何不願前來？！」
陳琳搖搖頭：「許褚乃是譙縣豪強，許家宗族壯丁足有五千多人，還修築了塢堡。兩年前，汝南葛陂賊兵有二萬多人前去攻打許家塢堡，許家箭矢用完了，許褚便讓許家老少男女都去搬來石頭往塢堡外面砸，賊兵不敢靠近。賊兵圍困塢堡多日，堡內糧食將盡，許褚便假意與賊請和，商量用牛換取糧食，賊兵把牛牽走後，牛又跑了回來，許褚便去陣前，拉著牛尾行走百餘步，賊兵大驚，不敢再來取牛，從此淮、汝、陳、梁之地，聽到許褚之名便深感畏懼。許褚還蓄養了數百俠客，縱橫豫州，無人敢當。
許褚有賴於此，當我們第一次前去徵召，他便說大大咧咧地說，從來沒聽過天下有個呂布。我們第二次又派人前去徵召，他說許家宗族皆不願遠離故土，等呂布那天打過來了我再投不遲！」
呂布很欣賞典韋，因為典韋是一個呼嘯山林快意恩仇的獨行與之相反，呂布有些討厭許褚，也許就是討厭他是擁兵一方的地方豪強，就是因為這些擁兵自保又自相殘殺的地方豪強，人數居多的漢人才打不過人數稀少的五胡，像許褚這種地方豪強，往往會在胡人打過來的時候投降做漢奸，無論是五胡亂華時期，還是北宋末、南宋末、明末、民－國時期，概莫能外，君不見抗日戰爭時期那些二鬼子漢奸大多都是地方土豪演化的。
呂布討厭許褚，更因為他在那段歷史上是曹操的忠狗，是一個很胖的忠狗，算是自己的宿命仇敵之，當然呂布現在討厭許褚的原因是兩次都不給自己面子，非常粗暴冷淡地拒絕了自己的徵召。
呂布冷笑道：「等我打到譙縣，早已猛將如雲，兵強馬壯，手下已有黃忠、典韋、王越、趙雲等蓋世猛將，我又何必再用許褚，再去容忍許褚那個獨立塢堡的存在？！許褚，從你第二次拒絕我呂布，你的頭已經不屬於自己了！」
陳琳見呂布的脾氣開始發作了，心裡一驚，猶豫著不肯往下說。
呂布哈哈大笑道：「孔璋，這些人不來投奔我們，反倒讓我覺得有些意思，無敵的日子實在太寂寞了！
對了，那個劉馥為何拒絕我？！」
陳琳道：「那個劉馥，乃是宗親之後，第一次說從未聽過主公的名字，第二次則乾脆避而不見。」
呂布對這個空有治政能力卻無眼光慘被曹操刺死的劉馥再無興趣，淡淡笑道：「說說緊靠冀州的兗州那些人才，我估計除了滿寵之外，其他人都不想過來投奔我吧！」
陳琳苦笑著點點頭：「主公，您說得很是，程昱、李典、呂虔、毛、梁習都拒絕了，哎，漏了一個，阮來了。」
呂布無奈地搖搖頭：「讓我猜猜，阮前來多半是看在他恩師蔡太師邕的面上吧！」
阮，字元瑜，陳留世家阮氏子弟，是歷史上著名的建安七子之一，年輕時曾拜蔡邕為師，因得蔡邕指點，文章寫得十分精煉，聞名於當時。歷史上，曹操聞聽阮禹有才，為搜羅人才，召他做官，阮禹不應，後曹操又多次派人召見，匆忙中阮禹逃進深山，曹操不甘心，命人放火燒山，這才逼出阮禹，勉強應召。由於阮禹多次辭官不做，曹操在一次大宴賓客時，把他安排在樂隊之中，想煞一下他的傲氣，不想阮禹精通音律，即興撫弦而歌：「奕奕天門開，大魏應期運」，一方面歌頌了曹操的事業，另一方面也表達了自己願為曹操效忠的思想。曹操聽完，大為高興，請他做司空軍謀祭酒。從此以後，曹操軍中檄文多出於他和陳琳之手。建安十六年，阮禹隨軍西征關中，曹操請他代筆寫一封書信，他騎在馬上沉吟片刻，揮毫點就，呈給曹操，曹操提筆想作些修改，竟不能增損半字。
在歷史上，阮的兒子比他有名的多，他兒子叫做阮籍。
陳琳苦笑道：「主公所料甚是。」
呂布臉上勉強露出一絲笑容：「阮現在何處？」
陳琳指了指遠處的蔡邕府邸：「阮現在他恩師的府邸做客。」
呂布剛才去蔡家吃了一個閉門羹，一時片刻也不想再去被蔡老頭冷遇，便對陳琳說道：「你派人看著太師府，阮出了太師府，若是回來招賢館便好，若是他強行離開鄴城，你要趕快派人把他拉到招賢館，由我說服他加入中央軍！」
那段歷史上，曹操如日中天的時候，阮還不肯為他效力，呂布也不能肯定阮會看在恩師面上為自己效勞，這個傢伙跟那個司馬懿一樣，都非得曹操下死命令威脅才肯出來效力，他若不肯為呂布效力，呂布也想試試曹操的手段。
呂布又問道：「那個呂虔，我願跟他結為同宗兄弟，他卻為何拂我一片好意？」
陳琳說起呂虔，亦止不住滿腔的忿恨道：「這個呂虔實在可恨！他竟然說，寒門破戶之子，安能為我兄！」
呂布怒極反笑道：「好一個呂虔！他如此看重家世，看樣子他是世家子弟了？！」
「呂虔所在的呂家乃是兗州任城的世家大族，呂虔家有四千多家兵，橫霸一方，堪稱任城的土皇帝。」
呂布冷冷一笑道：「靠血統繼承來的數千家兵算得了什麼，敢比我白手起家創立的中央百萬大軍嗎？呂虔，既然你不想成為我呂家人，那你就給我從人間消失吧！」《》