牛輔一心為丈人董卓報仇，領兵兩萬為先鋒，逢山開路，遇水搭橋，直奔長安而來。
王允得知西涼兵來頓時慌了手腳，沒想到南燁法師真的一語成讖，馬上就要開戰。王允治政尚可，對於兵事卻是擀面杖吹火，一竅不通，急忙找來呂布商議。
呂布自持勇武目中無人久矣，便對王允道：「司徒放心！牛輔鼠輩，不足為懼。便是來上十個八個也不是我對手。」
王允見呂布如此有把握就命他與李肅領兵出戰。李肅為前部先鋒正與牛輔相遇，牛輔一見李肅便紅了眼大罵道：「背主小人還不下馬受死！」
李肅道：「董卓殘暴無道，人人得而誅之，你等助紂為虐才該死於此處！」
這二人是仇人相見分外眼紅，大殺一陣。牛輔遠道而來，兵馬疲憊，李肅軍容齊整以逸待勞。牛輔抵敵不過，敗陣而去。
李肅清楚牛輔只是前部先鋒，後面還有李傕、郭汜等人也不敢追擊，只安營紮寨等呂布前來。不料當夜二更，牛輔去而復返，趁李肅不備前來劫寨。李肅一見營中火光四起，喊殺震天，士卒亂竄，便知無法匹敵領兵便走。這一敗退了三十餘里，折了人馬上萬，來見呂布。
別看呂布這人自己反覆無常先後背叛的丁原、董卓，可是他卻自詡為英雄人物，喜歡豪傑而厭惡小人。李肅在呂布眼中就是不折不扣的牆頭草，順風倒，不被呂布所喜。而且李肅自從勸降呂布之後便總在人前人後表功，多次提及呂布反叛丁原之事，這讓呂布更加不爽。如今李肅一敗，呂布便借題發揮大怒道：「你身為先鋒，竟然不知防備，挫我大軍銳氣，該當何罪？」
李肅與呂布同鄉，又自持有引薦之功，認為呂布能有今日全賴自己，所以覺得呂布對自己應該感恩戴德才對，沒想到今日竟然因為兵敗便要治罪，於是怒道：「勝負乃兵家常事，奉先在此怪我不如調遣兵馬與我再戰牛輔。」
呂布冷笑一聲道：「你這廝失了萬餘人馬還敢在此大言不慚再要兵馬，難道還要讓更多士卒徒勞送命？就算我答應，那死於戰陣的士卒卻不答應。來人，將李肅拖下去重責一百軍棍。」
李肅見呂布翻臉無情當時大罵道：「呂布小兒，若非我舉薦你焉能有今日之功？若要打我，先將赤兔寶馬還來。」
呂布本想教訓一下李肅就算了，沒想到李肅哪壺不開提哪壺，又開始揭自己老底。每次李肅只要一提自己功勞，呂布就要做一回貪財背主的小人，這讓呂布如何能忍？呂布冷哼一聲道：「你這廝也配得上赤兔寶馬？等下輩子吧！」說罷又對帳前士卒道：「李肅出師不利目無主帥，軍法當斬。來人，拖出去宰了！」
李肅沒想到呂布要對自己下毒手，大罵呂布不忠不義，又罵自己交友不慎。呂布聞言更怒，遂斬李肅，懸頭於軍門。
次日呂布進兵與牛輔對敵。牛輔鬥將如何抵得住呂布？兵馬又不如呂布多。剛一交戰便大敗而走。這次牛輔完全將李肅的敗績重演，也損失大半兵馬一萬餘人。
牛輔早打探到了李肅戰敗身死的消息。他與李肅、呂布之前都是董卓麾下，對二人多少也有些瞭解，仔細想想便知道呂布是借題發揮殺了李肅，這讓牛輔心中慼慼。他是董卓女婿，深得董卓信任，又與董卓沾親，以前也常不把李傕、郭汜等將放在眼裡。如今兵敗，牛輔擔心李傕、郭汜也會像呂布收拾李肅那樣收拾自己。
待到深夜，寢食不安的牛輔便將心腹之人胡赤兒交到帥帳中商議道：「呂布驍勇，萬不能敵，我看此戰必敗，最後還是要四散而去。與其等到那時，我等不如趁此時錢糧俱在，瞞了李傕等四人，暗藏金珠，與親隨三五人棄軍而去如何？」
這胡赤兒與張繡麾下力負五百斤，日行七百里的胡車兒並非一人，不過卻都是胡人。正確來講此人名字應該就叫赤兒，因為是月支胡人才被稱作胡赤兒。他在牛輔麾下相當於親衛統領，自然不會反對牛輔，當夜收拾金珠，棄營而走，隨行者只四名親衛，每人身上都攜帶了大量珠寶。
有道是財帛動人心，胡赤兒與四名親衛背著屬於牛輔的大量金珠不禁暗想：「此人為將軍，我等為親衛，此人如今落荒而逃，日後不過一富家翁而已，我等又因何為其賣命？「
董卓麾下的士卒劫掠慣了，胡赤兒等人也不例外，富戶人家在他們眼裡如同肥肉一般。一想到牛輔此時也成了有錢無權的富家翁，胡赤兒眼中便閃過一道凶光。
幾人行進之間就見前有一河攔路，牛輔渡河之時不慎從馬背滑落跌入河中。胡赤兒殺心早起，只是因為牛輔武藝不弱，這才一直沒有動手。此時見牛輔墜馬，便覺得正是時候，嘴上喊著救人，手中卻拔出佩刀將牛輔一刀殺死。
四名親衛見胡赤兒殺死主帥牛輔皆是一驚。胡赤兒則不慌不忙的割下了牛輔頭顱對四人道：「今夜有一樁大富貴送與你等，你等若從我之計，牛輔背囊中所藏金珠我等均分。」
那四名親衛也早對這些金銀眼紅，此時見胡赤兒殺了牛輔要平分金寶哪有不從之理？紛紛開口道：「牛輔已死，我等皆聽統領號令。」
胡赤兒對四人道：「如今有兩條路可行，一是我等在此分了金珠各自散去，二是提牛輔頭顱去與呂布邀功。若選第一條路，我等便是牛輔麾下逃兵，不論朝廷還是李傕等人皆不會輕饒我等，日後只能隱姓埋名，了此殘生。若選第二條路，我等便是有功之臣，將來做個將軍也不一定，這些金珠也可盡情享用。你等以為如何？」
四名親衛聽胡赤兒一說根本不用再想，都同意去投呂布。胡赤兒便提著牛輔頭顱來獻呂布。
呂布見牛輔已死心中大喜，還以為五人皆是勇士，在營中刺殺了牛輔來投自己，吩咐設宴款待，席間自然問起眾人殺死牛輔的經過如何。
胡赤兒來投呂布時也忘了和四名親衛對對口供，當時就有親衛直言道：「胡赤兒渡河時謀殺牛輔，奪其金寶來投將軍。」
呂布聞言當時大怒。他自認英雄也敬佩豪傑，最厭惡的便是貪財背主之人，所以才恨李肅總是提起自己醜事藉機殺了李肅。如今一聽胡赤兒為了金珠而殺牛輔，立即下令將胡赤兒等人誅殺，沒收其金珠。像胡赤兒這樣見財起意的小人，呂布可不敢留在身邊聽用。他也不想想自己所作所為其實和胡赤兒相差無幾。
呂布這種嚴於律人寬於律己的心態其實很好理解，這就像一個壞人去看電影也會為螢幕上的英雄叫好，而不會站在反派一邊是一個道理。世界上沒有一個壞人會承認自己是壞人的，若是他們真的意識到了自己做的是壞事也就不會成為壞人了。
殺死了胡赤兒後，呂布即刻進軍。牛輔殘餘兵馬失了主帥一戰即潰，呂布乘勝追擊正遇李傕人馬。呂布也不等李傕列陣，挺方天畫戟，催動赤兔馬揮軍直衝李傕中軍。
李傕一路兵馬哪裡擋得住呂布衝殺？退走五十里依山下寨，請郭汜、張濟、樊稠等人共同商議。
郭汜等人見五路人馬剛一交戰便敗了兩路，牛輔還死於軍中，便都有些膽寒，一時也說不出個計策來。此時投身在李傕處的賈詡出言道：「呂布雖勇，然而無謀，不足為慮。李將軍可收攏牛輔殘兵，引軍守住谷口，每日誘他廝殺，郭將軍領軍抄擊其後，效仿彭越撓楚之法，鳴金進兵，擂鼓收兵。張、樊兩位將軍則分兵兩路，逕取長安。呂布首尾不能救應，必然大敗。」
賈詡所說的彭越撓楚是楚漢之爭時的典故。在劉邦、項羽對峙僵持的時候，彭越領兵深入敵後，在梁、楚之地展開了游擊戰，襲擾楚國的大後方，兩次迫使項羽回兵救援，幫助劉邦在正面戰場取得了優勢。
李傕、郭汜等人聞言齊聲叫好。四人回去吩咐士卒按計而行。
呂布追擊李傕一路到了山下，便見李傕引軍搦戰。呂布見李傕有了之前大敗還敢挑釁，頓時憤怒不已衝殺過去。李傕也不與呂布交戰，直接退走上山。山上伏兵四起，矢石如雨，呂布軍不能進。
兩軍正在山腳僵持，呂布忽聽身後喊殺聲起，士卒來報，郭汜引兵從陣後殺來。呂布回頭迎戰，只聞鼓聲大震，卻不見郭汜人馬，似乎已然退兵。
呂布剛要收兵又聽身後鑼聲大響，李傕軍從山上殺來。呂布剛剛掉頭迎戰李傕，背後郭汜軍又到。待呂布想戰郭汜之時，他又擂鼓收軍去了。
李傕、郭汜一前一後調戲呂布，前邊戳一下，後背插一下，激得呂布怒氣填胸。一連如此幾日，呂布欲戰不得，欲止不得，滿腔怒火無從發洩。