爾朱榮打定主意，待元子攸和群臣結束祭禮返回，立刻和元天穆前往帝帳謁見。然而，這番謀劃終究是沒有成功。元天穆以安危相諫，元子攸明白他的企圖，自然是婉言拒絕，要和大軍共同進退；爾朱榮以退兵要挾，也受到元子攸身邊諸位大臣的竭力勸阻。
「如今大軍剛剛集結，沒有受到任何損失，卻以河渚受挫退兵，實在是聞所未聞！難道柱國自并州發兵時，便知道有中渚義兵效命，而且一心指望那幾百人成事了？」黃門侍郎楊侃是台軍宿將出身，反駁的話說得非常理直氣壯，「自古用兵，何嘗不是散而更合，瘡愈更戰，怎麼能以小挫就放棄呢？一謀不成，再思他謀便是。柱國認為北中城難以攻下，河橋難以奪取，也沒有任何船隻，何不征發民材，多設木筏，全軍分散渡河？我軍人數遠遠多過元顥，元顥能夠防備得來麼？只要有一成兵力能夠過去，便可以建成大功！」
同為黃門侍郎，高道穆則是另有一番說辭：「今陛下乘輿飄蕩在外，主憂臣辱，柱國擁數十萬之眾，輔天子而令諸侯，豈能輕易言退？若散去大軍，人情失望，元顥便可大收民心，徵兵天下，再想征討便沒有這般容易。此所謂『養虺成蛇，悔無及矣』，下官認為柱國應該能夠明白。」
還有楊寬，他是元子攸的舊交，而且依然兼著洛陽令的官職，如今奉詔領本部守衛帝帳，也正好留在天子帳內。聽爾朱榮提起中渚之事，他忽然想起一件事情：「前日聽賀拔將軍提及，那周惠既然封爵鞏縣男，其家必居於鞏縣，末將屬下剛好有幾名將吏也是鞏縣人，回去之後問起，居然和那周惠關係非淺……若柱國有意，末將願遣屬下前往招攬，即便不能建功，至少可收離間之效，讓陳慶之對其心生疑慮。」
聽眾人如此反對，爾朱榮大感頭疼。他雖然長於戰事，也能知人善任，卻不擅長謀劃與權衡，否則當初就不會被費穆等台軍將領利用，和整個洛陽的士族結下深仇；而如今雖然不忿這些朝臣的言語，卻也深受上回的教訓，知道不能如當日在河陰那般恣意妄為。
在權謀方面，他向來倚仗元天穆，如今也很自然的把目光投向了這位義兄。
出乎爾朱榮意料的是，元天穆居然同意了眾人的意見：「諸位說得很有道理。撤軍之事，的確需要從長計議。」
「如此甚好，」元子攸總算放下了心，「兵者，國之大事也。此戰的勝負，非但決定著我大魏的興亡，也和諸位的榮辱和聲名大有干係。柱國、領軍都是社稷重臣，天下之望，還望實心任事，勿負朕心；幾位卿家的意見也都很好，柱國可酌情實施。」
「是。」元天穆拱了拱手，與爾朱榮聯袂而出。
回到中軍大帳，爾朱榮喘著粗氣坐上胡床，恨恨的拍著床沿道：「這些該死的漢臣，慣會強詞奪理，還總是與我等作對！總有一天，要尋個由頭，把他們全部殺了才痛快！還有大兄，咱們不是商量好了麼？怎麼突然向天子讓步？」
「天寶兄，那些朝臣雖然可惡，說的話卻也在理，」元天穆徐徐向爾朱榮解釋道，「我仔細想了下，如今確實不能輕易言退，否則我等勢必信望大失，手下等著立功的諸將也難以認同；而且退兵之後，再要聚兵打敗元顥，便須大費一番工夫。」
「依大兄的意思，咱們就這麼向天子認輸麼？」爾朱榮很不甘心的說。
「朝堂之上，天子佔據大義名份，咱們是難以相爭的了……之前我一直試圖拉攏群臣，如今看來卻多半是白費了功夫，」想到渡河前，手下的大行台屬臣紛紛藉故請辭的事，元天穆總算死了那份心，「不過，各地的實權，咱們卻可以拿過來。到時候中樞失去地方支撐，看這些朝臣還如何硬氣！」
「大兄請講。」爾朱榮親手端起送上來的酪漿，遞到元天穆的手邊。
「我的意思是，咱們可以趁現在，進一步將河北以外的大權也掌握到手中。例如徐州，如今乃是元顥之黨與天子之臣相爭，咱們既然要掃平元顥，便可以安排一支兵馬，領三徐大行台，控制滎陽以西直至兩淮的廣大地域；還有關內，如今為萬俟丑奴、蕭寶寅等所據，咱們也可以派軍平叛，將潼關以西全部掌握在手中。如此一來，天子政令不出洛陽，國庫毫無租賦可收，自然無法再違逆我等。」
「哈哈！真是好計謀！」爾朱榮撫掌大笑，「我這一盞酪漿，送得真是值了！」
元天穆也微微一笑，順著爾朱榮的話喝了一口酪漿：「只是這兩地大行台的人選，卻要請天寶兄好好斟酌。一者必須可靠，以免被天子拉攏；二者也要有相當的能力，否則鎮不住這麼大的局面。」
「唔，」爾朱榮略一思索，「三徐可交給仲遠，關內就由大兄帳下的賀拔岳平定如何？」
聽說是這兩個人，元天穆眉頭一皺：「賀拔岳能力超群，足以平定關內，只是資歷還差了些，也不熟悉關內情勢；至於仲遠，生性貪婪不說，還特別肆意妄為，天寶兄難道不知？當年天寶兄兵威稍盛，得朝廷之見重，仲遠便摹寫字跡，又私刻官印，以天寶兄的名義向朝廷請人為官，收受大量財貨供其酒色花費……其行徑如此浪蕩，怎麼能夠予以重用呢？」
「大兄是這麼看仲遠的麼？」爾朱榮笑道，「我卻是認為，仲遠雖然貪婪，卻也識得大體，否則賣了那麼多官，何以從來沒有把手伸向我的軍中？況且，他既然以我的名義『舉薦』了不少人，又是彥伯的親弟，世隆的親兄，若出任三徐大行台的話，就算我不幫忙，也有巨大的人脈可以利用。」
「果然還是天寶兄看得透徹，」說到爾朱榮的知人善任，元天穆也不得不佩服，「那麼賀拔岳怎麼安排？」
「平定元顥之後，可以先出任西道大都督，安排他鎮守函谷關以西；待時機成熟後，便可領兵入潼關討萬俟丑奴。」爾朱榮不假思索的回答。