可是，為何不說說先帝駕崩後魏人乘喪犯我，殺我將士、佔我國土的事呢？當然，說些鼓勵士氣的話也是好的，但若盲目樂觀……王仲德在一旁喝著悶酒.到彥之隨陛下多年，且是江陵有功的代臣。如今陛下重用的是他，而自己作為受統於他的下屬，除了服從外，只能心存憂慮。
到了秋八月，魏主拓跋燾派遣冠軍將軍安頡督護諸路軍馬向宋軍動進攻。到彥之見魏的兵馬已近河岸，決定先下手為強，就派遣副將姚聳夫渡過黃河迎擊，結果姚聳夫兵敗，死者甚眾。過了十多天，魏主又派遣征西大將軍長孫道生駐紮黃河北岸準備進攻宋軍。
冬十月，到彥之在沿黃河南岸長達兩千里的防線上分兵置守，由於防線過長，所以每處戍點不過分兵數千人，有的甚至不滿千人。到彥之和王仲德被迫退守東平。
十月二十三，魏冠軍將軍安頡率大軍從盟津渡（盟津，又叫孟津，古黃河津渡名。在今河南孟津縣東北、孟縣西南，是兵爭要地）過黃河，準備進攻金墉城。
金墉城城池長期沒有修治，又缺乏糧食，守城的建武將軍杜驥在魏大軍渡河之前，就驚恐無所措，打算棄城逃走，因擔心軍法不容，這才沒有急走。在這危急關頭，他想到了在洛水邊撈鐘的猛將姚聳夫：何不讓他來助守金墉城呢？到那時，縱使守城不成，也可免去——至少也可減輕自己應承擔的罪責，陛下要怪罪下來，也許還可以……
原來，十三年前劉裕北伐長安滅了姚泓之後，就把西晉時遺留在長安廟堂裡的鐘鼓之具全部南運建康，途中有一大鐘因翻船沉入洛水。現在收復河南失地既已順利，劉義隆想起舊事，就讓姚聳夫帶領一千多人在洛水中探尋此鐘。經過幾天的摸找，鐘的位置已經確定。
正當眾人喊著號子牽鍾上岸的時候，杜驥派遣他的副將來對姚聳夫說：
「魏虜已南渡，但我守軍勢弱。現在城池已修整完備堅不可摧，城中糧食儲備又很充足，唯一缺少的就是人力。杜建武請君率眾增援，共守城池；大功既立，撈鍾不晚。」
聽了這話，姚聳夫立即下令停止撈鍾：畢竟大敵當前，當以守衛為務，撈鍾一事原就是陛下在無敵情的情況下傳來的旨意；再說，八月間魏虜曾在北岸吶喊挑釁，主帥到將軍命他渡河一戰以煞其氣焰，不承望渡河後中敵奸計，部下戰死或投河而死者近千人。也許此番正可報那一敗之仇！
姚聳夫欣然前往。
進了城，姚聳夫見守城將士情緒低落；巡視四周，但見城牆頹壞枯草搖曳，根本無法阻止強敵入侵。到了食時，將士們盤中的食物粗而又少：原來宋軍入城後，城中顆粒又無，只靠隨軍攜帶的有限糧食維持著，後方漕運還未能如期到達。古人常言：堅城之下無糧不守。現在的局面是軍糧未繼且城池破敗。姚聳夫自覺上當，心中罵著杜驥，但又不好在眾人面前多說什麼，只能皺著眉頭。在忍耐中度過漫長的一夜，次日晨，姚聳夫就以撈鍾是陛下旨意為由帶著他的一千五百人撤出了城。
姚聳夫一走，守城將士鬥志全無。與其束手就擒坐以待斃，還不如三十六計走為上計！而在杜驥看來，姚聳夫一走，正是一塊擋箭牌，將來陛下要是追究起來，也正好拿他說事。於是杜驥的數千守城將士也隨即撤出金墉城，就像幾十天前魏軍撤出時那樣，不同的只是度更快，陣形更亂。
二十四日，魏冠軍將軍安頡攻克洛陽，殺死宋軍將士五千餘人。
杜驥的守軍這一跑，就跑過了淮河；跑得遠的，一直跑過了大江。
而跑得最遠的，要算是杜驥了：杜驥一直跑進了太極殿！
進了太極殿，杜驥就跪拜，請罪，辯解：
「臣辜負陛下聖恩，罪該萬死！臣本欲以死固守與洛陽共存亡，但姚聳夫入城便逃，致使臣所統將士軍心渙散無意守城，先是由三三兩兩的出逃，最終形成群奔之勢，勢不可擋……」
劉義隆氣極至於怒吼，於是一紙詔令就在驛道上快傳遞著。
姚聳夫沒有申辯的機會。
姚聳夫已撤到壽陽，但他還不知杜驥身在何處，他更不知道究竟出了什麼事。他看見了中使、建威將軍鄭順之，他聽到了中使對他宣讀的詔令。如五雷轟頂，他在嗷嗷的叫冤聲中被賜死在壽陽的城腳下。
即使他有申辯的機會，皇上又會聽信誰的話？這從皇上閒暇時常常握在手中的《左傳集解》上也可見個大概。《左傳集解》是皇上喜歡的前人的作品，這個前人就是杜驥的高祖杜預。而姚聳夫是何人？皇上沒有見過。皇上從多日前從前方傳來的戰報中才第一次知道他的名字，知道他是一員偏裨小將，而杜驥則是一員官位四品的將軍。
但是，殺了姚聳夫，並沒有能就此止息劉義隆的憤怒。
此時，魏河北諸路軍——包括從洛陽順流而下的冠軍將軍安頡——正在七女津（在東平境內古黃河西北岸）集結。到彥之擔心他們南渡，就先派遣副將王蟠龍帶領士兵溯流而上搶奪魏軍船隻；魏節度諸軍的太宰杜率軍迎戰，斬了王蟠龍。接著，冠軍將軍安頡與龍驤將軍6俟率大軍進攻虎牢。
十月二十九日，魏軍攻克虎牢，宋守將司州刺史尹沖及滎陽太守崔模投降。
這樣，在洛陽失守五日後，虎牢又告失守，這再一次讓劉義隆痛入骨髓。