魏連年征戰，然後把被征服的柔然、高車等部落南遷到魏的邊塞，再向他們徵收繁重的畜產貢獻，又驅逼他們為魏作戰，且大都做馬前卒，又遠遷諸種族人口五千餘家去接近柔然，讓他們放牧以誘引柔然來抄掠，加之每每遠征，士卒多死，官府卻不許死者家屬喪，這都激起了北方人的強烈反抗。
此前，魏民間紛紛傳言：「滅魏者吳。」
元嘉二十二年九月，二十九歲的盧水胡人蓋吳在杏城（在今陝西黃陵西南）聚眾造反，其他種落久不堪魏人蹂躪，紛紛舉兵響應，隊伍很快展到了十萬人。十月，拓跋燾派遣將領元紇去征討，元紇被蓋吳殺死，蓋吳的勢力更盛。拓跋燾原先以為蓋吳不過是一介蟊賊，不以為意，得知元紇被殺，才急令高平（在今寧夏固原）的敕勒族騎兵急赴長安，後又增兵進駐渭水北岸。
蓋吳派其部將白廣平西攻新平（在今陝西彬縣），安定諸胡人舉兵響應，並殺死魏汧城（今陝西千陽）守將；蓋吳自率大眾進攻李閏堡（在今陝西大荔北），再分兵進攻臨晉（即今大荔）以東。魏的將領章直迎戰，蓋吳兵敗，赴黃河溺死者達萬餘人。蓋吳再次西進長安，魏將叔孫紇迎戰於渭水北，蓋吳兵又敗，死傷萬餘人。
被遷居河東的蜀人薛永宗聽說蓋吳起兵，因久懷被蹂躪的怨恨，也聚集被遷的三千蜀人盜取官馬數千匹，進入汾水流域，西通蓋吳，並接受蓋吳所授予的將軍名號，屢屢攻破魏人諸縣。
魏秦州刺史周鹿觀率軍征討，但無功而返。拓跋燾又派遣殿中尚書拓跋處真率兩萬騎兵討薛永宗，殿中尚書乙拔率三萬騎兵討蓋吳，西平公寇提率一萬騎兵討白廣平，同時詔令切斷蓋吳與薛永宗的來往之路。但蓋吳的力量仍在壯大，他自稱天台王，署置百官。
元嘉二十二年冬，既是因形勢越不利，也是因生性喜愛征討，拓跋燾親率大軍西征。他遠眺薛永宗的營壘，然後包圍了它；薛永宗不知虛實，出戰，結果大敗，隨後與家人盡投水而死。其宗人薛安都先已佔據弘農（在今河南靈寶），見形勢不利，就棄了城南奔劉宋。
拓跋燾渡過黃河，前鋒報告說蓋吳在渭北；拓跋燾到達洛水橋，蓋吳已連夜撤退。拓跋燾問計於崔浩，崔浩建議先破蓋吳老巢然後再追擊蓋吳不遲，拓跋燾不聽，再渡水至渭南，向長安進。蓋吳的武裝得知魏軍大規模到達，全部分散潛入北山中。拓跋燾無所獲，悔不聽崔浩計。
拓跋燾一向器重名僧寇謙之，信奉其學說，但崔浩不好佛法，常對拓跋燾說佛教虛誕，是世之費害，應予以誅滅。
到長安後，拓跋燾進入一佛寺，御馬官牽馬入寺放牧——長安沙門往往在寺內種植莊稼。沙門慇勤，在拓跋燾離開寺後留御馬官喝酒；御馬官在寺內溜躂時，無意中現沙門起居的便室裡有大量弓箭戈矛等兵器，於是稟告拓跋燾。拓跋燾大怒：
「兵器非沙門所用，此必與蓋吳通謀！」
拓跋燾令隨從官徹查，然後殺了寺內所有沙門。查抄寺內財物時，他們又看見大量釀酒器具以及州郡長官、富人所寄存在寺內的財物，數以萬計；還現寺內建有密室，室內佈置華麗，原來那是沙門與入寺做佛事的香客富家女私行通姦的地方。
拓跋燾忿恨沙門非法，而隨行的崔浩又趁機勸他盡誅天下沙門、毀掉佛像佛經；寇謙之力爭，崔浩不聽。於是拓跋燾下令先盡誅長安沙門，焚燬經、像，然後敕留台（即太子晃所居平城）宣告四方，令天下依長安法行事，同時下詔：
「昔漢代昏君，信惑邪偽以亂天常，自古九州之中，未嘗有此。佛教夸誕大言，不合人情，昏君亂主，無不惑焉。由是政教不行，禮儀大壞，千里蕭條，不見人跡。朕欲除偽定真，復聖主之治，自此蕩除佛神，滅其蹤跡。敢有事佛神及造形像泥人、銅人者，門誅！有非常之人，然後能行非常之事。非朕孰能去此歷代之偽物！有司宣告州郡官長，諸有佛圖形像及佛經，皆擊破焚燒，沙門無少長皆坑殺。」
太子晃一向好佛法，聞之震驚，急諫刑殺沙門之濫，但拓跋燾不聽。太子晃就延緩宣詔，以使遠近沙門在得知消息後各自為計。這樣，許多沙門才得以攜帶經、像藏匿免難，但魏境內所有塔、廟盡皆摧毀。
離開長安之後，拓跋燾又率軍到達盩庢（今陝西周至），誅殺了大批與蓋吳通謀的民眾；到達陳倉（在今陝西寶雞）後，又誅殺了曾經參與殺死魏散關氐守將的民眾。不久，魏將乙拔等在杏城大破蓋吳，蓋吳處境艱難。蓋吳於是派使者趙綰飛馬南奔，向劉宋王庭求援，希望能和劉宋聯合起來南北夾擊魏人。
但此時劉義隆卻未能出兵聲援，因為他也遇到了麻煩。