在6續平定了北方的一些敵對勢力之後，柔然就成了拓跋燾最大的心頭之患。就在劉義隆為準備北伐，先後平定了可能構成後患的林邑和蠻民武裝的時候，似乎為了獲得一種力量上的平衡，拓跋燾為避免腹背受敵，也在北方有時派兵，有時親自征討遊走在更北處的另一個強大的遊牧民族——柔然。
柔然是匈奴的後裔。晉代以來，柔然世代居住在頞根河和弱洛水（均在今蒙古國境內，頞根河即今鄂爾渾河，弱洛水即今土拉河）一帶，冬季則南遷到陰山地區，與拓跋魏為鄰，有時還同魏人進行貿易交換，夏季則退居漠北。柔然人逐水草畜牧，無城郭，通常居住在氈帳裡；也無文字，將帥往往用羊屎來粗記兵數，後來也漸知刻木為記。拓跋燾輕視他們，說他們「狀類於蟲」，就稱他們為「蠕蠕」，這就像為了羞辱南方人而稱劉宋為「島夷」「龜鱉小豎」一樣。
在拓跋燾的祖父拓跋珪的時候，拓跋部向南展，柔然勢力也隨之逐步擴張：西達西域，東及朝鮮，北渡漠北，南臨大磧。其周邊小國畏懼它就都歸附了它，它的戰鬥力也更強大了。
拓跋嗣死，拓跋燾繼位的時候，柔然領大檀可汗聞之大喜，乘喪侵擾魏雲中郡。十七歲的拓跋燾親征，三日兩夜急行到達雲中，大檀把他包圍了數十重，馬頭相並如牆壁一般。魏的將士大驚，但拓跋燾如初生牛犢毫不畏懼，眾心這才安定下來。
後來因部將被射死，大檀撤軍。次年拓跋燾再次兵分五路親征大檀，大檀部落驚懼北逃。
元嘉五年，大檀派其子率騎兵萬餘人入塞殺掠魏之邊民，拓跋燾率軍追擊，不及而返；六年，拓跋燾在南郊大練兵準備大舉進攻大檀。魏因連年征討，上下厭戰，拓跋燾所尊奉的保太后（拓跋燾保姆，尊之如生母）也反對征討，拓跋燾都不聽，只有司徒崔浩贊成。於是拓跋燾在四月裡從平城出，自東路向黑山挺進，同時派遣平陽王長孫翰自西路向大娥山挺進，同會柔然王庭。拓跋燾到了漠南之後捨棄輜重，率輕騎兵突襲，大檀可汗毫無防備，只得燒了廬舍絕跡西逃。大檀弟聽說有魏寇，就向兄靠攏，遇長孫翰邀擊，也大敗，數百將帥被殺。
大檀已西逃，不知所向，其部落四散，牲畜滿山野，無人收管，高車（又稱敕勒、鐵勒、丁零）等部落也乘機抄掠。這樣，柔然各部落先後降魏的有三十多萬落，魏軍收穫戰馬百餘萬匹，畜產、車廬彌滿山澤，數以百萬。不久，大檀可汗憂憤而死，其子吳提繼立，號敕連可汗。自此，柔然勢力大衰。
其後二年，魏邊吏抓獲柔然巡邏兵二十餘人，拓跋燾賜給他們衣服、食物後放了他們，敕連可汗很感激，就派使者到魏，拓跋燾厚待他們。又過了幾年，在魏征討北燕等勢力時，柔然得以恢復，力量逐漸壯大，又時而寇擾魏邊。
元嘉十五年五月，拓跋燾到五原（今內蒙古包頭市）；秋七月魏數道並進北伐柔然，但追尋日久也不見柔然人馬，只得空手而歸。時漠北大旱，又無水草，魏軍人馬多死。次年六月，拓跋燾讓太子晃留守，自己率大軍伐北涼王牧犍；敕連可汗乘虛而入，率精兵直撲平城郊外七介山；平城官民大驚，爭相擠入中城。此時恰逢魏邊將打敗了留守北鎮的可汗兄乞列歸，斬萬餘級，可汗聞之才匆匆北歸。
元嘉二十年九月，拓跋燾率兵到達漠南，棄了輜重，以輕騎兵襲擊柔然，在鹿渾谷（在今內蒙古西拉木倫河西）遭遇敕連可汗的軍隊。
隨軍征討的太子晃勸乘敵不備急擊，而尚書令劉吉卻諫：
「賊營中塵土飛揚，兵馬必多；到了平地，恐遭圍困。不如待大軍集結然後進攻。」
太子晃反駁說：
「塵土飛揚是驚擾奔跑所致，不然，軍營上怎會有如此塵土！」
拓跋燾疑惑，沒有急擊，柔然得以遠逃。後來魏軍抓獲柔然偵探，偵探說不知魏軍突至，上下驚恐，可汗率眾北逃，走了六七天，知道再無追兵，才徐行。拓跋燾聞之大悔，但見了太子有如此見識，很高興，自此軍國大事都與太子商討；隨即又下詔令太子晃副理萬機，總統百揆，侍中兼中書監穆壽、司徒崔浩等輔佐太子決政事，上書皆稱臣，儀與上表同。
次年春，魏中山王拓跋辰、尚書奚眷等八將因擊柔然失期，被處死。魏連續征討柔然，勞民傷財，死傷眾多，上下怨怒。同年九月，拓跋燾再至漠南，敕連可汗遠逃。不久敕連可汗病死，繼位的處羅可汗單弱，遠避魏人，從此柔然不敢再犯魏邊。