孫恩因戰敗而投水死，眾人推其妹夫盧循為主早在東征盧循的時候，劉牢之的外甥何無忌就勸劉裕在會稽起兵征討桓玄，但劉裕認為桓玄還沒有登極位，討伐他就名不正言不順，並且會稽遙遠，難以成就大事。現在桓玄既然如此，劉裕覺得機會成熟了，於是就和原北府兵的一些官兵何無忌、諸葛長民、劉毅、孟昶、檀道濟等密謀準備在京口、廣陵、歷陽等處同時起兵討伐桓玄，眾人共推劉裕為盟主。
元興三年二月二十七日，劉裕假托狩獵，與何無忌在京口（在今江蘇鎮江）聚集了一百多人準備起事。次日晨，京口城門開，何無忌穿著傳詔服，扮成傳詔使者，走在前面，其他人隨著他一擁而入，齊聲大叫著衝進官府，斬了桓玄的堂弟徐、兗二州刺史安成王桓修。隨後在何無忌的推薦下，劉裕延請有治國才幹且賦閒在家的劉穆之為主簿，共參大事。
與此同時，孟昶在廣陵（青州刺史治所，在今江蘇揚州）也勸桓修弟青州刺史桓弘外出打獵，天未亮，打開城門讓參與狩獵者出城，孟昶與劉毅、劉裕弟劉道規等率數十名壯士直衝桓弘住處，把正在吃粥的桓弘斬了，隨即率領眾人渡江。
諸葛長民在歷陽（豫州刺史治所，時稱「西府」，是建康的西大門。在今安徽和縣）因故失期，不能得手，反而被豫州刺史刁逵抓獲，刁逵用檻車把他送給了桓玄。
桓玄得知劉裕等起兵且布檄文，驚懼之下殺了原準備在京都作義軍內應的王元德等人，同時派遣自己的驍將頓丘太守吳甫之、右衛將軍皇甫敷前往京口迎擊劉裕率領的一千餘人。
三月初一，義軍在江乘（在今江蘇句容北）與吳甫之相遇，劉裕手持長刀大呼砍殺，當即斬了吳甫之；隨後義軍又遭遇皇甫敷，同樣臨陣斬了他。桓玄得知損了兩員戰將，大驚，急忙派遣桓謙、卞范之等率兩萬將士去覆舟山（在今南京太平門西側）以抵抗劉裕的義軍。
初二，義軍食畢丟掉餘糧，挺進覆舟山東側，派老弱登山多設旗幟作疑兵。桓謙的士兵多是過去的北府兵，他們一向畏服劉裕，如今見如此形勢，都沒有了鬥志。劉裕身先士卒，與將士們殊死作戰，無不以一當百，吶喊之聲驚動京都，桓謙軍大敗。
桓玄事先就在石頭城（故址在今南京市清涼山）下備好船隻準備隨時逃走，現在見如此敗勢，就以赴戰為名帶著他的親屬和數千親信，出南掖門後西奔石頭城，然後下大江向西逃去，義軍乘勝追擊。石頭城背山面江，其時江流緊迫山麓，城南臨秦淮河口，地處交通要衝，是京都建康的軍事重鎮。
初三，劉裕鎮守石頭城，立留台百官。古稱皇家禁城為台城，此時安帝已經被桓玄流放到尋陽，義軍就在建康設立臨時機構和百官。眾人推舉劉裕為使持節、都督揚州徐州等八州諸軍事、領軍將軍、徐州刺史；隨後義軍又任命劉毅為青州刺史，何無忌為琅邪內史，孟昶為丹楊尹，劉道規為義昌太守。
初十，劉裕回鎮東府（宰相及揚州刺史的府第，在今南京通濟門附近，臨秦淮河）。
既掌控京都，劉裕就把朝政要務都交給劉穆之處理，事無大小，也都向他咨詢；為重振綱紀，劉裕以身作則，內外百官肅然奉職，不過十日，撥亂反正：原先的混亂局面一時頓改。
桓玄逃到尋陽，江州刺史郭昶之在器具和兵力上資助他，他又逼迫被流放的安帝和自己一道向江陵逃去，冠軍將軍劉毅和輔國將軍何無忌、振武將軍劉道規率軍追趕。
到了江陵，桓玄廣泛招募士兵，並大造戰船、器械，四月底，他又率領兩萬將士，挾持著安帝順江而下開始反撲，在崢嶸洲（在今湖北鄂州境內的長江中）與劉毅的軍隊相遇。劉毅的軍隊乘風縱火，盡銳爭先，桓玄大敗，不得不燒了輜重連夜西逃。到了江陵，桓玄準備逃往西蜀，被益州督護馮遷殺死。劉毅把他的級傳到京都，梟朱雀航（故址在今南京市鎮淮橋稍東）。朱雀航又作「朱雀橋」「朱雀桁」，又稱「南航」「大航」，跨秦淮河上，航長九十步，寬六丈，有警則撤航為備，是京都的城南門戶。
直到次年正月，劉毅才攻破桓氏餘黨佔據的江陵；到了五月，以桓振為的諸桓殘餘被徹底平定。
在劉毅等攻破桓氏餘黨佔據的江陵時，安帝才上了劉道規的戰船，然後下詔大赦，改元為義熙。
三月，安帝回到建康，以劉裕為侍中、車騎將軍、都督中外諸軍事，徐、青二州刺史如故，劉毅為左將軍，何無忌為右將軍、豫州刺史，劉道規為輔國將軍、并州刺史。
為了表現一種姿態，劉裕固讓不受職，似乎有一種不敢當的意思。
到了四月，劉裕還鎮京口，朝廷改授他為都督荊、司等十六州諸軍事，加領兗州刺史，朝政仍然掌握在他的手中。
五月，已經掌控朝政的劉裕派使者去長安（在今陝西西安），以向後秦求和為名，索要七年前因晉將歸降後秦而失去的晉朝土地。後秦主姚興畏懼他，就把南鄉、新野等十二郡歸還給了他。
朝廷封劉裕為豫章郡公，劉毅為南平郡公，何無忌為安成郡公。
義熙二年（公元4o6年），年已四十四歲的劉裕才有了自己的第一個兒子劉義符。
義熙四年，因司徒、錄尚書、揚州刺史王謐薨，朝廷征劉裕入輔，任命他為侍中、車騎將軍、開府儀同三司、錄尚書、揚州刺史，徐州刺史如故。所謂朝廷，當然是被劉裕的親信劉穆之等人掌控的朝廷。
也許是劉裕的女人開始多起來了，這一年他有了兩個兒子：次子劉義真和第三子劉義隆。
義熙五年（公元4o9年）二月，建都廣固（在今山東益都西北）的南燕主慕容嫌太樂伎人太少，就派兵侵犯晉淮北地區，俘獲濟南太守趙元等，擄掠千餘家，然後挑選男女二千五百人給太樂教習。
劉裕正要做幾件大事讓世人瞧瞧，以確立自己在國家的威望，南燕主慕容為他提供了機會。
三月，劉裕力排眾議上表北伐。
四月，大軍從京都出，沿淮河進入泗水。
五月，大軍到達下邳（在今江蘇睢寧西北），留下船艦輜重，步行進入琅邪（在今山東膠南縣西南）——這種遠征的辛勞是自不待說的，所過要地都修築城壘加以防守。
起初有人擔心慕容會佔據大峴（在今山東臨朐東南，即穆陵關，是齊地天險），或堅壁清野，大軍深入不僅將無功，甚至不能撤歸。劉裕雖然沒有什麼文化，但他的識見卻遠過他人，他解釋說：
「慕容生性貪婪，且無遠慮，他最多只會進佔臨朐，必不會守險清野！」
待劉裕大軍入境，慕容的謀士建議佔據大峴，堅壁清野，慕容果然不願採納，他錯誤地認為劉裕遠來疲敝不能持久，只需縱敵入大峴，然後用精銳騎兵衝撞踐踏即可。
劉裕過了大峴不見燕兵，就舉手指天，喜形於色：「兵已過險，士有必死之志；餘糧棲畝，人無乏食之憂。虜已入我掌中！」
六月，慕容先已派其大將公孫五樓率步騎兵五萬人佔據臨朐；聽說劉裕已過大峴，慕容又親自率步騎兵四萬前往增援。劉裕把四千輛戰車分為左右翼，並車徐行，與南燕軍戰於臨朐城南，至太陽偏西不分勝負。
這時參軍胡藩建議趁臨朐城內空虛，繞道從敵後攻下臨朐。劉裕很賞識他的建議，就派胡藩率軍繞道敵後，胡藩果然很快就拿下了臨朐城。劉裕率領大軍乘勢奮擊，殺敵大將十多人，南燕軍大敗，慕容倉皇逃回廣固。劉裕乘勝追至廣固，不久就攻克其大城，慕容退守小城，晉軍隨即築長圍包圍小城。
晉軍也停止了遠自江淮的漕運，只憑齊地糧食作為軍糧：一切都在劉裕的掌控之中。
這時持戈背糧前來投奔劉裕的北方民眾日以千計——他們大都是過去的漢家百姓，慕容的大將垣尊、垣苗兄弟也越城來降。
其後數十日晉軍攻城不破，有人舉薦：若能得到慕容的尚書郎張綱，讓他製造攻城器具，城就可破。此時恰逢張綱從後秦求援歸來，被晉軍俘獲，劉裕就把他放在樓車上讓他向城內喊話：「夏已破後秦，無兵相救！」城內燕軍大驚失色，慕容請求割讓大峴以南的土地向晉稱臣，劉裕沒有答應。
這時後秦姚興派使者來告訴劉裕：秦燕兩國交好，如今晉急攻燕，若不撤退，秦軍駐紮洛陽的十萬鐵騎將長驅進逼！劉裕聽了哈哈大笑，然後對使者說：「回去告訴姚興，滅燕之後，息兵三年，我當前取關、洛；若能自送，就盡快來！」謀士劉穆之事後責怪他這樣只會張虛聲招實害，劉裕笑著說：「兵貴神。姚興若真能赴救，就害怕我知，怎會事先跑來預告我？這不過是他虛張聲勢：他見我伐齊，自顧不暇，又怎能救人！」
後來的事實再一次證明，劉裕的識見高人一籌，也許還遠不止「一籌」！
張綱所造攻城器械，有飛樓木幔，極盡機巧，城上火石弓箭奈何不得。
義熙六年二月初五，劉裕準備大舉攻城，有人勸阻說：「今日是往亡日，不利征戰。」往亡日，舊歷每月皆有，是陰陽家所謂凶日：此日忌拜官上任、遠行歸家、出軍征討等。劉裕聽了一笑置之：「我往而敵亡，又有何不利！」於是四面急攻，已無鬥志的燕守將開門引入晉軍，慕容率數十名親信飛馬突圍而去，晉軍追擊捕獲了他。劉裕責其不降之罪，斬其王公以下三千人，將其城池夷為平地，把慕容送到京都建康斬：南燕歷十三年而亡。
上一年，劉裕依外交手段從後秦主姚興那裡收回了南鄉、新野等十二郡，這一次又靠軍事手段滅了南燕，這都使得晉的版圖擴大了，也使得他的個人威望大大地提高了。