趙樞和張所唯恐夜長夢多，迎回趙桓的次日便開始正式撤軍。雖然有人質在手，但虎將統制王衡依然不敢有絲毫大意，他將斥候撒出了二十里，同時命一旅在渡口佈置了警戒圈，派出執法隊維持登船秩序，然後才以旅為單位上船，人和武器、馬匹不分離，一旦有變就可以迅速登岸戰鬥。
最先上船的是炮旅，他們上船後迅速在運輸船上設置了炮陣地，架設了火炮，充當炮艦使用，執行對岸警戒任務，隨後才是二旅、三旅、軍直、四旅、五旅六旅等各部。主持遼陽軍務的監軍諸葛泓更加小心他親自率領衛隊護送兩位王爺出城，為了防止被金軍偵知他們所乘的具體艦船，一行人全部換成普通軍將的服裝混雜在虎將士兵之中，使金軍派出的探子無法獲知。
午時剛過，全軍登舟完畢，待擔任警戒的一旅上船後，王衡才與金國左帥突合速及副使邢具瞻登舟離岸，『陪伴』著宋軍順流向下游駛去，他們將趕在退潮之前到達遼河入海口。
千帆競渡，百舸爭流。看看眼前的情形，突合速此刻心情十分複雜，他再次見識了宋軍的素質，遼陽城有守軍近三萬人，又是乘舟撤離卻沒有一絲混亂，除了馬蹄的『得得』聲和傳令兵及軍官的口令聲，根本聽不到士兵的喧嘩，一切都是忙而不亂，井然有序，出營前甚至還不忘將所留的垃圾焚燒、掩埋，根本看出他們是在敵國的土地上執行撤離任務。
突合速想到年前金國在入侵高麗不足一個月，宋軍便出乎他們預料調集大軍登陸高麗並馬上投入戰鬥便沒有了驚奇之處。感慨之餘，他也感到慚愧，自己對兀朮不惜代價的與南朝媾和本來還頗有微詞，認為其行為不是女真勇士所為，但現在他明白了眼前的這支軍隊已經不是現在金軍所能戰勝的，能夠與南朝實現和平對金國來說未嘗不是一種最好的選擇……
順風又順水，船隊一路無阻。在次日清晨船隊已經駛出遼河進入遼東灣。金水軍已經在去年的一系列海戰中損失殆盡，現在根本無力在出海，所以此時便已經安全了，也無需突合速在護送，便在入海前將其禮送上岸，金國和議副使邢具瞻還有要務在身，他隨船隊繼續前行前往大宋。
撤軍船隊在海上重新編組後再次升帆。兩個時辰後在船隊前海平線上突然出現一支艦隊，兩支船隊迅速靠近，已經看清來者有百餘艘戰艦結成戰陣，浩浩蕩蕩如同一座漂浮在海面上的城市。號旗擺動，兩軍聯絡完畢，前邊的艦隊皆升起滿旗。隨後火炮齊鳴十一響，這標誌著北行十一年之久的靖康帝趙桓終於回到了大宋的懷抱！
「大哥兒，這是我大宋水軍在向您致意，歡迎您回國！」看到趙桓被炮聲嚇得臉色煞白，趙樞急忙解說道。
「五哥兒，這皆是我大宋的戰船嗎？」看著一艘艘高大如山的戰艦趙桓聲音顫抖地問道。
「正是，這是大宋水軍的登州水師！」趙樞指指艦旗自豪地說道。
「哦！」趙桓有些心不在焉地應了一聲。當年若是自己手中有這麼一支艦隊可能也不會落得流落異國。
「去年我大宋出動了四支水師中的，登州、海州、明州三支水師，搭載三將之兵出援高麗，在其西京平壤城下大破金軍，只殺到遼陽城；水軍在朝鮮灣與金國水軍接戰數陣，擊沉、俘獲戰艦五百餘艘，金水軍幾乎全軍覆沒，再不敢有片板出海。這裡已經是我大宋的天下了！」趙樞指著遼闊的大海說道。
「唉，可惜燕京還陷於敵手啊！」趙桓聽罷歎口氣說道，可大家分明聽出了其中的酸意。
「呵呵，王爺差矣！」張所一愣笑道，看來趙桓被囚五國城消息斷絕對外界是一無所知，「燕京早已在數年前被收復，如今燕雲十六州早已入我手！」
「大哥兒。不止是燕雲之地，就連金國的平州、臨潢、大定三京也屬於咱們大宋之地，若不是為了大哥兒歸國，遼陽也是我們大宋的啦！」趙樞補充道。
「啊？！我大宋軍威已經強盛如斯了？」趙桓驚訝道。他沒想到局勢已經發生了如此大的變化，自己從五國城出來時他們告訴自己是大宋主動議和，要求贖回自己的。
「當然，日前西征軍已經出發討伐高昌國，用不了多久漠北也將成為我大宋的王土！」趙樞得意地說道。
「神威號靠過來了，準備換船吧！」張所說道，「此艦乃是我大宋水軍旗艦，也是陛下的座艦，特意前來相迎的！」
「啊！？嗯！」趙桓聽了臉上一喜，又黯淡下去，他意識到張所口中的『陛下』已經易主，不再是自己了。
水軍都統程僖綬親自過船將趙桓迎上了神威號，又升起了兩面王旗，眾人更衣後，在船上擺開了儀仗，十幾隻信鴿從船上騰空而起，圍繞著艦隊轉了一圈向西飛去。艦隊再次編組，搭載五國部軍的運輸船及部分艦船改變航向前往保州，一是護送他們前往，二是準備接豹將和獅將回國……
趙檉得知遼王與虎將平安撤離遼陽城以在登州水師的接應下歸國後，馬上下旨通告全國北行的遼王不日將歸國，命中書令李綱、景王趙杞、濟王趙栩、中山郡王趙諧前往登州迎奉遼王回京。同時撥款令工部在京城選址修建遼王府，供其一家居住。詔開封府清掃街道、沿街搭建綵棚、商埠張燈結綵，宣德門前立鰲山，放撲五日，共迎遼王，與民同慶。
皇帝大張旗鼓的迎接遼王歸國，有人大讚皇帝不計前嫌仁義無雙；有人卻憤憤然，皇帝將個亡國之君弄回來真是晦氣；也有人是憂心重重，擔心遼王歸國奪權，好日子過了沒幾天，國家又可能陷入動亂之中；也有人得知消息後是興奮不已，竊喜以為出頭的日子終於來了。
據說太上皇趙佶正在作畫，聽說宋金達成和議遼王不日歸京後，手一顫滴下了一顆巨大的墨點毀了一副佳作，不知道是憂心還是激動，老頭一宿沒睡在園子中轉了一宿。第二天一早不等皇帝來請安便進了宮，將剛剛起床的皇帝教訓了一頓，有當日值更的小黃門說隔著兩道殿門都能聽到太上皇的怒吼聲。
至於太上皇為什麼發這麼大的火就有了兩種說法：一說是太上皇聽聞皇帝要將皇位重新讓與遼王，自己要歸隱鄉野當一個逍遙王，不願在過問世事；另一說是皇帝此次將遼王弄回來就是要置其於死地，以報當日被逼遠走他國之仇，現在搞出這麼大的排場不過是掩人耳目，太上皇聽說後進宮大罵皇帝手足相殘，不忠不義。
兩種說法在京中流傳甚廣，可人們卻一邊倒的認為第一種最為可信，這不僅符合皇帝的性格，也是他一貫的作風，皇帝微服出宮在京中，甚至京外出現的消息屢見不鮮。而太上皇正因為『不慎』將帝位傳給了遼王導致家破人亡，自己若不是被皇帝所救恐怕現在也沒有現在的快活日子。
偶有人提及第二種說法，馬上就會被群而攻之，當年的事情大家有目共睹，遼王做事確實不地道，但是皇帝想要害他又何必費力巴士的將他從金國手中要回來，讓他死在那裡還少擔個罪名。至於太上皇為此大罵皇帝更是無稽之談，誰不知道遼王當年將太上皇囚禁，後來為爭權導致父子反目之事，難道太上皇老糊塗了，放著好日子不過還想當囚徒啊！
『皇帝將要讓位遼王』只說似乎成了唯一的正解，並開始廣為流傳，甚至傳出西夏和大理國主已經向皇帝發出邀請，讓他前往自己的國家隱居，而皇帝手下的大將們已經提出致仕要與皇帝一同歸隱，陪他笑傲江湖，雲遊四海。
讓位說越傳越真，引起了朝野上下的極度不安。而最先『起事』的是商人們，他們是皇帝開海通商的最大獲利者，當然反應也最為強烈，京師各大牙行聯名上書皇帝萬萬不能讓位於廢帝，使百姓們再陷水火之中。國子監的學生馬上響應，再次上演『伏闕上書』之事，他們在京中四處發表演說，言辭也更為激烈，歷數廢帝當年對內、對外政策的失誤，終導致靖康之恥的發生，對皇帝當然是不吝讚美之詞，細數興國年後的巨大變化。
上書之風一開便不可抑制，也從商界和士林向各行各業和各州府蔓延，連政府和軍隊也受到波及，尚書省收到的萬言書和奏表堆積如山，皆是苦求皇帝不可禪位的。而更讓許景衡緊張的是國子監的學生們竟然發動各地州學和縣學的學子，前往遼王進京之路上堵截，『勸說』其放棄皇位，結果是應者如潮，京畿四路的學生們已經出發，其他各地的學子也正前往聲援……