楊過因為妻兒被抓，不得不繼續留下來做皇帝。他已經打定主意，君子報仇十年不晚，真有耐心，二、三十年也不算什麼。等自己的功力上去了，再去救白娘子和楊愭。如果他沒有死過兩次，又轉生了兩次，絕對還是一流的強者。可惜好漢難提當年勇啊。另外他還有一個深層次的擔心，他自己有軒轅劍在手，任誰也奈何不了他。可父母雙親就不一樣。為了保護他倆及其他家人的安危，說什麼楊過也沒法，像之前打算的那樣，一走了之。
為了打消如來的顧慮，楊過急於同金人講和。在楊過看來，只要與金人將和約一簽，就表明了自己不願一統天下的立場。如來就會對自己更加放心，妻兒的生命安全更能夠得到保障。完顏雍在遭遇「水漫金山」後，已經不願再次南下攻宋了。而且因為死了十萬人，造成邊防的嚴重空缺。他反倒開始擔心宋朝的部隊會不會趁機打過來。好在南宋的邊防情況也同樣糟糕。完顏雍想了個法子，除了從後方調兵之外，還頻繁地在淮河北岸將部隊來回拉動，造成增兵不斷的假象。完顏雍心裡也巴望著與南宋的議和，見到楊過派大臣送來的和書，非常開心。但狡猾的他並不一口答應，因為他還想著要謀取更大的利益，於是獅口大開，提高議和的條件。
楊過雖然識破了完顏雍的詭計，但經過遣使談判，還是答應了金國稍做退讓後的議和條件，就是將完顏亮入侵後，宋收復的唐、鄧、海、泗四州還給金國。改宋對金稱臣為叔侄之國，將歲貢改為歲幣，數量比以前減少20萬。將秦，商二州的土地割讓給金。楊過也知，大可不必與完顏雍簽什麼和約。完顏雍若還能攻宋，怎麼捨得簽和約。但為了妻兒考慮，不得不忍下這口氣。
此時已是隆興二年，這個和議在歷史上被稱為：「隆興和議」。又過一年，楊過改元「乾道」，專心理政，使得百姓富裕，五穀豐登，太平安樂，一改楊康當朝時貪污腐朽的局面。楊過初時化了兩個假人，冒作皇后和太子，過了幾年後，想著短時間內也救不了兩人。用假人偽冒，不是長久之計。於是在乾道三年，公元1167年，先後讓「妻子」和「兒子」病故。將此事徹底做個了結。
這天深夜，楊過還留在御書房裡靜坐修煉。雖然已有三宮六院七十二妃，可他卻從來不讓她們侍寢。只因在他心裡早已裝不下多餘的愛。楊過最愛之人是小龍女，另外也常常會想念被囚的白娘子。楊過追求的是一心一意的愛情，所以他強迫自己只接受小龍女一人。畢竟攙雜了太多千年以前的因素，當初太對不起夏姬，今生也只願將愛給她一人。楊過何嘗不知他的所作所為，傷害了多少宮中佳麗。楊過現在名義上的妻子雖多，卻都是虛的。孩子們也都是前妻小龍女所生。
忽然有人闖了進來，楊過一看，卻不是當初的夫人「綠萼」。楊過激動地站了起來，抱向小龍女。小龍女卻連退了幾步。楊過見狀，只能罷了。
楊過說：「夫人，我等了這麼多年，終於把你給等回來了。」
小龍女說：「我是不會再和你在一起的。今天我來，只想問下愭兒的事。他一向身體強健，又經修煉，怎麼就病故了呢？」
楊過說：「其實他……,這也不好說，反正他還活著。」
小龍女生氣地說：「人還活著，為什麼發訃詔？你不是說過，要讓他繼承皇位嗎？你到底對他做了什麼？」
楊過說：「我沒對他怎麼樣，他是被人抓走了。不過，你放心，有朝一日，我一定會救他回來。」
小龍女說：「我信不過你。你倒給我說說，他到底是被誰抓走了。以你的本事，還有誰抓得走他。」
楊過想了想，說：「我所說的都是真的。但是為了你的安危，我不能透露對頭的來歷。總之，我一定會救他回來的。」
小龍女說：「你們楊家沒個好東西，這次恐怕又是什麼陰謀詭計吧。」
楊過說：「夫人，你要相信我。再怎麼說，我也不會害自己親生兒子吧。」
小龍女說：「愭兒有趙家血統，所以你就害他，對不對？」
楊過說：「你果真是我最親最愛的姑姑。」
小龍女有些慌亂，掩飾道：「誰是你姑姑了，我哪裡是你姑姑。我姓公孫，名綠萼。」
楊過說：「真的綠萼已經把事情都告訴我了。你就是我姑姑趙小金，只不過當年和她用了移魂**，互換身軀。」原來當年綠萼曾讓小龍女發誓，不洩露互換身體的秘密。小龍女因此從未主動對人說出。
小龍女臉色數變，最後厲聲說道：「既然你已知道，我就不妨直說。我就是趙小金，而你姓楊，你我二人本就不是什麼姑侄。非但如此，還有深仇大恨。」
楊過說：「所有恩怨都是上一代的，不要因此影響了我倆的感情。怎麼說，我們也是同床共枕的多年夫妻，連兒女都已經長大了。」
小龍女答道：「說這些有什麼用。我皇兄和母后，都是為你們楊家，害了性命吧。」
楊過說：「個中曲直，也不盡然。」
小龍女說：「其他我就不說了，你將來準備把皇位傳給誰？是不是有了趙家血統就不行？」
楊過說：「真是冤枉啊。這個你放心，就算皇位不能傳給愭兒。我也一定會在惇兒和愷兒中選一個。」
小龍女說：「只要你記住今天所說的話，也不枉負你我夫妻一場。」
楊過說：「琳兒如今怎麼樣？」
小龍女說：「她很好，不用擔心。」這些年來，小龍女和女兒趙琳一直生活在絕情谷底。另外，小龍女還從五國城救回了欽宗，如今也住在那裡。因為擔心楊家加害，未敢回到臨安。
小龍女又說：「我走了，你好自為之。」
楊過說：「你別走，留下來，和我在一起吧。」
小龍女說：「相見不如懷念，別忘了你的承諾。」
楊過雖然很想小龍女留下，但也不願強迫她，就讓她離開了。楊趙兩家的仇怨確實難以化開。