楊過找遍了臨安城的大街小巷，都沒有發現小龍女的形跡。天色已深，不得不放棄找尋，返回王府。楊過到了王府門口，見大門已經緊閉，敲了幾下門，無人回應。還以為是負責開門的下人睡過去了，聽不見敲門聲。反正旁邊無人，用個法訣直接穿門而入。往裡走了十幾步，突然心生警兆，剛想避開，已經來不及了，被人暗用定身法定在了當場。
不一會，對面圍過來十幾個女子，年齡不一，秀色可餐。楊過看了，不正是桃花谷的那幫人嘛。暗想，和她們也沒結什麼深仇大恨，竟然大老遠找上門來。
劉芷若指揮桃根、桃干、桃枝、桃實四仙將楊過抬進客廳，放到一張椅上。其他人也都跟著進來。緊接著客廳的燈燭被點起，大門被關上。劉芷若親自過來審問楊過，桃花谷的弟子們則自覺地散到兩邊。
劉芷若解開楊過的說話限制，問道：「趙伯琮，你可知道本派公孫綠萼以及趙小金的下落？」
楊過說：「誰是公孫綠萼，我不認識啊。至於我姑姑，我也正在找她呢。」
劉芷若說：「好個刁鑽小子。對了，你應該不是丐幫弟子吧。你到底師從何人？」
楊過說：「我一身所學都是義父傳授。」
劉芷若問：「你義父又是誰？」
楊過說：「還會有誰，自然是當今皇上了。」
劉芷若說：「那他又從何處學藝？」
楊過說：「沖虛道長『王文卿』是我師祖。你若是識相，最好不要動我。」
劉芷若呵呵一笑，說：「我從來都不覺得他有什麼厲害，無非是個沽名釣譽之輩。我倒是很奇怪，他的門下怎麼可能培養得出像你這樣出色的人物。」
楊過說：「誰讓我天分奇高，舉世再無。」
劉芷若雙目一亮，似乎想到了什麼。又說道：「還是回到剛才的話題，你到底知不知道公孫綠萼和趙小金的下落？」
楊過說：「我是真的不知道。」
劉芷若說：「你不說，我也有辦法讓你開口。」說完默念法訣，運起「催幻術」。催幻術是一種讓對方陷入迷幻，放棄精神戒備，有知必答的法術。
可無論劉芷若如何動用精神波影響楊過的腦部，都無法奏效。楊過精神力之強，無法想像。劉芷若的精神波就像撼樹蚍蜉，徒勞無功。劉芷若一狠心，要緊牙關，催動全身功力，發出最大強度的精神波攻過去。突然激起了楊過精神體的反彈，射出一道極強的精神波反向攻入劉芷若的腦部。劉芷若「啊」地一聲，暈了過去。
桃花谷眾弟子連忙圍上去扶住她的身體，施展功法救治。回過神來，發現楊過已經不在了。原來楊過的精神力因劉芷若的攻擊而觸發，定身法的狀態隨即被解。楊過發覺自己已經正常後，立即施展「瞬移**」跑了。
經過桃花谷眾弟子的救護，尤其是桃谷六仙的合力發功，劉芷若恢復正常，甦醒過來。劉芷若回過神來之後，心有餘悸，不敢派人去追尋楊過，正不知如何是好之際。突然感應到又有人飛落進王府，連忙率弟子前往擒拿。卻見來人正是郭芙。郭芙沒有防備，加上修為太弱，很快就被拿獲了。
劉芷若動用「催幻術」，很快從郭芙口中，問清了她的來意。原來她已經和「趙伯琮」定婚。但是「趙伯琮」在秀州的生父、生母，突然暴斃，而她的師兄全冠清最有殺人嫌隙。為了弄清真相，消除雙方誤會。丐幫的人趕去秀州調查，雖然驗明「趙伯琮」生母是被人所殺，卻也沒有直接證據證明是全冠清所為。在大家全力查找真兇時，全冠清找了個機會，脫身逃走。大家又紛紛去搜尋他。本來郭靖、黃蓉讓徒弟們把郭芙看得死死的，不使她有機會逃走去找「趙伯琮」。事情起了變化後，疏忽了對郭芙的看管。讓她也瞅準機會，來了個金蟬脫鞘。郭芙直奔臨安，意與情郎相會，不料正中圈套。
劉芷若想著雖然逃走了一個「趙伯琮」，但又網到另一條大魚，也算是有點收穫。能不能引出外逃的弟子公孫綠萼，及被她放走的趙小金，只能從郭芙身上下手了。
楊過在王府外面躲得快至天亮，仔細地想了想自己逃走時的情景。覺得桃花谷的人也並不是如同傳說中那樣厲害，如果自己當時不逃開，而是選擇趁機反擊，必定可以重創她們。但想到人家都是美麗女子，自己怎能捨得辣手摧花。
楊過越想，膽子越大，決定回王府，去看看她們還在不在。還有小龍女會不會回到王府，並落入她們手中。只要自己小心謹慎，諒她們也對付不了自己。而且精神受激之後，感覺又有許多能量從體內生出，功力更上一層，自然增了不少膽氣。
楊過小心翼翼地摸進王府，並未發現桃花谷的人，倒是看到下人們都中了催眠術，昏睡不醒，或在各自床上或被藏在隱蔽處。楊過不理他們，潛入客廳，依舊未見一人。正鬆了口氣，突然發現牆上被寫了五個字「人在桃花谷」。另外字下邊的案几上，還放了一塊白色的女子衣物的袖角。
楊過想，莫不是小龍女，被她們抓住帶往了桃花谷。但桃花谷又在哪呢？也在苦思對策之際，察覺有不少人飛進了王府後院。過去一看，竟然是郭靖、黃蓉帶著丐幫弟子又來了。
楊過如今倒也不怕他們，乾脆大模大樣地迎了上去。黃蓉問：「芙兒有沒有來過？」
楊過說：「應該沒有。」
郭靖說：「趙小兄弟，你一定要據實以告。」
楊過說：「你們自己沒看好女兒，卻到我這裡來找人，豈不可笑。」
黃蓉說：「我們之前是有些誤會。你不會因此而傷害芙兒吧。」
楊過說：「她真的沒來過。」
黃蓉說：「那就得罪了，我要進去搜一搜。」
楊過說：「反正不在我這，要搜你們儘管搜。」
黃蓉也不答話，領著丐幫的人往裡走。到了客廳一看，見了牆上的字和案几上的袖段。大驚失色地說：「不好了，芙兒被抓去桃花谷了。」
楊過也是大吃一驚，想著不是小龍女被抓走了嗎？再一想，莫不是自己先入為主，搞錯了。便問黃蓉說：「你確定？」
黃蓉說：「這袖口的花邊，是我親自做的，怎會有錯。倒是你，人在你這丟了，難道沒發現？」
楊過說：「桃花谷的人莫名其妙地來我府上找麻煩。我逃出去，剛回來，自然不知道發生了什麼。」
郭靖說：「這該不會是你故弄懸疑吧。」
楊過說：「我堂堂一個王爺，有必要這樣做嗎？」
黃蓉說：「看來得去桃花谷一趟了。」
楊過說：「好啊，慢走不送。」
黃蓉說：「不行，你必須得跟著去。」
楊過說：「為什麼，好像不關我事啊？」
黃蓉說：「人是在你府上丟的，再說也是你的未婚妻，你怎能袖手不管。」
楊過說：「聽起來是很有道理，但我就是不去。」
郭靖說：「你若是不去，芙兒有個閃失，唯你是問。」
楊過剛要回絕，又想到這次的事情來得蹊蹺。姑姑也和桃花谷的人扯上了關係。應該去一趟，興許可以找到姑姑，就應了下來。
楊過拿來一隻筆，在「人在桃花谷」下方又寫上一行字「我去尋人」。因為去和爹娘辭行的話，爹娘肯定不准。乾脆也在牆上留言，說明去處。
楊過和郭靖、黃蓉等丐幫中人，一起向西出發，飛往傳說中的桃花谷。