建康元年，十月，天氣驟然寒冷，趙構不顧張俊和李綱的強烈建議，執意離開建康，向杭州退去。前往杭州的路上，趙構乾脆免去了李綱中書門下平章事的職務，將他的宰相帽子直接扔給了汪伯彥，由汪伯彥接任，將李綱徹底貶謫。
汪伯彥終於如願以償地做了宰相，立刻便向趙構提議，定都杭州，將建康改為陪讀。這一系列的舉動，基本上完全沒有和李成有過商量，使得朝中對於李成的流言也漸漸多了起來。
而且李成從前在徽宗手裡便已經聲勢逼人，加上蔡京和童貫等人先後倒台，李成在朝中勢力便顯得有些受人矚目。而趙構登基以來，李成依舊備受看重，很多人便有些不滿。只是礙於趙構和李成關係親密，加上李成手中掌握著將近十萬人的大軍，而且這些官員們的安全也大多要依靠李成，這才使得一些人不敢將心中的不滿表面化。而這時趙構的幾次重要決策都沒有讓李成過問，便立刻引起了眾多猜測。
李成這時雖然知道這些流言，卻沒有太過放在心上，他早已萌生退意，對這些官場中的碾壓也就不是十分在意了。而趙構的疏遠卻讓他或多或少有些不是滋味，只是這種情緒他也不敢十分表露，只是每天把自己扔在軍務上這才覺得好過一些。
這天巡視了負責警戒的幾處親衛，剛剛回到自己的營帳，就看到趙構的隨身內侍進來笑道：「王爺，皇上請您過去要要事相商。」
李成聞言，也沒有去問究竟是什麼事情，便向趙構的御帳趕去。這時由於距離杭州已經不遠，前面已經派了軍隊前往準備皇帝的行宮。由於不再擔心金兵追來，李成基本上已經十分清閒了。
趕到趙構的御帳，便見汪伯彥和張俊等人已經在帳內了，看到李成進來，趙構笑道：「衛王一路辛苦，如今已經到了杭州總算不用再擔心金兵了，朕難得輕鬆。能有今日，也是衛王一路操勞。朕正在和汪愛卿商議，看如何賞賜愛卿呢。」
沒等李成開口，旁邊汪伯彥已經笑道：「衛王殿下如此年輕的太師，恐怕是我大宋難得一見的。皇上如此倚重，真事令人羨慕！」
李成掃了一眼，滿臉得意的汪伯彥，淡淡地笑道：「李成只是僥倖做了一些應該做的事情，請皇上不要放在心上，也請汪大人不用太過在意。」
汪伯彥的笑容微微一僵，卻還是點頭笑道：「王爺文武雙全，年紀輕輕便已經成為股肱重臣，翻遍史冊，能夠相比者不過一二人而已。大宋能有王爺這樣的天縱之才，也是皇上慧眼識才，如此明君，亦是難得一遇。」
看他說話間句句不忘討好趙構，費盡心思地扯什麼賢臣明君，李成並不覺得難過，只是覺得好笑。如果處在國家危亡的時刻，作為重要的大臣，想得還是怎麼巴結討好，李成十分期待著歷史的車輪將這些無恥的嘴臉徹底碾碎。
想了想，李成還是勉強笑道：「汪大人一心為國，倒是更讓李成敬重，看來大人也應該多為國家和百姓做點事情，這樣才算得上的賢臣，才算不辜負皇上的期望。」
汪伯彥雖然有些惱火李成的話，可是也不敢怒，只是乾笑道：「衛王殿下，眼看就可同家人團聚，如此遠見著實令人羨慕啊！」
李成懶得和他在嘴皮子上打架，淡淡地點頭道：「皇上傳召可是有什麼要緊的事情？」
趙構看了一眼汪伯彥，點頭道：「張愛卿還是希望朕回建康定都，朕想聽聽愛卿的意見。」
李成知道趙構自己的希望在杭州定都的，便知道反對也沒什麼用，便點頭道：「建康雖然不錯，但是皇上已經到了杭州，不如暫時落腳，待局面評定之後再商議定都的事情。」
趙構顯然十分滿意李成的話，立刻點頭道：「如此甚好，就以衛王所言去辦吧，定都的事情，終究乃是大事，需要慢慢商議之後再做決定。」
說到這裡，他望著李成，點頭道：「再有兩日，便可抵達杭州，衛王倒是可以一家團聚了，這次果然乃是天意，若非當日衛王前往處置童貫，家眷必定也難以跟隨南下，這次反而逃過大難，叫人感慨萬分，來日到了杭州必定要傳召衛王妃，想來如此福澤深厚，朕理當一見。」
李成急忙躬身道：「皇上看重，微臣不勝感激，只是微臣家眷並沒有見過什麼世面，難免失禮粗鄙，反而令皇上難受。」
趙構臉色一沉，搖頭歎道：「此事不提也罷，稍後再說罷。今日就到這裡吧，朕有些累了，眾卿先下去吧。」
李成聞言，有些詫異，看到張俊眼中閃過一絲冷厲的目光，便趕到有些蹊蹺。來到帳外的時候，看到張俊正要離開，急忙上前一步，低聲道：「張大人，可是有了京師的消息？」
張俊停下腳步，看著李成，皺眉道：「大人難道不知道，剛剛接到太上皇和眾多宮眷已經被擄往上京？皇上卻沒有想辦法挽回，而且宮眷眾多，又有太上皇和靖康皇帝，目前真是叫人無計可施。只能派人前往買通金人，或者能救回幾人。」
李成想起歷史上欽宗慘死的記載，又想起欽宗那年輕人共有的笑容，心中忍不住也有些傷感。看到李成神色傷感，張俊也不覺黯然歎道：「李大人無需擔心，太上皇終究都是大宋的天子，金人既然得了許多好處，必然不敢為難。待將來收復汴梁，必定能讓金人交還兩宮聖駕。」
李成點了點頭，想起一直沒有消息的何栗，不覺歎了一口氣，拱手道：「張大人可有何栗何大人的消息？」
張俊驚訝地看著李成，思索片刻，搖頭歎道：「何大人的消息，下官並沒有聽聞，王爺或許再找人打探一下，何大人只是一般文臣，想來不會有事。」
說到這裡，他神色更加淒惶，李成有心再問，也不好再說下去，只好寒暄幾句，這才告辭。回到自己帳中，還沒有坐下，就聽外面傳來一陣隱隱的腳步聲，不覺皺眉道：「誰在外面？進來吧！」
他話音剛落，就看到張憲大步走進來，神色有些異樣。看到李成，他拱手道：「王爺，小人剛剛打聽到了何栗何大人的消息……」
李成大為驚喜，急忙追問道：「何大人可還好？身體如何？」
張憲神色一黯，搖頭道：「何大人被金人關入獄中，因不願降金，去年便已絕食殉國了……」
李成只覺渾身一冷，身上一陣無力，嚇得張憲上前一步，扶著李成低聲道：「王爺，何大人為國盡忠，守節而死，實在令人佩服，王爺千萬不要太過傷感，」
李成被張憲扶著，這才回過神來。他雖然早已料到了一點何栗的結局，但是這時親耳聽到卻還是有些難過。尤其事何栗數次在自己最艱難危險的時候挺身而出，這份情義，李成實在不能不趕到難受。
聽到張憲的話，李成不覺長歎一聲，搖頭道：「何大人的家眷現在何處？可曾找到？」
張憲避開李成目光，不安地道：「京師那邊混亂紛雜，何大人的家眷如今還是難以找到行蹤，張大人已經特地派人前去尋找，想來終究會有消息的。」
李成想起從前在汴梁的那些熟人，心中更是剛愛萬分，不覺長歎一聲，點頭道：「宗大人亦是盡忠而逝。你也要節哀才是，我這裡恐怕不會再有什麼前途，回到杭州之後，你和岳飛便帶著這些親衛前往抗金吧。這樣，我心裡還能好受一點。」
張憲聞言，驚訝地望著李成，點頭道：「王爺放心，末將必定會和岳將軍一同前往抗金，必定要讓金人知道大宋的厲害！」