按照青幫的成立原因來說，青幫應該與朝廷不應該有什麼深仇大恨才是，但是自從乾隆三十一年潘祖去世之後，青幫便陷入互相爭奪之中，最後雖說蘇慶祥當選了青幫的第二任領頭人，但是派系之間明爭暗鬥，有的聯合官府打壓幫眾，青幫的發展開始受到影響。直到乾隆四十五年蘇慶祥才憑借自己的鐵血手腕完成了青幫的統一。但是青幫的勢力卻受到了極大的影響。而這個時間隨著和珅的登台，全國的貪官污吏大量湧現，江南官員看中漕運了這個肥缺，每年不斷的給青幫施加壓力，增填賦稅，青幫的日子越來越不好過，幫眾不斷的反抗，好幾次幾乎與官府發生衝突，這樣長此以往下去，青幫必定會面臨解散的危險，蘇慶祥也曾幾次拜訪官府但是都無功而返，還搭了不少銀兩，這讓青幫的領導人極其不滿，久而久之就像要報復官府，這次綁架阿桂就是青幫報復官府的方式之一。
當阿桂醒來的時候便發現自己安安穩穩的躺在一處略顯乾淨的茅草房屋裡，四周除了一桌一椅之外在沒有什麼東西，想起被打暈之前的事情，阿桂便一身惱火，但是阿桂卻清晰的知道現在並不是惱火的時候，當務之急還是要弄明白自己為什麼被綁架在此，但是待遇似乎還是不錯。因為……
「老爺，你醒了，我家太師太請問老爺，若是醒了是否客房就餐。」就在阿桂思考接下應該怎麼辦的時候一個稚嫩的聲音從門外響起。
「好，我也有點餓了，這便去吧？」阿桂思前想後，與其在這裡瞎想還不如出去一探究竟。
「那我這便替老爺梳洗一番。」開門的是一個年紀和李塵約莫大小的童子，看著這個童子阿桂不由的想到了李塵，當時聽那人的口氣，李塵應該也被綁架至此才對就是不知那小子現在怎麼樣了？阿桂收起心中的疑問道；「好，敢問小哥，這裡到底是哪裡啊？」
「不好意思，老爺，這個問題我們太師太叮囑過，等你見了我們太師太他自會告訴你的？」那個童子說完之後便不再說一句話，專心的替阿桂梳妝。
阿桂馳騁疆場一生，什麼陣仗沒有見過，也許是越老膽子越大，不就是幾個毛賊嗎？他阿桂現今還不放在眼裡，等著梳妝完畢之後，阿桂跟著童子走出茅草屋這才發現現在是原來位於一片山林之中，山上樹林隱逸剛出房門便能看到山上有五色雲彩籠罩，此地若是不出阿桂所料的話應該就是傳說中的五雲山了吧？
五雲山古稱龍口山、慶雲山，在桐廬分水鎮南隅，距縣城37公里。山不高，古木成林，風景幽絕。相傳唐元和年間山頂五色雲起，時人以為吉兆，改山名為「五雲」。唐代狀元施肩吾曾在此讀書，山東麓建有「玉尺樓」，豎一石碑，上鐫刻「唐狀元施東齋先生讀書處」。樓旁池塘名「洗硯池」，池中施讀書時種植的荷花，因花瓣和荷葉上沾有施洗硯時灑上的墨水，人稱「墨點荷花」。此處被後人視為讀書人的吉祥地，歷代都辦有學校，到了清朝乾隆時期的時候卻成了青幫的秘密聚集地了
五雲山，是西湖群山中的第三座大山，海拔三百多米。據說因有五色雲彩盤旋山頂，經時不散而得名。也有的說，山頂真際寺內有五口井（今只剩下三口），水井中看天上雲彩倒影，形狀各有不同，故名。實際上是山的位置處在錢塘江和西湖兩水相夾之間，水汽充沛；山上山下溫差明顯，形成山地雲，經強烈陽光照射，便呈斑斕的彩霞。此地在乾隆前期已經被青幫所佔，用來作為青幫的總部。其原因有四；一是，此地是西湖第三座大山，其山林崇山峻嶺，便於隱蔽，二是，此地有充足的平地面積足夠青幫勢力的發展，三是，此地接近錢塘江，便於漕運的發展。四是，此地地處江南的繁華之地杭州，距離西湖距離也近，有了大量的遊人，使得幫會不用宣傳而顯得宣傳有力，更加便於便於幫眾的引進。想必這也與青幫在短短的幾十年的時間內便發展為清朝一等一的大型幫會的一個原因。
阿桂看到山頂五色彩雲，便聯想到這裡很有可能便是五雲山，青幫在乾隆後期成立一個秘密的民間組織，但是此時的青幫還是以漕運為名的，屬於一個公開的組織，五雲山是青幫的地盤並不是一個秘密，，而阿桂雖不是江浙人，但作為當今第一大學士，又常年在外督查河務，對此又怎麼會沒有瞭解？只是這青幫綁了他來到底有何用意？阿桂絞盡腦汁也想不明白。
阿桂出了茅屋便位於位於山腰之處，幾步走來卻發現前邊有一涼亭，，留有楹聯「長堤劃破全湖水，之字平分兩浙山」。仔細一看這也逼真寫出了這五雲山山景動情處。阿桂忍不住的讚了一聲『好』使得那個童子一陣莫名其妙。前行幾步，遂過五雲山牌坊拾階而上。初，山茶遍野，古樹林立。少行百米，即有絕美別墅隱於山中。蛇形而上，再行數百米，阿桂便感汗流浹背、氣喘不已。稍歇再行，過竹林，至山頂，忽有一寺，寺門上書：真際寺。有千年古樹立於寺正門前，以木柵圍之。但見綠苔披樹身，翠葉滿新枝。入廟，香霧繚繞，佛音淨心。轉左門進左庭，有天井幽然，古樸純真。左庭亦有一左門，出門則別廟至五雲山背。五雲山背處便是青幫總部所在了。
繞過寺廟，阿桂一行繼續前行，約莫半盞茶功夫，便到了青幫總部所在了。幾十年的發展，青幫規模也算是規模宏大，單單是房屋，便是琳琅滿目，鱗次櫛比的坐落在那一片不小的空地。但是居住的人口應該就可達到幾百人左右。但是這僅僅只是五雲山青幫的一部分。
在清幫主要以四庵六部作為行政管理中樞，所謂的庵，是依祖師而立的講學堂與中央行政部門，分別為朱寺庵、劉寺庵、黃寺庵、石室庵，這四個庵室，共通的部分便是羅祖教義傳授，其餘的則依祖師專長不同，而有所不同，朱寺庵的主講師為翁祖，講授的內容為禪學(臨濟宗派），以及武學（少林武學），此外下司轄兵部與刑部。劉寺庵主講師為錢祖，講授的則為經商交易之道與財務管理，並為工部之直轄主管機關。黃寺庵主講師為潘祖，傳授行運管理學論，教授古聖賢之道，且直接司轄史部與戶部。石寺庵則為小爺仙逝後創立，主講者為宿領幫，講授幫規，授予新進人員義氣千秋，及江湖禮節，可以說是職前訓練所，另為禮部之直轄主管機關。
六部指的是吏部、禮部、戶部、工部、兵部、刑部。這六部最初的主管，現在已不可考：
吏部專門編纂幫中大小事務，編寫清幫史書，並將史書置於杭州家廟藏經閣樓上，此外除了史書的工作之外，亦負責抄經管理羅祖書籍與家譜，然不幸的是咸豐四年太平天國之亂，杭州家廟遭太平軍焚燬，以至於文件史料無存。
戶部則負責管理人員，是清幫相當重要的人事主管部門，舉凡拜帖進家，人員晉陞，各方師父，均需投書予戶部，由戶部詳列人員清冊之中，最後年終綜整後交予吏部，謄入家譜。
禮部則主管規矩儀注之訂定與考核人員禮儀，並於每次開香堂時，主持規劃與邀請各方老大到場，同時亦負責審核人員進家之三幫九代是否合乎規矩禮法，並於香堂設立時擔任執堂師一職。
工部則責於各項幫中工程，如造船，維修，後勤補給，香堂搭設等工作，是清幫效率挺高的工兵小組，所有各幫維修人員，均為工部管理，並接受一般民眾委任修船及其它建設工作。此外工部亦為清幫的基本會計部門，全幫所得計算與管理均為工部之責，清算後呈報劉寺庵。
兵部則為遇外敵時，統籌規劃作戰之部門；清幫弟子在外，難免與其他會社起些衝突，當衝突無法解決時，會先派出談判小組，這各幫的談判小組，歸兵部管理，當事情仍無法解決有可能發生戰爭時，談判小組會將問題回報與兵部，兵部則開始調動可用人力，實施戰鬥準備。香堂開設時，每香堂的左右護法，則由兵部派立。
刑部則為清幫的執法單位，當門下弟子犯有幫規時，各方師父會依情節輕重，回報予刑部，最後由刑部設立刑部香堂，對不肖弟子實行懲處。另外，不論開立何種香堂，門外與門內的巡堂師（內外刑堂），則由刑部派立。
現在這個位置只是青幫行政階層四庵六部之一的黃寺庵，更有其他朱寺庵、劉寺庵、石室庵，分佈於整個五雲山林之中。佔據五雲山的三個方位，形成一個三角形，黃寺庵位於整個三角形的中心。另有六部散亂的分佈在烏雲上的山林之中，剛剛阿桂從山腰而來的位置便是六部之中兵部所在。