人們紛紛傳說，大同天皇年間，天遼皇后曾經在這裡自縊，天皇一怒就一同斬殺了侍候皇后的宮女侍衛幾十人，以懲治他們的忠誠不夠、伺候不周、稟告不及時之罪。
其實明明是天皇和皇后自己鬧矛盾，皇后受不了天皇的始亂終棄：年輕時對自己信誓旦旦，不離不棄的情況，現在卻為了那個天殺的小妖精，而對自己這個黃臉婆，整日不冷不暖不理不睬的；更可氣的是，那天自己生了重病，央求天皇來看看自己，天皇卻借口軍國大事，征伐異邦而不來看望。
據皇后手下的小宦官告密，皇上正在小妖精宮裡給小妖精過生日呢，聽到這個消息皇后花容失色，冷汗淋漓。
她想不到，結髮夫妻竟負情絕情到這個地步，於是她就用一根白綾結束了自己年輕的生命。
而惱羞成怒的天皇為了掩蓋自己的醜事——逼死自己的皇后，也就故意用以上莫須有的罪名，斬殺了皇后宮裡的宮女侍衛們。
這些無辜者男男女女們的冤魂哪裡肯散去？於是一到每天陽氣不強的早晚深夜就成群結隊的出來飄蕩，發出那糝人的聲音「還我命來，還我命來」，直讓人寒毛靈靈，不寒而慄。
所以東京城裡聽說西到夏宮去辦事，都好像要進入地獄那種感覺。
因此最後沒有辦法才把夏宮作為倉庫使用，而上次天皇全國臣民募捐來的二萬萬兩白銀，也就曾經在這裡貯藏，當然最後不翼而飛，這是前話。
當然天皇也有點恐懼這些傳聞，於是也就請些道士前來作法驅鬼等等，但是也許是這裡的怨氣太重，戾氣太狠，即便是再強悍的道士前來做法過，其成效也不過是持續了一兩個月。
而近來就更為嚴重，甚至大白天，也有怪怪的氣味白煙瀰漫，到深夜更是朦朧一片，四處傳出那種東京口音的「還我命來還我命來」，「，我要回家我要回家」，直讓人毛骨悚然兩股戰戰。
於是明治天皇又照例頒布天下，尋找得道的高僧道士前來驅鬼做法，但是那些僧人道士們誰都知道這裡戾氣實在太重，多少位高僧道士，在這裡做法而折戟沉沙，誰願意毀一世英名到這裡成為一個失敗的記錄呢？
因此貼出皇榜，無人問津。
只有這一天，來了一位小小的個子的神道士，說他有辦法根除戾氣。
勘察了半日之後，他就對大內總管說，要根除這裡的戾氣，除非挖地三尺，並且簽下生死合同說如果不能達到目的，則願意把自己的首級押在這裡。
明治天皇看到有這樣豪氣的神道士出現，當然樂不可支，要知道誰願以負了一個原罪在這裡替前面的天皇背著黑名呢？。
於是盛大的驅鬼儀式，就這樣展開了，只見那道士，揮著桃木劍，到處撒著符水口中唸唸有詞，一副莊嚴肅穆的樣子，與那些陰魂們大斗了不下幾百回合之後，他終於全身大汗淋漓，癱倒在地。