「不，不是的！」井上馨彷彿一隻被觸動了痛處的猛獸，大聲道：「我這是為了天皇，為了這個國家，除此之外就再無別的選擇了。帝國能夠贏得最後的勝利的，朝鮮、台灣、滿洲都會成為帝國的一部分的！一定會的——」井上馨的聲音越來越大，到了最後已經和嘶吼沒有什麼區別。
伊籐博文冷冷的看著地上的井上馨，隨手撿起地上的外衣，套了上去，微微向其鞠了一躬，低聲道：「多謝款待，告辭了！」便自顧向門外走去。
黑島仁站起身來正想相送，突然發現地上的井上馨已經雙目失神，猶自大聲嘶吼，根本沒有發現伊籐博文已經走了，他只得向伊籐博文微微鞠了一躬，俯身照料其井上馨了。過了約莫半盞茶功夫，井上馨方才恢復了神智，斜倚在黑島仁的手臂裡，口中猶自說：「我是對的，一定是對的！」
數日後，身為內閣總理大臣兼宮內相的伊籐博文向天皇陛下上書，以與歐美列強修約談判不利為由罷去了井上馨外交大臣的職務，以陸奧宗光代替。伊籐博文突兀的行動讓朝野上下為之嘩然，但作為當事人的井上馨卻泰然的接受了這一變故，彷彿這不過是一件尋常事。
「啊呀呀！果然不愧是『長州五傑』之一，與伊籐閣下同時代的豪傑呀，面對這樣的變故還這麼鎮定，這可不是一般人能有的器量呀！」
「是呀，井上閣下聽到這個就好像是『吃了嗎？』『您的鞋子鬆了』這樣的小事一樣，這才是真正的武士風儀呀！」
「你們懂得什麼？井上閣下就算是下野了，在政治界和經濟界還是有著深厚的人脈。只要他一聲令下，三井和日本航運的金庫都會為他敞開，我敢打賭，很快他又會東山再起的！」
「那可不能就這樣看輕了井上閣下呀！」
「可是能夠把這樣的井上閣下給一下子罷免了，總理大臣閣下果然是一等一的鐵腕人物呀！」
這樣的議論在東京政界和商界的小圈子到處都可以聽得到，所以井上馨雖然下野了，但是他的家門卻並沒有隨之冷落，那些坐著馬車或者轎子的人們絡繹不絕的前來求見，但是井上馨卻一律閉門不見，理由是由於辦事不利，受到天皇陛下的斥責，作為臣子正在閉門思過，希望諸位諒解。
但是井上宅內，卻全然不是井上馨所說的那種氣氛，在那天晚上宴請伊籐博文的庭院裡，跪坐了六七名服色各異的男子，如果讓外面的人看到這些客人，一定會更加驚歎井上馨在政經兩界的深厚人脈，因為這些人分別都是三井銀行、日本航運、籐田組、三井物產等政商的巨擘，分別控制著日本金融、航運等核心行業。
「閣下，總理大臣怎麼能夠就這樣罷免您呢？這也太過分了！」
「是呀，即使是伊籐閣下，也不能這樣罷免一個元老呀！」
人們發出激烈的聲音，而作為當事人的井上馨卻並沒有表態，他只是靜靜的喝著酒，這讓那些和他有著密切聯繫的政商們的聲音漸漸小了下來。
「閣下，請問您有什麼打算呢？」一個三十出頭的青年人開口問道，他在一群五十以上的老年人中顯得格外顯眼。
「中上川君，伊籐閣下是總理大臣，也就是代表著天皇，作為一個臣子，對待天皇的詔命，只有俯首聽命呀！」井上馨放下手中的酒杯，沉聲答道：「至於詔命於己有利與否，那就並不重要了。難道你沒有聽說過『雷霆雨露，皆是君恩』嗎？」
「受教了！」那個年輕人趕忙低下了頭，原來此人名叫中上川彥次郎，乃是福澤渝吉的侄兒，還曾經擔任過井上馨的私人秘書，十分得到井上馨的喜愛和信任，1880年中上川彥次郎被免職後，進入商界發展，在他叔叔和井上馨的支持下，已經成為三井銀行、三井物產、三井礦山的理事，又是三井吳服店的調查委員，大元方（三井財閥內部管理逐項事務的機構，類似於董事會）的參事，雖然年不過三十，已經成為日本商界第一流的人物了。也正是因為他的地位和與井上馨親密關係，剛才才會第一個發言。
「列位今天來，我十分感謝，不過離開政界休息一下，其實對我來說也是一件好事情！」井上馨笑了笑：「不過在離職之前，我還是為列位辦到了一件事情，中上川君？」
「哈伊！」
「上次你們向我提起的引進最新式紡織機的補貼問題，我已經向伊籐閣下提過了，本來他是不同意的，不過你們現在再去問一次，應該是沒有問題了！」井上馨笑著說：「如果還是不行，你們可以去英國商會一下，相信對方是願意在價格方面做一定的讓步的！」
「哈伊！」中上川彥次郎臉上都露出了驚喜的神色，政商們一起向井上馨深深的俯身拜下去：「這麼多年來一直承蒙您的關照，真的不知道該說什麼好！」
「不要這麼說！你們都是日本最大的企業，只有你們強大了，日本才會強大！請努力吧！」
「哈伊！」
不久之後，政商們都已經離開了，房間裡只剩下了兩個人——井上馨與黑島仁，井上馨自斟自飲，一副怡然自得的樣子，全無剛剛被伊籐博文踢出政壇的沮喪。看著對方的樣子，黑島仁終於按捺不住了，他向前膝行了兩步，問道：「閣下，您為什麼不反擊呢？這些政商都受過您那麼多恩惠，有了他們的金錢和資源，您一定可以把總理大臣閣下掀翻的！」
井上馨微微一笑，並沒有直接回答心腹的問題：「黑島君，你覺得總理大臣閣下是個什麼樣的人？」
黑島仁低頭思忖半響，答道：「總理大臣閣下是一個有著非常能力和器量的人物，這個國家幾乎是他一手建立起來的！」
「那麼你覺得我比得上他嗎？」
黑島仁看了看井上馨，咬了咬牙答道：「恐怕還有些地方是不如的！」
「不錯，如果是我處在他的位置，也一定會防備被罷免人的反擊，何況是他？我敢打賭，這幾個政商裡恐怕就有伊籐君派來的眼線，如果我有什麼輕舉妄動的話，不過用一個小時，他的桌子上就會有報告！」
「什麼？」黑島仁的額頭上立即滲出了一層汗珠：「這些人都受過您的大恩，竟然會有總理大臣閣下的密探？」
「黑島君，幸虧你是生活在這樣一個和平的年代呀，如果在幕末的時候，你早就被人從背後幹掉了！」井上馨歎了一口氣，臉上露出了慨歎的表情：「所謂商人，就是視利益高於一切的人，為了利益，什麼恩情、忠義、生命、愛情他都可以拋棄，如果有足夠高的價錢，就連他自己的生命也都可以賣給你。不管你曾經對他有多大的恩情，但如果有人能夠出更高的價錢，他就會把過去的恩情拋在腦後，商人就是這樣的人物！」
「真是太可怕了！」黑島仁額頭上已經汗下如雨：「那您為什麼和和他們結交呢？這些不懂得忠義為何物的商人們豈不是太危險了？
井上馨臉上終於露出了一絲淒涼的表情：「武士的確忠義，但擋不住軍艦和大炮。今天的世界，只有能製造出更好、更多軍艦和大炮的國家，而商人們他們懂得怎麼做！現在已經是他們的時代了！」
黑島仁也歎了口氣，他從井上馨的語氣中聽出了少有的落寞，這個被人稱為「俗吏『的元老心中何嘗沒有對已經落後於時代的武士們的慨歎呢？與舉義戰死的西鄉隆盛（維新三傑之一，因為反對明治政府在維新中損害了武士階級的利益，發動了西南戰爭，失敗身死。）不同的是，井上馨已經認識到了時代的潮流不可逆，才主動的與之迎合。
「閣下，那現在應該做什麼呢？」
「做什麼？什麼都不用做！」井上馨笑道：「這個國家是伊籐君一手建立起來的，如果我要與之對抗，是一定贏不了他。」
「那您為什麼那天晚上還和他爭吵呢？」
「因為我的道路才是對的。國家也是有生命的，一旦建立了就會有自己的意志，會沿著自己的道路前進，如果統治者違背了這個意志，就會被掀翻在地。如果我的道路是對的，那麼要麼伊籐君會掉過頭來和我合作，要麼就被國家從寶座上掀翻在地，所以我們不用著急！」說到這裡，井上馨指了指自己空著的酒杯，笑道：「黑島君，我的酒杯已經空的了，讓我說了這麼多話，卻不給我斟酒，這可是不禮貌的呀！」
「對不起，我失禮了！」黑島仁趕忙一稽首，拿起酒壺替對方倒酒，井上馨品了一口酒，笑道：「伊籐君，現在您在台上，我在台下，我倒要看看什麼時候輪到我在台上，您在台下呢！」