6月5日凌晨，山本五十六命令近籐信竹和南雲忠一停止炮擊中途島和夜襲美軍航母的準備，和主力編隊進行會合。山本五十六鑒於美軍艦隊已經東撤，與其進行水面艦艇決戰的可能性已經不復存在，而且如果日軍艦隊繼續東進，那麼天亮之後必然會遭到美軍艦載機和岸基航空兵的攻擊。於是，在2點55分，山本五十六站在聯合艦隊旗艦「大和」號戰列艦的艦橋指揮室裡，滿懷悲痛地向聯合艦隊發出了撤退命令：
一，撤銷中途島作戰計劃；
二，中途島登陸編隊和機動編隊(除「飛龍」號及其警戒兵力之外)和主力編隊進行會合，之後於6月6日上午在北緯33度，東經170度海域加油；
三，警戒編隊、「飛龍」號及其警戒兵力和「日進」號水上飛機母艦也應該開往上述地點；
四，運輸編隊向西撤退，擺脫中途島美軍岸基飛機的攻擊範圍。
這是大日本帝國海軍自從1865年明治維新以來，第一個宣佈徹底失敗的命令，而且更具諷刺意味的是，這個命令是由策劃了偷襲珍珠港的大日本海軍戰神山本五**將親自發出的。當初在開戰之前，山本五十六狂妄地叫囂著要一舉殲滅美軍航母，如今看來卻只不過是一個天大的笑話而已。
對於山本五十六的這一決定，頭腦發熱、心急如焚的聯合艦隊參謀們實在接受不了，他們七嘴八舌地堅決要求繼續進攻拿下中途島。聯合艦隊的首席參謀黑島龜人海軍大佐甚至淚流滿面、歇斯底里地叫道：「長官，『赤城』號還沒有沉沒，依然還浮在海面上。如果被米國人拖去當作戰利品進行展覽，那豈不是大日本海軍的奇恥大辱嗎？而且我們總不能用天皇陛下自己的魚雷來擊沉天皇陛下的戰艦啊！」還有一個參謀甚至直截了當地問道：「就這樣無功而返地撤回去，我們怎麼向天皇陛下交待？」
聯合艦隊參謀們的這一番話，使得整個「大和」號艦橋指揮室裡面的空氣都立刻凝滯了，作戰參謀渡邊安次中佐在事後回憶道：「艦隊的參謀們幾乎個個喉嚨哽咽，連氣也喘不上來。」山本五十六的心裡或許也在哭，但是他的眼裡沒有淚水，整個聯合艦隊現在只有他才能作出這一決定，然而作出這個決定對他來說實在是太痛苦了，他連哭都哭不出來了。過了許久之後，山本五十六終於開口了，他的語調緩慢而沉重：「我自己曾經也當過『赤城』號的艦長，但是現在我必須下命令將它擊沉，我的心情也是萬分遺憾。」接著他又繼續說道：「全部責任都在我一個人身上，我會親自去向天皇陛下請罪。」
幾乎就在山本五十六下達撤銷中途島作戰命令的同一時刻，災難又降臨到了日軍頭上。6月4日13點10分，近籐信竹根據山本五十六夜間炮擊中途島的命令，指派栗田健男海軍少將指揮的第7巡洋艦戰隊的「熊野」號、「鈴谷」號、「三隈」號、「最上號」4艘重巡洋艦，以及第8驅逐艦分隊的2艘驅逐艦前去執行這一任務。當栗田健男接到炮擊命令的時候，他的艦隊距離中途島還有400多海裡，即使以32節的最高航速前進，也沒辦法在規定的5日拂曉前到達炮擊地點。退一步說，即便栗田健男的艦隊真的在預定時間到達指定位置，但是最終也必定需要在白天美軍飛機的轟炸威脅之下撤退。不過聯合艦隊的參謀們直到4日深夜才發現這個錯誤，最後才通知粟田健男返航。
栗田健男遵照命令，轉彎改為西北航向返航，但是不久之後，先頭艦「熊野」號重巡洋艦在右舷處發現一艘美軍潛艇，栗田健男立刻用燈光信號命令日軍艦隊緊急左轉。但是走在艦隊最後面的「最上」號重巡洋艦卻沒有及時收到這一命令，結果一頭撞上了前方的姐妹艦「三隈」號重巡洋艦。「最上」號前炮塔以前的艦首被部分撞掉，航速下降到12節，而「三隈」號也受了輕傷，不過作戰能力和操縱性都沒有受到太大影響。粟田健男決定留下「三隈」號和「荒潮」號、「朝潮」號2艘驅逐艦掩護「最上」號撤退，自己率領其它日艦先跑了。
6月5日天亮之後，落在後面的4艘日艦自然而然地成為了美軍飛機的攻擊目標。中途島美軍根據「紅石魚」號潛艇的報告，派出12架「無畏」式轟炸機攻擊了「最上」號和「三隈」號2艘重巡洋艦。帶隊進行攻擊的羅德尼?弗萊明海軍上尉在被日艦的高射炮火擊中之後，駕駛著「無畏」式轟炸機直接撞向了「三隅」號，「三隈」號上的日軍官兵當時就呆住了，他們沒有想到美軍之中也有這麼不要命的勇士。雖然日軍的防空火力一刻也沒有停歇，但還是沒能成功阻止弗萊明上尉。在艦上日軍的一陣驚呼聲之中，弗萊明上尉駕駛著「無畏」式轟炸機「轟」地一下，就撞在了「三隈」號艦尾的203毫米炮塔上，引起一片大火。燃燒的火焰很快就蔓延到「三隈」號右油機室的進氣出口，濃濃的黑煙被吸進了油機室，裡面的日軍全都被活活地給悶死了。
到了下午的時候，又有12架b－17「空中堡壘」式轟炸機從中途島趕來，繼續對日軍艦隊進行了攻擊。或許是上天憐憫這群小日本，美軍投下的80枚炸彈居然無一命中。4艘日艦終於撿得一條性命，繼續向西逃竄，逃出了中途島岸基飛機的攻擊半徑。
6月5日清晨，美軍特混艦隊正在向中途島疾駛，準備防止日軍對中途島的再次進攻。但是不久之後，斯普魯恩斯少將就根據美軍偵察機和潛艇的報告，察覺到日軍已經放棄對中途島的進攻，並且正在開始撤退。於是，斯普魯恩斯少將當機立斷，下令向西展開追擊。8點鐘左右，從中途島起飛的美軍偵察機報告，在西北方向250海里處發現了日軍艦隊，其中有1艘航母（這是當時還沒有沉沒的「飛龍」號）和2艘戰列艦。斯普魯恩斯少將決定對這一目標進行攻擊，但是由於距離較遠，為了盡量縮短和日軍艦隊之間的距離，他下令特混艦隊向西北方向全速前進，直到15點鐘的時候才命令艦載機起飛。如果再推遲起飛時間的話，那麼美軍飛機就不能在天黑以前返回航母，到時候著艦時就必須打開探照燈，這將使美軍航母很容易成為日軍潛艇的攻擊目標。
因為喬治在昨天進行的戰鬥中的出色指揮，已經表現出作為一名優秀指揮官的職業素養，斯普魯恩斯少將對他極為欣賞，所以決定這次仍然還是讓喬治帶隊指揮。喬治帶領著從「企業」號和「大黃蜂」號上起飛的58架「無畏」式轟炸機，急急忙忙地前往偵察機報告的海域，搜尋日軍艦隊的影蹤。
然而這時候天公卻不作美，當喬治帶領著轟炸機群來到偵察機報告的海域的時候，天空中雲層密集，能見度較低，喬治命令美軍飛機低空搜索了一番，但是結果仍然還是一無所獲。「沒有發現日軍航母，現在開始返航。」眼看飛機的燃料逐漸減少，日頭也已經開始偏西，喬治只能心不甘情不願地下令返航。
「中校，快看下面，是敵艦！」正當喬治為這次出擊無功而返大感鬱悶的時候，無線電裡突然傳來的後座飛行員史密斯上尉的大喊卻讓他一陣激靈，急忙抬眼望過去，海面上果然有1艘孤零零的日艦，就像是一片隨波逐流的落葉一樣，在波濤洶湧的太平洋中漂蕩著。喬治看它的造型和尺寸應該是艘驅逐艦，不過蚊子再小也是肉啊，喬治現在可管不上它是驅逐艦還是航母，哪怕就是艘小小的巡邏艇，只要是小日本的軍艦，他就會毫不猶豫地撲上去炸掉它。
「媽的，船上的小鬼子，算你們今天活該倒霉，沒找到航母只好拿你們開刀了，好好做個替死鬼吧！」喬治在心裡惡狠狠地說道，接著通過無線電命令道：「菜鳥們，日本佬給我們送靶子來啦，拿出你們平時訓練的效果讓日本佬好好瞧一瞧吧！」攻擊這樣的單個小型沒有多少危險的目標，是一個很好的練兵機會，於是喬治就只讓那十幾個在珍珠港事件之後才參軍入伍的新兵去進行投彈。通過這樣的實戰機會鍛煉，喬治希望他們能夠盡快地成長起來，增強己方的戰鬥力。
這十幾個小伙子沒有辜負喬治的一片良苦用心，雖然在攻擊的過程中還依然存在或多或少的問題，但是最終好歹還是把這艘日軍驅逐艦給擊沉了，而且自己也沒有損失。「好了，菜鳥們，幹得不錯，沒有讓我失望，現在大家可以返航了。」喬治看到日艦已經被擊沉，也就不再留戀，立刻指揮美軍飛機返航。
然而，由於在攻擊日軍驅逐艦的時候耽擱了一段時間，返航之後的美軍轟炸機遭遇了嚴重的考驗。這時候天色已暗，只看得見航母飛行甲板的大概輪廓，如果沒有燈光的指引後果將不堪設想。但是這一片海域又很有可能遊蕩著日軍的潛艇，如果貿然開燈，那麼整個航母艦隊就有可能成為日軍潛艇的攻擊目標，斯普魯恩斯少將也將因此而承擔巨大的責任。但是斯普魯恩斯少將更關心的是飛行員的安全，因為這批飛行員中的絕大部分都沒有夜間著艦的經驗，所以他毫不猶豫地下令打開了探照燈，方便轟炸機進行降落。
萬幸的是這附近沒有出現日軍的潛艇，最終除了1架「無畏」式轟炸機在降落過程中墜海之外，其餘的轟炸機都成功地安全著艦，而且落水的轟炸機飛行員也被護航的驅逐艦救了起來，並沒有出現人員損失。