1941年12月8日凌晨，美國駐日本大使約瑟夫·格魯被電話吵醒。日本外務大臣東鄉茂德緊急召見格魯，遞出了一份長達13頁的備忘錄，最後一句話是“考慮到美國政府的態度，日本政府只能認爲，繼續談判亦不可能達成協議”。前一天，格魯剛向外務省遞交了美國總統羅斯福致日本天皇裕仁的信，呼籲“在此危急之秋，陛下能與我一致行動，想方設法驅散烏雲”。這下他明白，戰爭迫在眉睫。

果真，回到大使館不久，日本向英美宣戰的消息已經傳開。格魯隨即下令燒燬全部密碼和機密信件。日本政府派警察關閉了大使館的大門，禁止人員出入，並搜走了使館內全部的短波收音機。對日本海軍偷襲珍珠港，格魯倒沒有多驚訝，早在這年1月27日，他就打探到了日本一旦與美國決裂，將出動全部力量突襲珍珠港的消息，並向美國政府進行了彙報。

格魯從1932年到任至今，已經做了10年駐日大使。他全力以赴維持美日關係，得到了許多正面回饋，與許多貴族和官員建立了友誼。還有一些日本人認爲格魯夫人是1853年“黑船來航”事件主角佩裏准將的孫女，紛紛表示好感。但到了兩國開戰的時候，一切付諸流水。擺在格魯面前的只剩下幾件事：保護好使館人員，託付好使館業務，爭取早日通過外交渠道交換回國。

幸運的是，使館人員中只有一名隨員蘭德爾·瓊斯去橫濱休假，在聽到開戰消息後及時趕了回來。瑞士駐日公使館同意照管美國在日本的利益。剩下的只有等待。日本政府要求原本散居的使館人員及家屬都住進大使館，60多人聚在一起，在日本警察監視下苦中作樂，感嘆失去自由、食物短缺，連取暖的油料也不夠。即便如此，這年12月24日，使館人員還是拿出了僅有的家底，過了一個有酒有肉的平安夜。

此後的日子裏，使館人員都忙於雜務。格魯“早上從早餐後一直工作到11時半；然後打一小時左右的高爾夫球；夜間早睡；有充足的時間看書”。直到1942年6月，在經歷過杜立特空襲東京，聽聞珊瑚島海戰日軍損失慘重後，格魯才率領使館人員登船回國。