AI 不只能生成圖片、影片，還能創造一個可以走進去探索、即時改變場景的虛擬世界。Google DeepMind 在美國時間 10/27 發表新一代世界模型（World Model）Genie 4，不只提升虛擬環境的真實感，還能同步生成聲音、模擬人物行動，讓使用者在探索過程中持續改變場景。
更值得注意的是，Google 這次讓 Gemini 參與世界模擬，利用大型語言模型的推理能力，協助規劃、追蹤複雜事件的發展。這也是 Google 朝「混合式世界模型」（Hybrid World Models）邁進的初步嘗試：結合語言模型的邏輯推理，以及世界模型對環境的即時模擬能力。
Excited to share Genie 4 today our most realistic and interactive world model: – steer dynamic environments in real time, shaping events, camera angles, and actions – generate native audio matched to the world, from realistic background sounds to characters who can converse in real time! – simulate photorealistic scenes and real-world physics – create more coherent multi-step events through reasoning from Gemini We’ve started to roll out as a research preview to trusted testers. Coming soon to Google AI Ultra subscribers in Project Genie and early access partners via the Gemini API and AI Studio.
— Sundar Pichai (@sundarpichai) October 27, 2026
從即時互動到原生聲音生成，Genie 4 比前代進步在哪？
所謂世界模型，是讓 AI 學習物體、人物與環境如何互動，並根據使用者的操作，持續預測和生成接下來的場景。不同於事先生成、內容固定的影片，世界模型可以讓使用者在虛擬環境中移動、探索，並即時影響後續畫面。
Google 早在 2025 年推出 Genie 3，就已經展示即時生成互動世界的能力。因此，Genie 4 的進步並非首次讓虛擬世界可以互動，而是進一步提升場景真實感、控制能力，以及模擬人物與物理現象的表現。
根據 Google DeepMind 官方介紹，使用者可以透過文字指令，在模擬進行時改變天氣、調整鏡頭，甚至加入新的人物或物件。Genie 4 也能模擬空氣動力、碰撞等物理現象，以及人物如何自然移動、回應周遭環境。《The Verge》指出，新模型可維持約兩分鐘的互動體驗，較先前 Genie 3 的約一分鐘延長一倍。
另一項重要進步，是 Genie 4 首次加入原生音訊生成。模型可以在生成場景的同時，產生符合環境的聲音，例如樹林裡的風聲、海浪拍岸的聲音，甚至音樂與人物對話。當使用者採取行動或場景發生事件，虛擬人物的對話也能即時調整，而不只是替已生成的畫面配上固定音效。
這些能力讓世界模型不再只是生成可探索的視覺場景，而是能同步模擬環境、人物行動與聲音。不過，若要讓多個事件按照合理順序持續發展，光靠即時生成畫面還不夠，Google 因此進一步整合 Gemini 的推理能力。
Gemini 如何參與世界模擬？Google 探索「混合式世界模型」
Genie 4 的另一項特色，是讓不同 Gemini 模型參與模擬過程。Google 說明，Gemini Omni 協助讓生成結果符合現實世界的外觀與行為；Gemini 3.8 Flash 則扮演引導角色，在 Genie 4 持續生成畫面時觀察場景、將任務拆解成多個步驟，並檢查每一步是否完成。如果環境改變或使用者中途介入，Gemini 還能相應調整計畫。
Google 官方也展示了更具體的多步驟模擬實驗：讓 Gemini 4 Argon 與 Genie 4 合作，模擬 Apptronik 的 Apollo 人形機器人下西洋跳棋。過程中，Gemini 4 Argon 將使用者指定的任務拆解成一連串步驟，再以文字指令持續引導 Genie 4，讓模型依序生成對應的動作與場景。
這項實驗的重點，不在於機器人是否學會下棋，而是展示語言模型如何在模擬進行時參與規劃，讓世界模型按照任務進展持續生成內容，而非一次產生完整、固定的影片。
《TechCrunch》引述 Google 研究總監 Tejas Kulkarni 指出，未來世界模型將越來越朝「混合式」發展，由 Gemini 產生程式碼與文字，Genie 則即時接收資訊，在不同抽象層次模擬現實。
Google 官方進一步解釋，混合式世界模型的方向，是結合程式碼與語言模型的邏輯、結構化推理能力，以及像素層級模擬所提供的豐富感官資訊。在這樣的架構中，Gemini 負責規劃事件的整體結構與發展順序，Genie 則負責即時生成對應的環境，模擬世界的畫面、聲音與反應。
不過，Google 強調，這仍是早期研究方向。Genie 4 雖然已能在短時間內維持相對連貫的場景，但隨著模擬時間拉長，物件細節與位置仍可能出現偏差，複雜物理互動、音訊準確性及長時間一致性也有待改善。
目前 Genie 4 先以研究預覽形式提供受邀測試者，未來將逐步開放 Google AI Ultra 訂閱用戶及開發者使用。從生成互動場景到結合推理與任務規劃，Genie 4 展示了 Google 對下一代世界模型的探索方向，但要讓 AI 長時間、可靠地模擬複雜事件，仍有技術挑戰。
【推薦閱讀】
◆ 楊立昆團隊推新世界模型 H-JEPA，為什麼能讓機器人走迷宮成功率提升 4 倍？
＊本文開放合作夥伴轉載，資料來源：Google DeepMind、《Ars Technica》、《TechCrunch》、《SiliconANGLE》、《The Verge》、Sundar Pichai，首圖來源：Google DeepMind
