【後 LLM 時代】AI 頂尖研究者競逐的下一個前沿:從預測文字到理解物理世界

電腦科學家 Louis Castricato 花八年研究大型語言模型,但他離開了布朗大學的博士班,因為他認為,人們基本上已經過了做真正基礎 LLM 研究的時間點;而 Castricato 不是唯一這樣想的人,包含 AI 教母李飛飛在內,愈來愈多 AI 領域的頂尖研究者,正在投入他們認為的下一個前沿:讓 AI 系統學會如何在物理環境中反應的「世界模型」。

聊天機器人不會拿起咖啡杯

語言模型的運作方式,是透過反覆預測下一個詞或像素,來生成新的文字、圖像或程式碼。這套方法在過去幾年,讓 AI 助理改變了辦公室工作與部分創意領域的生態,但它有一個根本的限制。

卡內基美隆大學電腦科學院長 Martial Hebert 說,世界的幾何結構、手部移動的動態、與杯子接觸時的物理互動,這些都遠比預測句子裡的下一個詞複雜得多。聊天機器人能告訴你如何拿起一個咖啡杯,卻沒辦法真的拿起它。

圖靈獎得主 Yann LeCun 則用一個更日常的例子說明這個問題:當有人問「洗車店在 100 公尺外,我應該走路去嗎」,不少 LLM 會建議步行,理由是距離很近,卻忽略了「車必須被開進洗車店」這個最基本的物理前提。

LeCun 指出,這不是一般所說的「幻覺」問題,而是模型根本缺乏對物理世界因果關係的內部建模能力。

LLM 能說出「如果我這樣做可能會發生什麼」,但那是在複現訓練資料中的語言模式,而非真正在內部模擬世界的運作。

什麼是世界模型?每個人的答案都不一樣

儘管這個概念正在吸引大量研究者的注意,它至今沒有一個公認的定義,往往取決於開發者想建構什麼應用。

李飛飛近期的發言提供了一個對比性的描述:語言模型學習文字的統計結構,世界模型學習的則是空間與時間的統計結構——光如何照在表面、從未被攝影機捕捉過的角度花園長什麼樣、物體如何回應力量並遵循物理定律。

李飛飛是 ImageNet 的創建者,這個 2009 年的資料集催生了電腦視覺的深度學習革命,她同時也是舊金山新創 World Labs 的創辦人,她將世界模型形容為「當今 AI 中最重要、也最被過度使用的詞彙之一」。

已離開 Meta 首席 AI 科學家一職、在巴黎創辦 Advanced Machine Intelligence Labs 的 LeCun,則從功能面定義:世界模型讓 AI 代理能夠「預測自身行動的後果」。

兩人的定義看似不同,但指向同一個核心,那就是 AI 需要一套內部模型,讓它在採取行動之前,就能模擬行動帶來的結果。

三條應用路徑,成熟度落差懸殊

李飛飛試圖為這個混亂的領域建立一套分類,將世界模型分為三種:渲染器、模擬器與規劃器,三者的成熟度與應用場景截然不同。

渲染器著重虛擬世界的視覺保真度,是目前商業化程度最高的類型,但由於不一定遵循物理定律,無法可靠地用於訓練機器人。World Labs 的商業產品 Marble 便屬於此類,能從文字、圖像或影片生成並編輯持久性 3D 環境,目標客群涵蓋遊戲開發者、視覺特效工作室與 3D 設計專業人員。

模擬器則追求忠實呈現物理世界的結構,主要作為機器人的虛擬訓練場,是渲染器往物理真實性靠攏的下一步。

規劃器是三者中最難實現的,也是整個領域競逐的最終目標,它要讓 AI 代理在非結構化的真實環境中,判斷自己下一步應該做什麼;李飛飛表示,能夠規劃的機器人,才是能夠工作的機器人,而整個產業正在競逐誰能最先抵達這個目標。

對卡內基美隆大學電腦科學院長 Hebert 而言,規劃器正是世界模型對機器人研究最關鍵的意義所在。他用人體來類比這個概念:「你的身體和脊髓裡有一套非常通用的模型,知道如何保持平衡、如何走路,早上膝蓋痛的時候你會自動調整步伐,不需要刻意思考。」世界模型要做的,正是讓機器人擁有類似的通用環境感知能力,而不是為每個任務單獨設計控制邏輯。

不過,機器人並不是世界模型唯一的應用方向。Castricato 的 Overworld 走的是另一條路:建構能即時適應玩家行為的遊戲場景。當虛擬角色走進一片幽暗的森林,周遭環境會隨著角色的移動與互動而變化,而不是播放預先設計好的固定腳本。

資金開始流入,但商業化最難的問題還沒解決

相較於 AI 編碼工具或影像生成等應用,世界模型的近期商業價值仍不夠清晰,但這並未阻止風險資本的入場。

World Labs 在 2024 年 9 月完成 2.3 億美元種子輪,今年 2 月又完成 10 億美元戰略輪,投資方涵蓋 Andreessen Horowitz、AMD、NVIDIA,以及以 2 億美元策略投資的 Autodesk,累計融資約 12.3 億美元。

Kindred Ventures 共同創辦人 Steve Jang 也在押注這個方向,投資組合包含 Overworld、建構天氣預測 AI 的 Causal Labs,以及開發適合世界模型專用晶片的 Extropic,他認為未來將是許多不同架構與哲學的模型並存。

對於這個領域何時會出現決定性的轉折,LeCun 給出了一個具體預測:到 2027 年初,對於需要範式轉變的認識,將對所有人變得不言而喻。他同時強調,這不意味著屆時就會有解決方案,因為認知的轉變與技術方案的成熟,是兩件截然不同的事。

這個謹慎的補充說明,指向世界模型商業化最根本的困難:為了讓 AI 學會文字,人類花了幾十年在網路上累積了足夠的語料;為了讓 AI 學會物理世界,目前還沒有任何現成的資料庫可以直接拿來用。語言模型已進入以應用為主導的成熟期,世界模型則仍在基礎研究階段。

【推薦閱讀】

李飛飛拆解「世界模型」3 大分類,Google、NVIDIA 談的世界模型不是同一件事?
AI 為何不再「越大越好」?專家:新一波擴展定律關鍵在「世界模型」
解讀 2026 年 4 大 AI 技術趨勢,為什麼「世界模型」與「編排調度」成企業關注重點?

*本文開放合作夥伴轉載,參考資料:FastCompany鉅亨網,首圖來源:Unsplash

(責任編輯:鄒家彥)