【從 2D 到 3D】World Labs 世界模型 Atlas 亮相:手機拍段影片,機器人就有了訓練場?

由知名電腦視覺先驅李飛飛(Fei-Fei Li)共同創辦的 AI 新創公司 World Labs,近日推出最新世界模型 Atlas,進一步朝打造能理解與模擬實體世界的 AI 系統邁進。

World Labs 在部落格文章中表示,Atlas 是一款多模態世界模型,能將模擬環境與實體世界的推理能力結合起來。Atlas 是全能模型(omni model),只需輸入一張圖片,就能生成範圍廣闊、細節豐富的 3D 模擬環境,並精確控制攝影機位置與移動,從不同角度呈現同一場景。

沒有空間智慧就沒有 AGI?李飛飛創辦的 World Labs 交出成績單

Atlas 的推出,也被視為李飛飛長期倡議的空間智慧理念進一步實現。這項理念認為,若 AI 要真正理解並重現實體世界,就必須具備空間推理能力,理解其中的各種要素,包括 3D 物體與人、周遭環境、不同元素之間的互動,以及這些互動在空間上產生的影響。

李飛飛曾任史丹佛大學 AI 實驗室主任,也是史丹佛以人為本人工智慧研究院(Stanford Institute for Human-Centered AI)的共同創辦人。她在 2024 年 2 月創辦 World Labs 時表示,如果 AI 不具備空間智慧,就不可能實現人工通用智慧(artificial general intelligence,AGI),也就是認知能力超越人類的 AI 系統。

Atlas 推出後,使用者已陸續在 X 等平台分享實驗成果,初步反應相當正面。最令人印象深刻的是,Atlas 只需要一張 2D 圖片,就能生成極為逼真的模擬環境。它可以根據這張圖片生成最長 1 分鐘、1440p 解析度的影片,在維持場景幾何結構一致的情況下,讓觀看者從不同角度查看場景。Atlas 還能生成點雲(point clouds)和 3D Gaussian splats 等 3D 資產,並將影片、文字、攝影機姿態和深度圖整合在一起,讓不同形式的資料共享同一套空間資訊。

手機拍一段影片,就能訓練機器人:Atlas 的 Real-to-Sim 價值浮現

World Labs 展示了多項 Atlas 的應用成果,並表示這項技術可用於創意視覺特效和遊戲設計。據《SiliconANGLE》,對 World Labs 而言,Atlas 更重要的用途是建立精準的模擬環境,供機器人訓練使用。Atlas 支援真實世界到模擬環境(Real-to-Sim)工作流程,開發者只要用一般智慧型手機拍攝實體空間,就能將場景重建成 3D 模擬環境,讓機器人在其中移動和與物體互動。

《SiliconANGLE》提及,當機器人在模擬環境中移動或操控物體時,Atlas 能生成精確的 RGB 影像和深度感測資料。搭配 360 度攝影機視角,開發者便能在不同物體配置、光線條件等情境下,安全測試機器人硬體。

World Labs 著手開發能理解物理世界的世界模型,讓 AI 不僅能理解和推理,也能在實體環境中採取行動。《SiliconANGLE》指出,這項構想也獲得投資人青睞,World Labs 目前已籌得 12 億美元資金,投資者包括 Nvidia Corp.、Advanced Micro Devices Inc. 和 Autodesk Inc. 等公司。

World Labs 表示,Atlas 採用多模態自迴歸擴散 Transformer 架構,遠比 OpenAI Group PBC 的 Sora AI 等早期影片生成模型複雜。傳統影片生成模型主要透過文字提示控制攝影機角度與移動,但這種方式並不精確;Atlas 則直接將攝影機移動路徑和幾何資訊納入輸入,因此能更精準地控制畫面的視角。

World Labs 展示 Atlas 評測成果,實際表現仍待真實世界情境驗證

World Labs 表示,公司也透過多項基準測試,將 Atlas 與業界頂尖的影片生成及 3D 重建模型進行比較。World Labs 指出,在評估攝影機路徑遵循程度的人類盲測中,評測者更偏好 Atlas 的結果,其表現優於 Gemini Omni Flash 和 FLUX 等競爭模型。此外,在根據少量輸入重建 3D 幾何結構的能力方面,Atlas 也勝過多款頂尖開源模型。

《SiliconANGLE》補充,World Labs 面臨的競爭對手包括開發互動式世界模擬技術的 Odyssey、專注於實體規劃架構的 Yann LeCun 旗下 AMI Labs,以及打造先進地理空間測繪系統的 Niantic Spatial。相較之下,Atlas 採用單一基礎模型,試圖將這些不同能力整合在同一套系統中。

但 Atlas 能否真正展現實力,仍要等到進一步開放使用後才能見真章。《SiliconANGLE》指出,使用者將在更複雜的真實世界情境中測試,看是否能重現 World Labs 目前展示的成果。World Labs 表示,Atlas 現已開放部分企業客戶搶先體驗,但尚未公布全面開放的時間。

製造業的每一次升級,背後都是值得深入解讀的故事。如果你擅長從技術趨勢中提煉觀點、寫出決策者真正需要的報導,想和我們一起記錄產業轉型,《TechOrange 科技報橘》正在徵內容編輯!
👉了解職缺內容

【推薦閱讀】

Anthropic 向實體設備出手:推 MHS 要讓 AI Agent 更容易跨設備操作

李飛飛 World Labs 新成果:要讓機器人 AI 規模化,先讓它學習的「世界」規模化

物理 AI 最大商機或許不在人形機器人,而是替既有設備裝上大腦

*本文開放合作夥伴轉載,資料來源:《SiliconANGLE》World Labs,圖片來源:World Labs。