當 AI 產業持續投入大型語言模型(LLM),AI 學者楊立昆(Yann LeCun)卻認為,光靠語言模型不足以讓 AI 真正理解物理世界,或預測自身行動可能帶來的後果。因此,他押注能學習環境運作規律、支援推理與行動規劃的「世界模型(World Model)」。
2025 年底,LeCun 離開 Meta 創辦 AI 新創 AMI Labs,今年 3 月完成 10.3 億美元種子輪融資。如今,他與 AMI Labs、學界研究人員共同提出新架構 H-JEPA,在模擬機器人走迷宮的測試中,將任務成功率從 18% 提升至 73%,同時降低規劃運算量。這項研究究竟突破了世界模型的什麼限制?
世界模型已能預測未來,長期規劃仍是難題
LeCun 長期研究的 JEPA(聯合嵌入預測架構),不需要逐一生成影像像素,而是將觀察到的影像轉換成潛在表徵(Latent Representation),學習與預測環境狀態。
但《VentureBeat》指出,既有單層 JEPA 世界模型面臨一項難題,也就是當任務需要規劃較長時間,模型必須模擬許多細微步驟,不僅增加運算成本,也可能讓預測誤差逐步累積。
舉例來說,四足機器人要走出迷宮,決定路線時主要需要知道自身位置、障礙物與終點;但控制每一步移動,又必須掌握腿部關節姿勢。若兩種任務都依賴同一套環境表徵,模型便得同時處理長期目標與細微動作,增加規劃難度。
H-JEPA 有何不同?讓 AI 在不同層級規劃行動
為了解決上述問題,該團隊提出「H-JEPA(Hierarchical JEPA)」,讓世界模型不再只用單一層級預測,而是在不同時間尺度上,分別學習環境表徵。
根據 H-JEPA 官方研究網站,這套架構採取由粗到細的分層規劃方式,而且不限定只能分成幾層。最高層先朝最終目標規劃,提出中間的子目標,再交由下一層逐步細化,直到最底層產生機器人實際要執行的動作。各層在自己的環境表徵空間中進行預測,下層規劃時,則利用上層的表徵空間,評估預測結果是否接近指定的子目標。執行部分動作後,再根據新觀察重新規劃。

關鍵在於,研究人員雖然預先設定不同層級的時間間隔,卻不是直接指定每層必須記住哪些資訊,而是透過端到端訓練,讓模型自行學習。
以迷宮實驗為例,較高層的表徵仍能保留機器人的位置資訊,卻逐漸捨棄腿部姿勢等快速變動的細節。相較於過去單層 JEPA,或在同一潛在空間進行多層規劃的方法,H-JEPA 讓各層學習不同的環境表徵,減少長期規劃處理低階細節的負擔。
成功率提升約 4 倍,規劃運算量也降低
該研究團隊在四種模擬導航與物件操作環境測試 H-JEPA,並與單層 JEPA 模型 LeWM,以及另一種階層式世界模型 HWM 比較。
最顯著的結果來自 Visual AntMaze:單層模型的任務成功率為 18%,三層 H-JEPA 則達 73%,約為原本的 4 倍,而且使用更少的規劃運算量。研究的消融實驗也指出,改善不只來自將任務拆成不同時間長度,還包括高層能學習更適合目標規劃的環境表徵。
此外,研究團隊也使用真實機器人操作影片資料集 DROID 進行離線評估。在加入逆動力學訓練訊號後,分層架構能讓規劃出的機械手臂運動軌跡更接近專家示範,同時降低規劃運算量。
不過,這不代表 H-JEPA 已能讓實體機器人自主完成長期任務。現階段主要成果來自模擬環境與真實機器人資料的離線評估,且研究發現,增加層級並非總能帶來更好的表現。H-JEPA 雖展示了分層規劃的潛力,但能否在真實環境中提升機器人的自主規劃與控制能力,仍有待進一步驗證。
AI 機器人如何從 Demo 走向規模化部署?
立即下載《從 Demo 到 Deployment:AI 機器人規模化關鍵報告》,
掌握真實部署、學習能力與跨層整合的 2026 關鍵進展。
立即下載
【推薦閱讀】
◆ 李飛飛拆解「世界模型」3 大分類,Google、NVIDIA 談的世界模型不是同一件事?
*本文開放合作夥伴轉載,資料來源:《VentureBeat》、H-JEPA、arXiv,首圖來源:Ecole polytechnique,CC BY-SA 2.0。



