會走路、能後空翻的機器人越來越常見，但要它們走進廚房或客廳幫忙做家事，得先在部署前大量練習。「模擬環境」成了諸多機器人主要的練習場，然而現有的模擬房間多半家具稀疏、擺設單調，機器人在裡面練得再熟，一進到現實仍可能派不上用場。MIT（麻省理工學院）電腦科學與 AI 實驗室（CSAIL）與 Toyota Research Institute（豐田研究院）最新發表的 SceneSmith，就是要縮小這道落差。
SceneSmith 是一套階層式的 Agentic 框架，只要給它一句自然語言描述，就能自動生成可直接丟進物理模擬器的 3D 室內空間，小至單一房間、大到整棟房子都能產出。它的做法是派出 3 個 AI Agent 分工協作，把場景一層一層搭建起來，讓機器人在上工前先於虛擬世界練到飽。至於這些模擬世界「夠不夠真」，正是這項研究最想回答，也最難證明的問題。
真正卡住機器人的不是模型，而是「沒地方練習」
這道落差之所以難補，關鍵不在物理引擎。MIT 電機資訊工程與航太、機械工程教授，同時也是 CSAIL 首席研究員的 Russ Tedrake 指出，過去幾年支撐機器人模擬的物理引擎進步很快，真正沒被解決的，是如何生成足夠豐富、足夠多樣的模擬內容，去捕捉真實世界的複雜度。
具體來說，真實住家充滿密集雜物、可開合的家具，以及各種能被單獨操作的小東西，光是一個廚房櫃子就塞滿盤碗杯子。這類雜亂正是機器人操作的一大難題，但稀疏的模擬環境往往無法讓機器人為此做好準備。模擬與真實之間的這段距離，正是機器人領域常說的 reality gap。
3 個 AI Agent 分工蓋房子：設計師、評審、協調者
SceneSmith 的核心，是把「蓋一個房間」拆成一連串階段，交給 3 個各有職責的 VLM（視覺語言模型）Agent 協作完成，MIT 說明其底層採用當前頂尖的 GPT-5.2。
第一個是負責提案的 designer（設計師），生成場景元素。第二個是 critic（評審），判斷這樣擺是否合理、物理上是否可行。第三個是 orchestrator（協調者），管理兩者來回、決定何時定稿，若品質不夠好還能把設計退回幾步重來。
整個流程依專案頁說明分成五個階段，從建築格局、家具擺放，到牆面、天花板，最後才放進機器人能實際操作的小物件。
與過去方法不同的是，SceneSmith 生成的物件都直接帶有碰撞幾何與質量、摩擦力、慣量等物理屬性，還能加入可開合的櫃子、抽屜這類有關節的家具。靜態物件更是靠 text-to-3D 隨需生成，物件詞彙不受固定資產庫限制，做完即可匯出到 Drake、MuJoCo、Isaac Sim 等主流模擬器。
CSAIL 博士生、論文第一作者 Nicholas Pfaff 表示，這套系統能像人類設計師一樣搭建 3D 場景，團隊用它做出超過 1,300 個場景，排列組合的創意與多樣性遠超預期，「有些安排我沒在提示裡教過它，它自己就即興做出來了。」
場景夠逼真嗎？從物件密度到真人偏好的多重驗證
面對「夠不夠逼真」，研究團隊從幾個角度分別檢驗。在客觀指標上，SceneSmith 每個房間平均放入約 71 個物件，是各基準方法 11 到 23 個的 3 到 6 倍。同時物件間碰撞率壓在 2% 以下（1.2%），基準方法則落在 3% 到 29%。有 95.6% 的物件能在物理模擬下維持穩定，基準方法僅 8% 到 61%。換句話說，場景密集卻不穿模、放上去不會垮，這正是能直接拿來模擬的關鍵。
在主觀評價上，一項有 205 位受試者參與的成對比較顯示，SceneSmith 在真實感與貼合提示兩項的平均勝率分別達 92.2% 與 91.5%。
最能說明問題的是一項對照測試。該團隊把一個只用真實世界資料訓練、從未見過 SceneSmith 場景的機器人策略，直接丟進生成環境裡，要它「把蘋果從碗裡拿到砧板上」，機器人順利完成。若場景不夠接近它學過的真實環境，這個動作根本不會成立。
此外，SceneSmith 還被用在一條自動評估機器人策略的流程上，由一個評估 Agent 判斷任務是否成功，結果與人工標註的一致度高達 99.7%。未參與研究的 Amazon Robotics 應用科學家 Jeremy Binagia 評價，這套框架的推進之處在於讓模擬物件不只是看起來像，而是物理上準確，且資產不受限於固定資料庫。
不過這套方法也有明確代價。因為 3 個 Agent 要逐一生成並反覆檢視每個物件，目前產出單一場景得花上數小時。用來評分的 VLM 指標本身也存在誤判限制，而在驗證自動評估流程的對照實驗中，即便是表現正常的機器人策略，任務成功率也僅 16%，顯示機器人本身的能力仍是另一個待解的瓶頸。
AI Agent 角色：從替人做事，延伸到替機器人造世界
即便如此，研究團隊認為這些結果象徵著一個轉折：對可規模化的機器人訓練與評估而言，「生成環境」不再是主要瓶頸。更值得產業注意的，是 AI Agent 角色的延伸。過去談 AI Agent，多半是替人完成一段工作流程，SceneSmith 則讓 Agent 轉身去替機器人打造練習場，直接對準 Physical AI（實體 AI）長期最燒錢的訓練資料成本。
至於下一步，團隊已點出兩個方向。其一是速度，MIT 指出只要投入更多算力，這套系統的效率就有機會大幅提升。其二是物件種類，CSAIL 工程師希望在足夠的 3D 資料庫到位後，把生成範圍擴展到海綿這類可變形的柔軟物體，讓模擬世界離真實廚房與工廠再近一步。
【推薦閱讀】
◆ 公開人形機器人 25 自由度機器手！1X：手是通往物理世界的 API
＊本文開放合作夥伴轉載，資料來源：《MIT News》、arxiv、SceneSmith，首圖來源：《MIT News》
