Google 與 Meta 近日分別發表研究,探討如何讓 AI 代理(AI agent)從過去的執行經驗中持續改進。兩項研究都著眼於 AI 代理的工作框架(harness),也就是管理上下文、工具與執行流程的機制;這類設計目前多仰賴人工反覆調整與評測,記憶管理方式也多由人工撰寫的提示詞決定。
兩者的技術路徑並不相同。Google 提出的 Self-Improvement Memory(SIM),讓負責最佳化工作框架的系統保存過往的修改經驗,以便在更換資料集或模型後延續既有改進;Meta 提出的 Self-Improving Memory,則讓模型自行探索適合不同任務的記憶管理策略,再透過訓練將其中部分成效內化至模型權重。
Google 讓最佳化系統記住「為何這樣改」,跨資料集、跨模型延續改進成果
Google Cloud AI、Google DeepMind 與賓州州立大學的研究團隊,在論文《Self-Improvement Memory Enables Continual Recursive Self-Improvement》中指出,改進工作框架可以在不更新模型權重的情況下提升表現,但以人工尋找有效修改,需要反覆調整與評測。近年的遞迴式自我改進(recursive self-improvement,RSI)方法,已能根據執行回饋,反覆提出、評測並挑選工作框架的修改。
然而,這類最佳化通常在固定的模型與資料集下進行。研究團隊指出,一旦更換模型或任務,先前有效的修改未必適用:在代理工作空間(agentic workspace)實驗中,以 Claude Opus 5.5 演化出的工作框架,換到 Gemini 3.8 Flash 上一開始只有 68.41 分,低於初始框架的 73.89 分。如果只保留演化後的框架,卻沒有保存當初為何修改、預期解決什麼問題與測試結果,後續最佳化可能重複先前的嘗試,或在不了解用途的情況下更動既有元件。
為此,研究團隊提出 SIM。SIM 服務的是負責改進工作框架的最佳化系統,而非執行任務的模型。SIM 會依照工作框架反覆遇到的問題,將獲選的修改分組,記錄修改理由、預期與實際結果,以及評測情境,供系統在提出與挑選新修改時參考;遇到新問題就建立新條目,既有問題的新嘗試與結果也會持續補上,協助最佳化系統判斷哪些修改應保留、調整、替換或移除。
論文作者將這套機制應用於持續遞迴式自我改進(continual recursive self-improvement,CRSI)的情境,也就是在更換資料集或模型後繼續最佳化工作框架,並在程式開發、文字分類、代理工作空間與工程設計四個領域進行測試。
在起始框架、最佳化輪數與候選方案預算相同的條件下,完整版 SIM 在六組跨資料集,以及四組從 Claude Opus 5.5 轉換到 Gemini 3.8 Flash 的跨模型設定中,最終分數都高於只延續工作框架、或只記錄問題根因的做法。在程式開發的 10 組獨立實驗中,加入 SIM 的版本有 9 組優於只延續工作框架的版本,平均高出 2.36 分,並達統計顯著(p=0.003)。
Meta 讓 AI 自行探索記憶策略,再透過訓練將部分成效內化至模型
Meta 研究團隊發表的 Self-Improving Memory,則聚焦 AI 代理如何管理長期任務經驗。Meta 指出,要讓代理工作越久表現越好,關鍵在於管理好記憶:記下什麼、如何整理,以及何時讀取。在研究設定中,每個子任務都從空白的上下文開始,唯一能延續下去的,是代理以檔案工具讀寫的持久記憶目錄。
目前這些選擇多由人工撰寫的提示詞決定。但研究團隊在 Continual Learning Bench 的 Database、Codebase 與 Spectrum 三項任務上,測試摘要、檢索、技能庫與假設追蹤等四種人工設計的記憶策略後發現,沒有任何一種能在所有任務都表現最好,因此認為應該讓模型自己學會記憶設計。
這套方法分為兩個階段。第一階段是工作框架最佳化(harness optimization),由後設代理(meta agent)分析任務代理的執行軌跡、分數與記憶目錄,找出記憶使用的不足之處,並改寫兩組記憶提示詞:一組指示代理在完成子任務後將經驗寫入記憶(OFFLOAD),另一組指示代理在下一個子任務開始前讀取相關資訊(LOAD)。每個新版本都會經過評測,表現較好的版本則保留下來繼續修改。
第二階段是工作框架蒸餾(harness distillation)。研究團隊先讓模型在最佳化後的提示詞下執行任務,再把紀錄中的最佳化提示詞替換回通用版本、保留模型的回應,並用這些資料微調模型。後設代理與任務代理都使用 Kimi-K2.6,因此模型等於是以自己發現的記憶技巧進行訓練。
Meta 舉例,這些紀錄中展現的行為包括將儲存庫的基本資訊寫入 QUICKSTART.md、可重複使用的修復方法寫入 REGISTRY.md、資料庫結構資訊寫入 SCHEMA.md,記錄資料表關聯、欄位型別與測試指令等實用資訊,以及沿用「修改前先執行測試」等解題策略。
結果顯示,最佳化後的記憶提示詞在三項任務的平均得分為 56.0,比各任務表現最好的人工設計版本高出 11.4 分,也比通用提示詞的 36.1 高出 19.9 分;兩者都是依任務分數挑出的最佳觀測成績。不過研究團隊也指出,後設代理提出的 44 個修改中,有 37 個未能超越先前的最佳成績,進展仍仰賴評測與篩選。
在微調實驗中,模型只搭配通用提示詞,並在經過環境轉換的測試子任務上評測。以最佳化軌跡訓練的版本平均得分 43.1,比以通用軌跡訓練的 37.6 高出 5.5 分,約 14.6%,顯示部分改進已轉移到模型權重中。研究團隊推測,這項提升部分來自記憶組織與檢索能力的改善,以及解題行為的進步,但仍需直接分析模型行為才能證實。Meta 表示,希望未來將這套方法擴展到記憶以外的更多代理能力,並應用於更多任務與模型。
整體來看,兩項研究都讓 AI 依據自身執行經驗改進工作方式,差別在於改進落在哪裡:Google 的 SIM 在實驗中固定任務模型的權重,把經驗保存在最佳化系統的修改紀錄裡;Meta 的 Self-Improving Memory 則把經驗寫進記憶提示詞,再將部分成效訓練進任務模型的權重。
【推薦閱讀】
◆ 微軟押注「小而專」AI 模型,稱 MAI Code 2 以 5% 成本達 Claude Opus 5.5 的 96% 效能
◆ AI Agent 不必被單一模型綁死!Google 推 Gemini 4 Hydrogen,動態分工節省 24% 配額
◆ Gemini 4 Neon 程式評測逼近 Opus 5.5,API 標價卻比 Anthropic、OpenAI 中階模型貴 5 成:企業該怎麼算?



