隨著 AI 技術不斷發展，如何建構完善的 AI 代理工作框架（Harness），現在成了最熱門的顯學之一。雖然對於大多數企業來說，投入開發尖端 AI 模型並非最佳選擇，但根據自身需求進行客製化，仍然有其必要性。
以目前業界常見的情況而言，AI 代理依舊需要透過手動、見招拆招的除錯方式進行調校，但是過程高度仰賴人類直覺，而非系統性的回饋循環，因此難以跟上大型語言模型（LLM）快速演進的步伐。
為了解決前述問題，中國上海人工智能實驗室的研究團隊，近日提出了一套被稱為「Self-Harness」的全新框架，它讓基於 LLM 的 AI 代理，有能力經由檢視自身的執行軌跡，主動最佳化運行規則，將原本只能靠人為臆測的調校方式，轉變為擁有實證依據的優化模式。
AI 代理運作失敗，源於框架而非模型
事實上，大多數 AI 代理系統的表現，不僅取決於其使用的基礎模型，更取決於它所執行的「工作框架」。
這個「工作框架」通常包含系統提示詞、呼叫工具、記憶能力、驗證規則、執行模式、邏輯協調及故障恢復流程等部分，同時也提供上下文，使 AI 模型能夠跟環境進行互動。
市面上常見的 AI 代理工作框架，包括 SWE-agent、Claude Code、Codex 與 OpenHands 等，而通常導致 AI 代理失效的原因，其實都源於框架，而非 AI 所採用的基礎模型本身。
舉例來說，AI 代理可能在未檢查模型回應的狀況下，錯誤回報任務已成功執行，或者反覆重試失敗的動作；當 AI 代理的互動紀錄變得非常龐大時，本應負責防範上下文衰退或過載的框架，也可能會失去作用。
當前 AI 業界所盛行的 Harness Engineering，目標就是希望 AI 代理執行框架的運作，足夠穩定且如同人類所預期。
偵測、提案、驗證，三階段自我最佳化
上海人工智能實驗室所提出的 Self-Harness 框架，讓 AI 代理能夠在不依賴人類工程師，或者更強大外部模型的情況下，自我最佳化並調整模型。
Self-Harness 框架的運作分為三個主要階段，包含弱點挖掘（Weakness mining）、修改提案（Harness proposal）與提案驗證（Proposal validation）。
首先在弱點挖掘中，AI 代理會執行一組任務，並產生具有可驗證結果的執行軌跡，接著 AI 代理會將失敗的任務軌跡進行分類，嘗試偵測出故障模式。
進入修改提案後，Self-Harness 框架會根據這些故障模式，要求 AI 代理轉變為「提案者」的角色，生成一套既多樣化又最簡化的測試修改方案，每項修改皆與特定的故障機制相關，以避免 AI 進行過於籠統的修正。
最後於提案驗證階段，AI 代理會透過回歸測試以評估候選修改方案，而且只有當某項修改可以在提升效能的同時，又不會對其他獨立測試任務造成負面影響，該修改才會獲得採納。
此外，若有多個候選修改方案通過回歸測試，那它們將會被合併到下一個版本的測試中，成為起點並繼續進行迭代最佳化。
將模糊的錯誤，轉化成清晰的問題
Self-Harness 框架有著實際的使用情境，舉例來說，假若企業中有一款自動化故障修復 AI 代理工具，它能主動閱讀文件、撰寫修補程式並提交 Pull Requests，但卻因為公司內部更新了文件格式規範，導致 AI 代理失效。
此時，若該款 AI 代理導入了 Self-Harness 框架，就有能力將前述狀況，自主轉化成可被解決的問題，並且提出方案加以應對。
Self-Harness 論文第一作者 Hangfan Zhang 解釋，以前面提及的三階段運作模式進行分析，在該案例中，失敗追蹤紀錄可以找到 AI 代理於何處誤用了新的文件格式，接著 AI 提案者能夠針對性地修改框架，最後由 AI 評估者判斷，該修正是否能在不影響其他案例的情況下，修復問題並改進失敗的任務流程。
嚴謹拒絕負面提案，效能進步達 60%
上海人工智能實驗室的研究人員在 Terminal-Bench-2.0 基準測試上，評估了 Self-Harness 框架的執行效能，結果表明 AI 代理的整體表現，無論基礎模型是 MiniMax M2.5、Qwen3.5-35B-A3B 或 GLM-5，皆獲得顯著提升，不同模型的相對改善幅度則介於 33% 至 60% 之間。
Self-Harness 框架之所以擁有如此強大的效益，一來是它要求 AI 代理，只能明確接受促進效能提升的規則，二來在於它並非是單純加長提示詞，或者新增通用指示，而是導入針對性的方法變更，改善不同 AI 模型可能會在執行過程中反覆遇見的問題。
以 MiniMax M2.5 為例，Self-Harness 框架在測試中發現，該模型會無止盡地探索資料集配置，直到執行環境超時為止，最終無法產出任何成果，因此框架要求 AI 代理撰寫出一個「迴圈中斷器」，強制在呼叫工具 50 次之後主動停止，並接著調整執行策略。
此外，像是 Qwen-3.5 常會發生檔案覆寫錯誤，盲目反覆重試同一條指令，最終在混亂中刪除必要的檔案直到停止運作，Self-Harness 框架偵測到問題後，選擇引入嚴格的指令重試規範以解決問題。
高風險領域應用，仍不該完全自動化
雖然 Self-Harness 框架能夠自動化處理、追蹤 AI 代理的故障，但決策者仍必須有所權衡，因為以自動化試錯取代人工分析，需要耗費大量的運算資源。
此外，Self-Harness 框架也仰賴其評估流程的準確性。在基準測試中，研究人員採用嚴格且具確定性的驗證器，以確保 AI 代理所做的修改確實有所助益，但實際部署時若缺乏類似的嚴謹基準，自動化流程就有可能會不斷放大失誤。
Hangfan Zhang 提醒，企業應避免在風險極高的領域中，透過 Self-Harness 框架將 AI 模型的調校完全自動化，例如醫療決策、安全基礎設施或法律裁決等，具備主觀性、延遲性、非確定性，以及一旦出錯代價高昂的工作。
工程師升級架構師，自動化是權宜方案
Harness Engineering 是 AI 業界當前的重大挑戰，但瓶頸並不一定是人類速度太慢或能力不足。Hangfan Zhang 說，在多數情況下，一位具備深厚領域知識的資深工程師，其所提出的改進方案，仍會比 LLM 生成的建議更為優秀。
只不過，隨著新款 AI 模型以驚人速度不斷問世，依靠人類直覺手動調整特定模型的調教策略，已經變得成本高昂且難以維持，Self-Harness 框架確實是權宜之下的有效方案之一。
引入類似 Self-Harness 框架的自我進步型 AI 代理，雖然並不意味著企業的工作流程將會突然變得完全不需要人力，但工程專業確實朝著更高的抽象層級繼續發展。
Hangfan Zhang 直言，工程師的角色將從手動修補個別提示語或工具呼叫，轉向設計能讓 AI 代理得以自我改進的回饋系統；工程師也將不再只是提示語的微調者，而是更傾向於化身成回饋系統的主要架構師。
【推薦閱讀】
◆ 微軟砸 25 億美元、AWS 投 10 億美元派駐工程師：企業 AI 戰場為何從「單一模型」轉向「多模型調度」？
◆ 氛圍編碼讓初期開發飛快，卻讓營運知識四散，SDD 成 AI 輔助資料工程新解
◆ 成本只要五分之一、能力逼近 Anthropic：中國 GLM-5.2 如何改寫企業 AI 戰場？
＊本文開放合作夥伴轉載，參考資料：VentureBeat、arXiv，首圖來源：Nano Banana 2
（責任編輯：鄒家彥）
