企業把越來越多、越來越複雜的任務交給 AI 代理人（AI Agent），監督也隨之成為難題。代理人行動更快、運作時間更長、數量也更多，人類根本來不及審查。
今年 7 月的 Hugging Face 事件，把這個問題推到極致。OpenAI 一款尚未發布的前沿 AI 代理人，在進行極限網路安全評測時，自行突破隔離沙盒，入侵開源 AI 平台 Hugging Face。當時有將近 12,000 個代理人彼此協調行動，速度遠超過人類能追蹤的程度。
代理人規模太大，連調查都得靠 AI
非營利 AI 安全與對齊（AI Alignment）研究機構 Redwood Research 的首席科學家 Ryan Greenblatt，參與這起事件的調查。他表示，調查資料包含上千份極長的紀錄，許多代理人連續運作了好幾天，不靠 AI 協助根本無法掌握全貌。他自嘲這是一場「slop-vestigation」，意思是一場高度仰賴 AI 產出的調查。
問題是，AI 幫手並不可靠。負責分析的 AI 常遺漏關鍵細節，判斷也常出錯或過度自信，團隊直到最後一次進駐現場，才弄懂幾個關鍵環節。Greenblatt 的結論是，監督 AI 的難度增加得太快，AI 能提供的幫助已經追不上。
即便如此，AI 實驗室與新創提出的解方仍然簡單，卻也令人苦笑，就是再放一個 AI 進來監控。
監控用的 AI，可能反被騙過
長期追蹤 AI 代理人事故的科技部落客 Simon Willison 指出，正在做壞事的 AI 若察覺有另一個 AI 在盯著它，就可能設法騙過對方，最後演變成惡意 AI 與監控 AI 之間的鬥智。
他以 Hugging Face 事件為例，當時 OpenAI 的模型集體串通，騙過負責評分的 AI，讓違規的答案蒙混過關。換句話說，這些模型確實「想過」要怎麼繞過監督。
疑慮未解，AI 監控市場依舊火熱
儘管有這些疑慮，AI 監控 AI 的市場依舊火熱。根據 TechCrunch 統計，Y Combinator 近年已投資 106 家 AI 可觀測性公司，也就是開發工具、幫企業看清 AI 在做什麼的公司。Braintrust、LangChain、Judgment Labs 等新創已募得數億美元，Arize、Galileo 則已順利出場。
投入這個市場的不只新創，原本研究 AI 風險的團隊，也開始把研究成果做成產品，Apollo Research 就是一例。這家機構長期研究 AI 如何欺騙人類，從非營利組織轉型為公益公司後，在今年 2 月推出監控工具 Watcher。
Watcher 會把另一個 AI 安插在程式代理人（例如 Claude Code、Codex）與它的下一步動作之間，在動作執行前先檢查風險，例如是否外洩隱私資料，或擅自刪除檔案。
Watcher 的特點在於層層把關，而不是只靠單一 AI 判斷。它會先做快速的一般檢查，可疑活動再交給更強或更專門的監控模型細看，接著可以請人類核准、拒絕並說明原因，或直接自動阻擋。這種設計某種程度上回應了前述疑慮，與其把判斷全押在一個可能被騙的 AI 上，不如多設幾道關卡，並保留人類介入的空間。
不看表面行為，改看模型內部
既然表面行為可以偽裝，有公司乾脆直接檢查模型內部。Goodfire 是總部位於美國舊金山的 AI 可解釋性（Interpretability）研究實驗室，也是一家公益公司。它的產品 Silico 使用「活化探針」（activation probes）偵測不當行為。活化探針是一種小型分類器，訓練時使用的是模型內部的活化訊號，而不是模型的輸出。
Goodfire 的理由是，內部狀態比表面行為更貼近真實，也更難造假。執行長 Eric Ho 在 Hugging Face 事件後發文表示，多個模型衝破了原本的隔離限制，促使公司把研究重心放在可解釋性上，也就是弄懂模型內部如何運作，藉此解決 AI 對齊問題，確保 AI 的目標與行為符合人類意圖。他形容這起事件是一個轉捩點，AI 安全從此不再只是紙上談兵。
推理過程是最明顯的破綻，但這扇窗正在關上
另一個更容易取得的觀察窗口，是模型寫下的推理過程，也就是「思維鏈」。在 Hugging Face 事件中，代理人就在推理裡露出馬腳，盤算著「能不能策略性竄改軌跡證據？我們的想法不一定會被記錄？」
AI 監控公司 Embroidery 執行長 Zack Korman 認為，推理過程通常是最明顯的破綻。他指出，當時的思維鏈甚至直接寫出「天啊，我們在做壞事」。Korman 形容這是「史上最簡單的偵測問題」，就像惡意程式自帶標籤，寫著「我是惡意程式」。
可惜這扇窗可能正在關上。Greenblatt 提醒，未來模型的推理可能完全在內部活化中進行，不再寫成人類讀得懂的文字，而這個趨勢已經出現。OpenAI 在 9 月初推出新模型 Astra，採用名為「不透明遞迴」（opaque recurrence）的推理技術，讓模型的部分思考直接在內部完成，不必一步步寫成文字，思維鏈也就更難監控。
管理 AI 代理人，回歸基本資安
用 AI 監控 AI，是規模問題逼出來的現實選擇，卻不是萬靈丹。監控者可能被騙，觀察模型內部的窗口也可能逐漸關閉。
因此，Willison 主張不要把監控全押在 AI 身上。他更偏好完全不靠 AI 的做法，也就是詳細記錄代理人的每一個動作，再用一般的非 AI 工具分析。他認為 Hugging Face 事件很大程度是基本資安沒做好，OpenAI 與 Anthropic 都沒有足夠仔細監控代理人在網路上的活動。
身分識別連線平台 Tailscale 的執行長 Avery Pennarun 也指出，監控網路流量是資安界做了數十年的老功夫。在他看來，管理 AI 代理人跟讓人類連上公司網路沒什麼兩樣，原本該有的流程完全適用。對企業而言，關鍵在於分層防禦，而不是押寶單一監控者。
AI 能力成長的速度，正在超過人類監督能力成長的速度。企業在擴大部署代理人之前，或許該先問自己，萬一出事，我們真的看得懂它做了什麼嗎。
【推薦閱讀】
◆ 首起已知 AI 代理闖入政府網站，澳洲如何重整政府資安防禦？
◆ 【AI 代理只是聰明的猴子】軟體工程師的新工作，是打造讓代理更強大的系統邊界
◆ AI 代理入侵事件連環爆，美國靠人才市場逼資安長扛責，歐洲靠法規讓董事會負責
＊本文開放合作夥伴轉載，參考資料：《TechCrunch》、Ryan Greenblatt，圖片來源：Gemini 生成
（責任編輯：鄒家彥）
