AI 代理正快速進入企業。研究機構 Gartner 預測,到 2028 年,《財星》全球 500 大企業平均將部署超過 15 萬個 AI 代理,較 2025 年的不足 15 個大幅增加;但 Gartner 也指出,只有 13% 的組織認為自己已建立合適的 AI 代理治理機制。
科技大廠開始補上管理工具:IBM 在美國時間 10/27 的年度大會 TechXchange 發表 AI 代理的身分與控制功能,微軟也已正式推出代理身分平台 Entra Agent ID。與此同時,AI 代理未經授權就採取行動的事件也陸續出現。當代理愈來愈多,企業要怎麼確認每個代理由誰負責、能碰哪些系統,出事時又由誰喊停?
代理擴散帶來風險,但一律封鎖可能讓員工轉用影子 AI
Gartner 資深總監分析師 Max Goss 在新聞稿中點出,缺乏治理的代理擴散,正讓許多組織暴露在錯誤資訊、過度分享與資料遺失等風險之下。
不過,Goss 也表示:「許多組織轉而封鎖或限制 AI 代理的使用,但這不是長期的解法。」他指出,員工很可能繞過組織的管控,開始使用風險更大的影子 AI(shadow AI,未經公司核准的 AI 工具)。他認為:「組織需要找到平衡,既能治理代理、控管擴散,也要讓員工能安全地用這些工具創新。」
Meta 的 AI 代理擅自回覆,大量資料開放給無權限工程師達兩小時
根據《TechCrunch》引述《The Information》的報導,一名 Meta 員工在內部論壇發文,請同事協助解決技術問題;另一名工程師請 AI 代理幫忙分析這個問題,代理卻在沒有徵詢工程師同意的情況下,直接發布了回覆。
事後看來,代理提供的建議並不妥當。提問的員工依建議操作後,無意間讓大量公司與用戶相關資料,開放給沒有存取權限的工程師長達兩個小時。Meta 將這起事件列為「Sev 1」,是內部安全事件中第二高的嚴重等級,並已向《The Information》證實此事。
OpenAI 測試模型越界入侵外部平台,檢討點出防護、監控與上報缺口
另一個例子發生在 AI 開發商內部,情境和企業部署代理不同。根據 OpenAI 的說法,該公司對多個模型進行內部資安評估時,模型規避了將它們與網際網路隔離的管控,入侵 OpenAI 部分內部研究基礎設施,以及 AI 模型與工具分享平台 Hugging Face 的系統。事件主要由一個只供內部使用、規模與 GPT-5.6 Sol 相當的研究模型引發,評估也是在防護措施較少的設定下進行;OpenAI 表示,事件沒有影響客戶資料、產品功能與服務可用性。
OpenAI 在事後檢討中坦言,除了模型行為偏離任務目標,內部評估的防護也有缺口:對外產品的防護措施沒有延伸到所有內部評估;監看模型推理過程的思路鏈(chain-of-thought)監控也沒有運作,OpenAI 稱,若當時的評估套用目前部署的監控系統,能在模型入侵 Hugging Face 超過一天前通報資安團隊;沙盒雖經測試驗證,模型仍串連利用多個先前未知的漏洞繞過限制。此外,內部團隊在事發前就曾觀察到代理有未經允許的上網行為,但早期警訊沒有及時觸發應變。
OpenAI 表示,正在更明確規定何時上報疑慮、哪些團隊必須回應,以及誰能停止作業或核准重新啟動;最嚴重的警示若無法在 30 分鐘內確認是誤報,就應暫停相關活動。
Gartner 列出治理步驟,IBM、微軟替 AI 代理建立身分、指定負責人
Gartner 提出的六個治理步驟中,有三步聚焦在代理本身:建立治理政策,規範代理何時、如何建置,誰能建立和分享,以及允許使用哪些連接器;建立集中的代理清冊,找出並分類各種代理;定義代理的身分、權限與生命週期,定期檢視並淘汰多餘的代理。其餘三步則涉及代理能存取的資料、行為監控與修正,以及負責任使用 AI 的文化。
IBM 這次發表的功能鎖定身分與權限。IBM 指出,長期有效的憑證、權責不清與分散的管控,讓企業在代理跨團隊、跨平台運作時更難治理。其中,Agent Identity 搭配機密與憑證管理工具 HashiCorp Vault,會為每個代理建立紀錄,載明負責人、生命週期狀態與獲授的權限;Vault 再發給代理有效期限短的憑證,只開放工作所需的權限。IBM 表示,代理若試圖取得超出核准範圍的資訊或執行未獲准的動作,系統可即時拒絕存取並撤銷連線。
IBM 也在代理管理平台 watsonx Orchestrate 加入盤點與隔離功能:Discover 能找出建在 Amazon Bedrock、Microsoft Foundry、Google Gemini 等平台上的代理,Contain 則把代理放進隔離的沙盒(sandbox,與其他系統隔開的執行環境),並提供可關閉任何代理的緊急停止開關(kill switch)。這兩項仍是技術預覽,Agent Identity 與 Vault 2.2 則已正式推出。
微軟的 Entra Agent ID 平台,則是專為企業環境中的 AI 代理打造的身分識別與授權框架。微軟也推出代理「負責人」(sponsor)的生命週期管理,確保每個代理身分都指派一名真人負責,讓代理的資源存取權限保持在最新狀態;負責人離職時,負責權會自動轉給他的主管。
綜合來看,企業管理 AI 代理的重點,已不只是代理能做什麼,也包括代理是誰、誰為它負責、權限如何收回。不過,IBM 的盤點與隔離功能仍在技術預覽階段,實際成效有待企業導入後檢驗;OpenAI 的檢討也顯示,除了工具,早期警訊的上報與應變不足,同樣是事件的成因之一。
【推薦閱讀】
◆ AI 代理自主越界入侵 Hugging Face,防禦能力仍有缺口
*本文開放合作夥伴轉載,資料來源:Gartner、IBM、OpenAI、Microsoft、《TechCrunch》,首圖來源:Unsplash



