企業導入 AI 已是不可逆的趨勢，但管理這些 AI 與 AI 代理，卻成為多數組織最棘手的問題。IT 和網路安全軟體公司 Ivanti 針對 6 個國家共 3,900 名企業員工的調查顯示，組織領導者隱瞞自身使用 AI 工具的比例幾乎是中基層員工的兩倍（42% 對 23%），其中 52% 坦承隱瞞是為了獲得「秘密優勢」。
責任歸屬也同樣模糊，雖然 85% 的 IT 專業人員聲稱每個 AI 代理背後都有明確負責人，但只有 42% 認為公司內部的責任劃分已經足夠清楚。
找出所有影子 AI 是不可能的任務
美國金融科技公司 Clearwater Analytics 資安長 Sam Evans 向外媒表示，對於像他們這種支撐著高達 8.8 兆美元資產的企業來說，AI 時代下最糟糕的情況，其實是員工直接將客戶資料，輸入到組織根本無法管理的 AI 應用之中。
舉例來說，曾經有大型企業員工私下對外透露，為了避開公司內部冗長的審核流程，他們會自行在 Google Colab 中建立影子 AI 應用，並且將數據儲存於外部資料庫，藉此將原本需要一週的財務分析工作，大幅壓縮到一個小時之內完成。
資安公司 Menlo Security 執行長 Bill Robbins 轉述某位美國前三大銀行資安長的說法，指出在 AI 科技的普及之下，企業選擇找出所有影子 AI 是不可能的任務，畢竟 AI 確實已經深入到員工所使用的每款應用程式和瀏覽器之中，因此該銀行選擇將 AI 治理策略，轉向確保資料環境獲得安全隔離。
行為沒有區別，意圖也難以判斷
CrowdStrike 技術長 Elia Zaitsev 解釋，為什麼 AI 工具與 AI 代理所觸發的攻擊面，對於企業來說竟如此難以控管，關鍵在於無論是由 AI 代理操作網頁瀏覽器，還是由使用者親自操作瀏覽器，從表面行為來看，這兩者其實根本就沒有區別。
換句話說，觀察程式的實際動態行為，並接著加以防範、應對，依舊還是結構化、可解決的問題，但是判斷 AI 甚至人類的「意圖」卻非常困難。
Elia Zaitsev 認為，影子 AI 已經不是企業資安團隊，可以透過列表、清單等手段進行管理的東西，而是企業 IT 必須先假設，一定會存在於組織內部的安全風險。
AI 代理擅自擴權，防守方疲於應對
企業 AI 所帶來的資安與治理問題，比外界所想像的更深、更廣。許多企業雖然會於 AI 應用上線之前，進行審查以確認模型的功能是否合格，但卻從未檢查過 AI 模型的來源、行為偏差，或者是 AI 代理是否會於啟動後擴大自身權限。
CrowdStrike 執行長 George Kurtz 分享了一個案例，他指出，某家《財星》前 50 強企業執行長所使用的 AI 代理，曾主動竄改該公司的資安政策以擴大自身權限，而且該公司還是在「偶然」情況下發現該問題，因為所有憑證、驗證全都正常通過。
George Kurtz 警告，在 AI 代理盛行的時代下，若想防禦由 AI 賦能的攻擊者，並且確保 AI 系統本身的安全，那麼防守方就必須以機器般的速度運作。
即便有 AI 幻覺，人類仍選擇信任
另一方面，所謂的「AI 幻覺」也使問題變得更加複雜。
同樣根據 Ivanti 的調查，高達 68% 的 IT 專業人員，曾經親眼目睹 AI 產生可能對營運造成影響的錯誤幻覺，其中超過半數員工於 AI 帶來實際損害前，就早先一步發現錯誤，但還是有 16% 未能及時發現。
即便如此，Ivanti 的調查仍指出，在最先進 AI 的使用者群體中，仍有 49% 的人完全信任能夠影響 IT 決策的 AI，以及由那些 AI 所輸出的結果。
美國體驗管理公司 Qualtrics 資安長 Assaf Keren 分析前述的矛盾，源於企業在 AI 時代下，正將「非確定性決策」引入原本為「確定性」所設計的環境中，畢竟目前確實並沒有明文規定的門檻，以區分哪些任務可由 AI 代理自動執行，而哪些則需要人類介入。
AI 應用全面投入，治理已迫在眉睫
AI 為企業帶來的資安與治理問題仍層出不窮，解決問題的時機窗口卻逐漸縮窄。
根據 Ivanti 的調查，多數 IT 組織預期 AI 將會在 18 個月之內，實現自家公司 46% 營運流程的自動化；同時治理問題已是阻礙加速部署最常見的障礙，其重要性甚至高於技能、技術及數據方面的挑戰。
在 AI 成熟度較高的企業中，其 IT 專業人員每週可節省約 6 小時工作時間，為成熟度最低層級的兩倍；而在已經大規模部署 AI 的組織中，近九成 IT 專業人員表示，AI 經常能夠在員工受到影響之前，協助偵測或解決問題。
當然，隨著 AI 應用逐漸普及，有 69% 已大規模部署 AI 的企業表明，他們已經全面建立治理機制，相較之下，處於早期實驗階段的組織僅有 15%。
總歸來說，面對企業 AI 治理失效問題，Ivanti 統整為 6 大主要面向，分別是：
- 高階主管私下執行的影子 AI、
- 現行 AI 代理所有權不明、
- AI 應用僅在部署之前審查、
- AI 治理政策執行不一致、
- 對 AI 預設的信任閾值過高、
- 以及缺乏針對 AI 代理每一次動作進行的「逐次授權」機制。
加強稽核、降低信任、適當授權
企業的 AI 治理政策不該只停留在紙本文件，因為 AI 代理為達到目標，往往會主動越過安全邊界，此時企業 AI 團隊就可以藉由伺服器端閘道的稽核軌跡紀錄，清楚列出 AI 代理「受控」與「未受控」動作的數據比例。
至於 AI 信任閾值過高的問題，企業則可檢查、分析已記錄的閾值矩陣，用以將每個 AI 代理的動作，分類為「自動執行」或「人工審查」，清楚區分哪些 AI 決策可交由自動執行，哪些又必須得有人類介入。
最後關於 AI 操作授權問題，考慮到 AI 代理每秒都在執行動作，權限極易於不知不覺中無限膨脹，所以企業 IT 團隊得時刻確認系統運行時的授權日誌，確保它能明確顯示每次動作的閘道攔截事件，以及權限重新授權的時間戳記。
【推薦閱讀】
◆ OpenAI 啟動開源資安計畫 Patch the Planet：資安戰場正從「找漏洞」轉向「修漏洞」
◆ 【金融業資安新威脅】駭客改打 IT 支援電話，傳統憑證防禦出現結構性破口
◆ 6 成受訪企業找不到懂 AI 的資安人才，資安主管年薪飆至 800 萬美元不罕見
＊本文開放合作夥伴轉載，參考資料：VentureBeat、Ivanti，首圖來源：PxHere
（責任編輯：鄒家彥）
