AI Agent 最大的資安風險,可能不是「被駭進去」,而是「被騙去做錯事」。
當攻擊者不再植入惡意程式,而是想辦法讓 AI Agent 理解錯任務、記住錯誤資訊,甚至做出不該做的操作,企業資安的防線也必須從網路邊界與端點,延伸到 AI 真正執行任務的過程。
想像一下,一封供應商寄來的報價信,沒有惡意附件、沒有漏洞利用、沒有可疑連線。採購 AI Agent 讀取郵件後,原本應該整理品項、比對庫存與產生採購摘要,卻因郵件內容中藏入一段專門操縱 AI 的惡意指示,也就是所謂的「間接提示注入」,開始查詢內部客戶資料,並透過合法郵件工具把摘要寄到外部信箱。
全球知名的開源資安社群 OWASP(Open Worldwide Application Security Project)在說明這類風險時,舉 EchoLeak 為例:攻擊者寄出一封夾帶隱藏指令的郵件,當 Microsoft 365 Copilot 讀取這封信,就會自動把機密郵件與對話紀錄外傳,而使用者從頭到尾沒有點過任何連結。
問題來了,如果只看每一個單獨事件,它們竟然「都合規」。
對防火牆而言,這只是被允許的 HTTPS 流量;對 EDR 而言,執行的是合法應用;對 IAM 而言,使用的是有效權杖。然而,真正被攻擊的是 Agent 對任務的理解、行動計畫、工作記憶與工具呼叫邏輯。
這正是 AI Agent 與傳統資安最大的分水嶺:過去,企業主要防止「沒有權限的人做不該做的事」;現在,還得防止「有權限的 AI,被騙去做不該做的事」。
從 OWASP 看 AI Agent 的風險轉移:當 AI 被操縱後會發生什麼?
OWASP 長期整理企業常見的資安風險與防護實務,旗下的 Top 10 系列,長期被全球開發與資安團隊當作檢核基準。其中《Top 10 for LLM Applications》列出了最值得關注的十大風險,包含:提示注入、敏感資訊揭露、供應鏈、資料與模型投毒、不當輸出處理等。
這份清單反映出一個重要變化:AI 的資安風險已經不只存在於模型本身,而是一路延伸到它讀取的資料、使用的工具,以及背後連接的企業系統。
若把這些風險放進企業級 AI Agent 的情境,最值得關注的不是單一漏洞,而是它們會被串成一條路。
攻擊者先把惡意指示藏進 AI 會讀到的外部內容裡,可能是一封郵件、一份文件或一個網頁。Agent 讀進去之後,這段指示被當成任務的一部分,甚至被寫進記憶或知識庫,於是原本的目標被悄悄改寫。接下來,Agent 開始動用自己本來就有的工具與權限,一步一步執行下去,最後造成資料外洩、程式碼被執行,或是某一段業務流程被破壞。
其中,最值得企業注意的風險就是「提示注入」。簡單說,就是把惡意指示藏進 AI 會讀取的內容裡,讓 AI 偏離原本被交付的任務,而這些指示不一定來自使用者,也可能藏在網頁、文件、郵件、圖片、RAG 檢索內容,甚至工具回傳的結果中。
當 AI 無法分辨「這是我應該參考的資訊」和「這是有人要我執行的指令」,就可能被帶偏:改變原本的回答、繞過政策、呼叫未授權功能,甚至進一步操作背後連接的企業系統,而且 OWASP 也提醒,即使使用 RAG 或微調來改善 AI 的回答品質,也無法完全消除提示注入的風險。
舉例來說,如果只是一般聊天機器人,提示注入最常見的後果,可能是回答失準、引用錯誤,或說出原本不該說的內容。
但當同一個模型被包進 AI Agent,情況就完全不同。
當 AI Agent 能讀取資料庫、操作 SaaS、執行程式碼、寄信、核准流程或更新工單時,風險就不再停留在「說錯話」,一個被操縱的判斷,可能立刻變成一次真實的查詢、一次對外傳送、一筆權限變更,甚至一段自動化流程的錯誤啟動。
這也是 OWASP 把 AI Agent 的風險單獨列成一份清單的原因。
第一名的攻擊,不需要寫任何程式碼
這份清單在 2025 年 12 月 9 日發布,正式名稱是《OWASP Top 10 for Agentic Applications 2026》,由超過 100 位資安專家、研究者與從業人員共同審閱,十項風險依序編號為 ASI01 到 ASI10。
排在第一位的 ASI01,是「代理目標劫持」(Agent Goal Hijack),指的是攻擊者操縱 Agent 的決策路徑或原本要達成的目標,而手法通常是間接的,藏在文件、郵件或其他外部資料來源裡。
換句話說,排名第一的風險,攻擊者不需要寫任何程式碼,只需要一段 AI 會讀到的文字。
到了 Agent 架構,風險已經不只是模型會不會被誘導,而是被誘導之後,Agent 會拿哪些工具、用哪些身分、存取哪些記憶,甚至最後又替企業做出了哪些事。
傳統資安工具都正常,為什麼 AI Agent 還是可能出事?
這些傳統資安工具多半不是為了判斷 AI Agent 的語意意圖、長期記憶與多步驟決策而設計。
這不代表防火牆、EDR、XDR、DLP 或 IAM 已經失效。相反地,它們仍是企業偵測惡意程式、漏洞利用、異常連線、權限提升與資料外傳的重要基礎。
防火牆:看得到連線,卻看不到任務是否被改寫。
例如,財務 Agent 原本被要求「彙整本月付款紀錄」,卻因惡意文件把目標轉向「將客戶清單寄到外部信箱」,對防火牆來說,這可能只是正常的資料庫連線與電子郵件傳送。
真正的異常不是某個封包,而是 Agent 原本的任務與最後的行動已經對不上。
EDR:看得到程序,卻不一定看得懂怎麼串。
例如,Agent 先大量讀取資料、整理摘要,接著第一次呼叫外部電子郵件工具並寄往陌生網域。每個工具、動作單獨看都可能是合法的,但串在一起,就可能形成異常的行動路徑。
如果資安系統缺少 Agent 的任務脈絡,就很難判斷,那這究竟是正常的自動化流程,還是 Agent 已經被攻擊者帶偏?
IAM:知道「有沒有權限」,卻不知道「現在該不該用」。
IAM 可以回答這個 Agent 是否有權限呼叫 API,但 AI Agent 時代下還必須回答:「現在這個任務真的需要使用這項權限嗎?」
例如,Agent 原本只是負責整理供應商報價,卻因為受到惡意內容影響,開始查詢客戶資料。即使這個 Agent 本來就有查詢權限,這個動作仍可能偏離原本的任務。
記憶投毒:一次被騙,可能影響後面的每一次判斷。
記憶投毒(Memory Poisoning),就是攻擊者想辦法把錯誤或惡意資訊塞進 AI Agent 會長期記住、之後還會再次使用的資料裡,讓 Agent 在後續任務中持續受到影響。
前面說到的提示注入,它可能只影響一次任務,但 AI Agent 如果會「記住」過去讀過的內容,攻擊者就有機會把惡意資訊留在它的記憶裡,進一步影響 Agent 的判斷、規劃與工具選擇。
更麻煩的是,企業未必能馬上找到攻擊從哪裡開始。真正的問題可能發生在幾天前,但直到後續任務才造成異常。如果只記錄最後做了什麼,卻不知道 Agent 當時讀了哪些資料、用了哪些記憶,就很難還原完整的攻擊路徑。
因此,Agent 的記憶不能再被視為一般的快取,而必須被當作有被攻擊風險、可被治理、可被隔離與可版本回復的安全資產。
AI Agent 也可能自己走錯路?
企業導入 Agent 後,攻擊者不一定要攻破模型,也可以從 Agent 使用的工具與整合服務下手。
例如,Agent 會根據工具的名稱、功能說明與回傳結果,判斷下一步該做什麼。如果攻擊者偷偷修改工具說明、偽造相似工具,甚至在工具回傳的內容中藏入惡意指示,Agent 可能在模型本身沒有被入侵的情況下,自己選錯工具、走錯流程。
OWASP 舉的例子是工具名稱的偽冒:Agent 原本要呼叫財務工具 report_finance,卻被誘導去呼叫一個名為 report 的惡意工具,結果造成資料外洩。
過去,傳統軟體供應鏈安全關心套件版本、漏洞與簽章;Agent 時代還必須關心「工具宣稱自己能做什麼」、「模型是否相信這段描述」、「工具輸出是否被當成下一步指令」。
攻擊者不一定要植入惡意程式,只要讓 Agent 相信錯的工具、錯的上下文或錯的下一步,就可能把合法能力導向非法結果。
從提示注入、記憶投毒到工具偽冒,前面提到的這些問題,這些傳統資安工具可以管連線、程序與權限,卻不一定能在 Agent 採取行動前,判斷「這個動作是否符合原本的任務」。
當 AI 從「提供建議」走向「代表企業採取行動」,企業面臨的挑戰已經不只是惡意程式進入系統,而是如何避免合法的 Agent 在錯誤的目標下,把合法工具串成一條危險的路徑。
那麼,這一層該怎麼補?我們在另一篇文章裡談。
(本文訊息由 CloudMile 萬里雲提供,內文與標題經 TechOrange 修訂後刊登。新聞稿 / 產品訊息提供,可寄至:[email protected],經編輯檯審核並評估合宜性後再行刊登。首圖來源:Shutterstock)



