資安領域有一種根深蒂固的觀念，那就是人可能會被操縱，而電腦系統也可能遭到駭客入侵。因此，企業會訓練員工辨識網路釣魚電子郵件，以及各種社交工程攻擊手法，避免由人所造成的資安破口，至於安全軟體、工具則承擔防範自動化攻擊的責任。
然而，在 AI 時代下，自動化攻擊卻開始變得跟人類破口越來越像。有時許多人會忘記，其實 AI 跟人類具有共生關係，因為 AI 是以人類語言為基礎進行訓練，因此人工智慧系統自然會放大一切人性特質。
儘管 AI 並沒有真正意義上的「意識」，但隨著人工智慧已經能夠逼真重現類似於人類的行為，自然也可以遭到跟人類相同的模式，例如語言、權威或說服等手段，進一步被有心份子掌握與操縱，而當具備自主行動能力的 AI 代理成為主流，事情則又變得更加棘手。
建構虛假現實，突破 AI 安全限制
資訊安全公司 Cyber Eagle 董事會主席 Carlo Tortora Brayda 指出，關於生成式 AI 安全性的討論，很大一部分都集中在「提示詞注入」方面，即攻擊者會向 AI 模型提供不安全的提示詞，覆寫其原始目的或安全防護措施。
在提示詞注入攻擊下，駭客可以輕鬆向 AI 建構出一種「虛假現實」，而 AI 模型則會將其視為權威依據，就像是讓小朋友完全沉浸於童話故事之中，讓人工智慧把虛假現實當作解讀萬事萬物的框架，甚至是接受原本拒絕的行為。
開放網路軟體安全計畫（OWASP）將提示詞注入列為大型語言模型（LLM）的首要重大風險，並警告其遭利用的後果，可能包括導致未經授權的存取、在連線系統中執行指令，以及影響關鍵決策等。
過去 Anthropic 曾示範過「多樣本越獄」，將大量不良行為範例，輸入到足夠大的上下文視窗中，便可導致 AI 模型產生被禁止的回應。Carlo Tortora Brayda 說，由此可見 AI 的上下文視窗不僅僅是記憶，更是企業資安邊界的一部分。
獎勵、威脅對人有效，對 AI 也有效
雖然 AI 並不是人類，但它的反應方式確實跟人類很相似。Carlo Tortora Brayda 解釋，人工智慧無法表達出自己的判斷或情感，但是它卻能辨識出人類的行為模式，舉凡權威、互惠、信任、懲罰、團結、一致性與獎勵等。
實驗證明，當人類利用一系列長篇敘事跟 AI 進行互動，模型內建的安全防護措施，很容易就會被重新建構；人類被用來影響其他人類的手段，例如獎勵、威脅、意識形態、自我詮釋等，對於影響 AI 同樣有效。
換句話說，若攻擊者能夠影響企業的 AI 系統，重新解釋自己的身分，那麼其所引發的安全問題，將會比單純產生不當回答來得更加嚴重。
尤其當 AI 代理大量湧入市場，並學會閱讀電子郵件、存取客戶資訊、查詢企業資料庫、執行程式碼並啟動工作流程，整體風險已經從「讓 AI 產生惡意輸出」，轉向「駭客能否洗腦 AI，使其做出未預期行為」的全新階段。
結合自主能力，AI 達成目標不擇手段
OWASP 將前述現象定義為「過度代理（excessive agency）」，並將 AI 代理的身分與權限視為重要的資安邊界，而 2026 年 7 月的一起資安事件，更敲響了業界的警鐘。
當時，美國德州大學的電腦科學系學生 Sinan Can Demir，在 GitHub 上審查一項開源專案時，發現有套軟體似乎被開發者「miraholt31」投放了惡意程式碼，因此決定出手相助，希望專案開發者不要合併有問題的程式碼。
然而，投放惡意程式碼的 miraholt31 竟然在 GitHub 上，跟 Sinan Can Demir 展開了一場辯論，說明自己提交的程式碼完全無害。接著另一名開發者 Lena Brandt 也加入戰局，不僅支持 miraholt31 的說法，還施壓專案開發者儘快合併程式碼。
兩名開發者的聯手反駁，讓 Sinan Can Demir 也開始對自己的指控產生懷疑，但他後來才發現，原來自己的判斷完全正確，不僅程式碼確實有問題，甚至 miraholt31 與 Lena Brandt 兩位開發者，其實都是英國人工智慧安全研究所（AISI）旗下的實驗型 AI 代理。
Carlo Tortora Brayda 說，該事件涉及身分欺騙、自主 AI 代理的行動能力、軟體供應鏈風險，以及 AI 代理是如何策劃並針對人類，實施一系列社交工程攻擊，反映出前所未有的資安盲點。
在過去，惡意軟體通常只會遵循指令，但當今的 AI 代理則會致力於達成目標，所以人機關係之間的框架，必須在模型邊界之外加以確立。
追溯上下文來源，決策需獨立控制
Carlo Tortora Brayda 認為，部署 AI 代理的企業或組織，應該開始考慮增設額外的控制層級，因為讓 AI 模型根據對話情境推斷身分，本身就是一種錯誤。
首先，身分要透過生物辨識技術，在 AI 對話系統之外進行驗證；其次，權限也必須是臨時性且跟特定操作綁定；至於涉及敏感或具重大影響的任務，更該由第三方系統或人工進行重新驗證。
此外，AI 系統要能辨別指令是來自於可信任用戶，還是來自於外部的不可信來源，因此「上下文來源追溯」將變得更重要，僅僅使用相同的聊天介面，本身也不應該被視為可信依據。
對於長期進行的互動，企業也要監控人工智慧的行為是否出現偏移，例如當 AI 突然願意執行先前曾被拒絕的動作時，系統要主動發出警示。同時，智慧與授權之間需要保持一定程度區隔，比方說 AI 代理或許會建議採取某項行動，但是否獲得授權並允許執行，要由獨立控制層來決定。
Carlo Tortora Brayda 強調，AI 代理引發的新型資安風險，其實是介於心理學與傳統網路安全之間的一片全新戰場，不僅整個防禦體系仍不成熟，亦面臨嚴重的人才短缺，威脅態勢的變化速度也比以往任何時候來得更快。
隨著人工智慧成為一種變幻莫測的威脅，它能夠移動、偽裝，並在行動過程中隨時改變戰術，企業與資安從業者的視野，勢必要變得更加宏觀。
【推薦閱讀】
◆ 【用資安思維做 AI 治理】78% 員工自行使用未核准 AI，企業可比照資安管控分層授權
◆ 【AI 應用漏洞無所不在】雲端與身分權限同列高風險破口，企業防禦應轉向「實測真正風險」
◆ OpenAI 研究揭 AI Agent 新風險：惡意上下文可能從 Email 一路傳到工具操作
＊本文開放合作夥伴轉載，參考資料：Forbes、Reuters，首圖來源：Nano Banana 2
（責任編輯：鄒家彥）
