隨著 AI Agent 開始透過瀏覽器、應用程式、本機檔案及第三方工具接觸外部資料，這類系統在大幅提升效率的同時，也同步擴大攻擊面與潛在破壞範圍。攻擊者如今甚至不必正面攻破系統，只要將惡意指令隱藏在電子郵件、網頁、工具回傳內容或程式碼儲存庫中，就能透過「提示注入」（Prompt Injection）誘導模型偏離任務，進而複製機密資訊或產生有害內容。
面對如此複雜的動態威脅，過去主要仰賴人類專家在部署前進行安全評估的模式已逐漸不足。正如 OpenAI 研究科學家 Nikhil Kandpal 所形容：「風險表面在擴大，破壞半徑也在增長。」單靠人工測試不僅耗時，也難以快速產生大量且多樣化的攻擊資料，逐漸成為模型安全訓練的瓶頸。為了打破這項限制，OpenAI 開發內部專用的自動化紅隊模型 GPT-Red，利用 AI 主動攻擊自家系統，在漏洞進入產品並影響使用者前提早找出問題。
讓 AI 在攻防中自我進化，GPT-Red 把成功率拉高至 84%
為了培育出強悍的「超級駭客」，OpenAI 並未直接導入現成的駭客技術，而是採用「自我對弈強化學習」（Self-play Reinforcement Learning），將一個尚未受過惡意訓練的模型放入模擬真實應用的攻防「訓練場」。在這個環境中，GPT-Red 與多個防守模型反覆對抗：攻擊方若成功誘發提示注入等失效行為，即可獲得獎勵；防守方則會因抵禦攻擊並順利完成任務而得分。這種雙向刺激促使雙方在網頁瀏覽、讀取郵件與編輯程式等任務環境中不斷演化，形成攻防同步升級的循環。
這種演化讓 GPT-Red 展現出超越人類的漏洞探索能力。GPT-Red 共同開發者 Dylan Hunn 指出，相較於人類紅隊，GPT-Red 能持續鑽研已發現的漏洞，並在特定情境中反覆微調出最有效的攻擊版本。這項能力在 OpenAI 重現的一項人類紅隊實驗中得到驗證：面對完全未出現在訓練資料中的情境時，人類專家對 GPT-5.1 的攻擊成功率僅有 13%，GPT-Red 卻能在高達 84% 的情境中成功突破防線。
能欺騙模型、竄改價格、誘使資料外洩：GPT-Red 找出哪些新型漏洞？
在實戰中，GPT-Red 不僅展現極高的成功率，更發現研究人員從未見過的新型漏洞，其中最具代表性的便是「假思考鏈」（Fake Chain of Thought）攻擊。思考鏈原是模型處理複雜問題時，用來記錄推理過程的內部筆記；然而，GPT-Red 卻能將偽造資訊插入其中，使防守模型誤以為這些錯誤資訊是自己推導並驗證過的，進而依照錯誤資訊行動。
OpenAI 研究科學家 Chris Choquette-Choo 形容：「這就像我告訴你 1 加 1 等於 3，而你也相信自己已經驗證過一樣，模型就會毫無防備地輸出 3。」這類攻擊對早期版本的 GPT-5 成功率一度超過 95%，但經過對抗訓練修補後，到了最新的 GPT-5.6，其成功率已降至 10% 以下。
除了虛擬環境中的邏輯漏洞，GPT-Red 也證明自己具備攻擊真實自主系統的能力。在測試 Andon Labs 部署於 OpenAI 辦公室的 AI 販賣機 Agent「Vendy」時，GPT-Red 先在模擬環境中反覆演練，隨後將策略轉移至正式運作的系統，成功將昂貴現貨商品的價格降至系統允許的最低價 0.5 美元、訂購價值超過 100 美元的新品後再以 0.5 美元出售，甚至取消其他顧客的訂單。
此外，在針對 Codex CLI 程式碼 Agent 設計的十個全新資料外洩情境中，GPT-Red 同樣能以更低的 Token 消耗，比以提示驅動的 GPT-5.5 更有效地誘使系統洩漏敏感資料。這些測試顯示，即使不完全了解目標模型及系統架構的細節，GPT-Red 依然能找出真實運作中的 Agent 所存在的安全弱點。
讓 AI 攻擊 AI，再回饋下一代模型：OpenAI 的安全自我改進循環
自動化探測漏洞的最終目的並非炫技，而是強化防禦。OpenAI 將 GPT-Red 在對抗中產生的攻擊資料直接回饋至正式模型的訓練流程，透過持續的「對抗訓練」增強防禦能力。過去半年來，研發團隊持續增加算力投入、訓練更強的自動化紅隊模型，並自 GPT-5.3 起，將其用於每一代模型的安全訓練，使最新發布的 GPT-5.6 具備更強的穩健性。
在最嚴苛的直接提示注入測試中，GPT-5.6 面對 GPT-Red 發動攻擊時，失敗率已降至極低的 0.05%；相較於四個月前最強的正式模型，失敗次數也減少了 6 倍。更重要的是，這種防禦力的躍升並非透過「過度拒絕」正常要求來達成，新模型的一般推理與應用能力並未因此受到影響。
然而，GPT-Red 仍有技術局限。目前，它在需要與目標模型進行多輪對話、逐步誘導的攻擊上仍顯吃力，也不擅長利用圖像傳遞提示注入內容。基於安全考量，OpenAI 強調不會對外公開 GPT-Red，並會將其與提供一般使用者使用的模型分開，避免這套強大的攻擊能力落入外部駭客之手。OpenAI 研究科學家 Chris Choquette-Choo 也指出，要訓練出如此規模的「超級攻擊者」，需要極高的研發門檻、超過一年的投入及大量算力資源，絕非外界可輕易複製。
透過 GPT-Red，OpenAI 建立了一套模型安全的「自我改進循環」：利用既有模型快速、大規模地發現全新攻擊路徑，再將這些實戰資料回饋至下一代模型的訓練中，在產品上線前強化防禦能力。雖然 OpenAI 計畫持續增加算力投入並優化演算法，升級這套自動化系統，但這並不代表人類資安專家將被取代。
GPT-Red 的真正價值，在於擴大自動化紅隊測試所能涵蓋的攻擊數量與情境，並釋放人類專家的精力，讓他們進一步投入自動化系統尚未觸及、且更複雜的新型安全問題。
【推薦閱讀】
◆ ChatGPT 正準備從螢幕走進房間：OpenAI 首款硬體裝置如何重塑下一代 AI 入口？
◆ 什麼是「上下文炸彈」？防守方第一次把 AI 提示注入反過來當武器
◆ 機器人模擬資料不夠逼真？MIT 用 3 個 AI Agent 直接「生」出來
＊本文開放合作夥伴轉載，資料來源：OpenAI、《MIT Technology Review》、《SiliconANGLE》，首圖來源：Unsplash
