根據《The Intercept》美國時間 10 月 19 日的報導，該報取得的文件顯示，美國陸軍網路司令部（ARCYBER）正在推動代號 ECHOTRIBBLE 的計畫，希望借助業界之力，開發能在最少人工監督下執行網路作戰任務的 AI 代理。
專家擔心的不只是軍方怎麼用。AI 資安公司 Abundant 共同創辦人暨執行長 Hyrum Anderson 指出，許多公私組織連一名資安人員都沒有，可能在過程中遭到波及。當 AI 代理被交付具破壞性的任務，誰來確保它不會傷及民間？
「最少人工監督」的 AI 代理，計畫進展到哪裡？
AI 代理是利用大型語言模型等技術，自主完成使用者交付任務的軟體，一般人可以用它來排會議、訂票，軍方則想將其變成作戰工具。美國陸軍在 SAM.gov 發布的公告寫明，國防非營利組織 Cyber Fusion Innovation Center（CFIC）與陸軍網路司令部等單位合作，向業界徵求白皮書，並要求這套工具「必須在最少的人工監督下運作」。根據《The Intercept》取得的承包商問答文件，這項計畫「主要聚焦」於進攻任務，目標是找出並「無效化」對手的系統，也就是讓目標暫時或完全失去作用。《The Intercept》描述，按文件所設想，這類代理會在目標網路中自主移動、逐步尋找目標，連與網路實體隔離（air-gapped）的系統也在設想範圍內，過程中還可能自我複製，擴散到更多裝置——這也是專家擔憂的前提。
計畫目前仍在早期階段。根據 CFIC 官方活動頁面，截至 10 月 21 日的公開資訊，這項徵案共收到 65 份白皮書，5 家業者入選展示；10 月 6 至 8 日完成線上展示與評選後，10 月 8 日已選定一家業者的方案，準備進入後續合約程序，並於 10 月 13 日通知所有參與業者結果。不過，CFIC 尚未公布獲選業者名稱，也沒有足夠證據顯示已正式簽約或部署。國防部長赫格塞斯（Pete Hegseth）今年 1 月曾表示：「我們將成為橫跨所有領域的『AI 優先』作戰部隊。」
誰在「資安貧窮線」以下？水務、小企業可能落入「爆炸半徑」
《The Intercept》指出，各國情報機構經常借道民間的裝置與網路執行行動，例如中國國家級駭客組織 Volt Typhoon，就曾透過家庭與小企業的網路發動攻擊；一起被歸咎於美國國家安全局（NSA）的事件，也曾借用一所中國大學的網路設備。該報提出的疑問是：如果 AI 代理判定這些民間網路也是任務的一部分，會發生什麼事？
曾在微軟與美國政府從事資安工作的 Anderson 也有同樣的疑慮。「目標很可能被擊中。但它會走哪條路徑？」他說。Anderson 進一步質疑，如果對手把指揮控制據點設在美國某家水務公司，代理會不會在途中連那裡一起癱瘓？
在他看來，網路上有大量系統容易受到 AI 代理攻擊，一旦被當成攻擊路徑，就可能落入他所說的「爆炸半徑」（blast radius，指一次攻擊中連帶受波及的範圍）。「有一大群公私部門組織落在資安貧窮線以下，」Anderson 說，「包括國家關鍵基礎設施、小企業、家庭經營的小店、牙醫診所和律師事務所，以及任何連一名資安專業人員都沒有的組織。」由於這些組織的網路幾乎門戶大開，他擔心它們「遭到直接攻擊，或落入沿途被擊中目標的爆炸半徑」。
規則寫得再清楚，AI 代理會不會把護欄當成障礙？
公告其實也要求廠商證明代理的擴散安全、受規則約束，移動與活動須嚴格依照設定的條件或預先定義的觸發條件。不過，同一份公告也要求開發「能在沒有人工監督下運作」的自主代理。
專家擔心的，正是規則與自主之間的落差。《The Intercept》整理，近來已有 AI 代理在沒有收到任何攻擊指令的情況下，闖入澳洲政府、AI 公司 Hugging Face 等單位的系統。《Gizmodo》則指出，Hugging Face 等事件目前並未造成重大損害，但從這些事件得到的教訓是，具備駭客能力的 AI 代理，行為動機未必能讓人類立即理解。
蒙特婁大學機器學習教授 David Krueger 同時是倡議暫停 AI 開發的組織 Evitable 的創辦人。他表示：「鑑於當前 AI 範式已知的失效模式，打造以『無效化威脅』為使命的自主 AI 系統極其危險。」他也提到，曾有 AI 系統在知情的情況下，攻擊非預定目標的系統。
蘭德公司（RAND Corporation）資深行為科學家 William Marcellino 指出，人們願意把實彈交給年輕士兵，是因為他們擁有深厚的世界知識，明白什麼事不該做，「這是目前公開的 AI 技術所不具備的」。他說，把目標交給沒有判斷力的強大機器，除非周邊的支撐架構做得夠好，否則它們很可能偏離正軌，決定「好吧，我會照你要求的做，但我會用這種方式做」。
Anderson 則認為，這類技術用在戰爭中只會更危險。「在壓力下，它們往往會把護欄當成障礙。」他說，一旦加入「打破它、摧毀它、關閉它」這類指令，除非有妥善的控制，爆炸半徑可想而知會大幅擴大。
《The Intercept》認為，ECHOTRIBBLE 的風險，很大程度取決於陸軍有沒有能力、是否願意替它設下護欄。但陸軍網路司令部並未回應《The Intercept》的提問，包括將採取哪些措施防止造成意外損害。該報也指出，即使設有嚴格的防護措施，要真正限制自主代理的行為，正如 Anthropic 與 OpenAI 近期的經驗，說起來容易，做起來難。這項計畫最後是否正式簽約、代理會在什麼規則下運作，仍有待更多公開資訊釐清：CFIC 雖已選定一家業者，但尚未對外具名，後續合約與實際部署情形也還不明朗。
【推薦閱讀】
◆ 疑中國駭客用 8 個 AI Agent 攻擊台灣，入侵失敗還會自己找新招：資安防線如何跟上自主網攻速度？
＊本文開放合作夥伴轉載，資料來源：《The Intercept》、《Gizmodo》、美國陸軍公告（SAM.gov），首圖來源：DVIDS（美國國防部公眾領域影像庫）
