在美國拉斯維加斯所舉辦的黑帽（Black Hat）網路安全大會舞台上，資安專家 Netanel Rubin 和 Dan Avraham 帶來了一項重大發現，那就是某家大型零售商的 AI 購物助手，其安全防護機制居然能被輕鬆繞過，讓駭客透過 AI 聊天對話，使任意程式碼執行在業者的系統環境中。
資安專家指出，AI 購物助手薄弱的安全防護機制，如果落入不法之徒手中，即可能會讓攻擊者掌握徹底企業的內部系統，導致機密洩漏或取得能被用於後續攻擊的存取權限，讓公司與客戶同時受到威脅。
由 Netanel Rubin 和 Dan Avraham 所創辦的資安公司 Rein Security 表示，他們攻擊成功的零售業者是全美國三大零售商之一，並非只是某家正在嘗試導入 AI 聊天機器人的小型網路商店；同時研究員選擇的攻擊途徑，亦是該業者公開推出的行動版 App 其中內建的 AI 購物助手。
只不過，基於法律考量 Rein Security 並沒有詳細透露零售商的身份，換句話說 Netanel Rubin 和 Dan Avraham 的發現，暫時無法進行獨立驗證，消費者也無從得知，自己是否曾經使用過受影響的 AI 助手功能。
瞄準搜尋功能，發動提示詞注入
隨著 AI 技術發展，許多零售業者開始在自家的網路商店中，提供具有產品推薦、價格比較等功能的 AI 助手，但是為了回答某些問題，某些 AI 助手被允許獲得更大的搜尋權限，嘗試替消費者蒐集更多購物資訊，進一步使 AI 的檢索範圍超出購物網站本身，並導致零售商無法控制 AI 最終所呈現的內容。
換句話說，這些 AI 購物助手將有機會接觸、檢索到任何人，包含攻擊者刻意創造的內容與資訊，而 Rein Security 即是瞄準該漏洞，嘗試對零售商的 AI 購物助手發動攻擊。
在攻擊手法上，資安研究人員將指令嵌入至他們有辦法控制的內容中，並且讓 AI 購物助手成功檢索到這些資訊；然而，此時 AI 助手卻並非只把內容單純進行彙整，反而由於受到攻擊指令的操縱，將檢索到的部分資訊，視為自己必須遵循的新指示。
這種攻擊方法被稱為「間接提示詞注入（indirect prompt injection）」，利用隱藏在網站、文件、商品清單或其他素材之中的惡意程式碼，讓正常執行任務的 AI 被不正常的操縱。
防護機制不一致，搜尋欄成破口
但是，間接提示詞注入只是起點，這種手法還不足協助駭客入侵 AI 購物助手背後的運作環境。
Rein Security 說明，事實上他們所嘗試攻擊的零售業者，確實有為 AI 助手部署一層安全防護機制，用以檢視雙方的對話內容，並試圖讓 AI 專注於購物相關需求；若使用者的提問或回應，超出 AI 的職責範圍，那麼請求可能會被安全機制直接拒絕。
只不過研究人員也同時發現，該零售商對於安全防護機制的部署並不一致，即 AI 購物助手的主要聊天介面雖然設有防護，但行動 App 的搜尋欄卻沒有，因此他們可以透過防護較弱的輸入欄位，說服 AI 助手透露其內部設定的相關資訊，包括 AI 能夠使用的工具名稱，以及呼叫這些工具的相關語法等。
隨後，資安研究人員撰寫了另一組指令，要求零售業者的 AI 購物助手，在自身的運算環境內執行程式碼，最終 AI 助手回傳了系統的檔案清單與其他相關資訊，證明注入攻擊完全成功，外部人士給予的指令被 AI 確實執行。
任意執行程式碼，跨越重大防線
Rein Security 並沒有透露，究竟他們嘗試發動的攻擊可以讓 AI 助手存取到多深度、多內部的資源，例如是否包含客戶、支付或庫存資料系統等，但光是能夠讓程式碼成功執行這一點，就意味著資安研究人員已經成功跨越了一道重要的安全防線。
Rein Security 於今年 3 月 13 日正式通報了漏洞，然而截至 7 月 16 日，即通報後超過 90 天，該問題依然沒有獲得修復。
此外，研究人員亦強調，他們成功發動攻擊之後，並沒有存取到真實的客戶資訊、竄改任何人的訂單，亦未試圖干擾零售商的運作系統，同時是在受控環境下，使用自有的連線會話（session）進行獨立研究。
對話可以監控，但 AI 操作卻不行
即便導入 AI 購物助手的零售業者，只是希望利用 AI 技術，為顧客或企業內部團隊，建立購物清單、查核庫存、管理訂單，或者是完成購買流程，但每一項新功能卻都可能帶來新的潛在風險，即 AI 因為攻擊者的刻意欺騙，進而遵循了錯誤的指示。
在 Rein Security 發現的案例中，零售商雖然替 AI 助手部署了安全防護機制，但該機制卻無法掌握所有細節，這也造成了另一個盲點，那就是安全系統即便可以監控對話內容，可是並無法掌握 AI 於幕後進行的所有操作。
Rein Security 直言，研究人員從零售商行動 App 所解密出來的流量資料中，甚至可以見到 Google 地圖的 API 金鑰，假若攻擊者真的有心利用，那就可以透過該金鑰向 Google 發出未經授權的要求，並讓零售業者背上大筆使用費，或者嘗試把業者的流量配額消耗殆盡。
公開網路資料應預設對 AI 有害
對於一般消費者來說，想要主動防範這類漏洞，基本上是無能為力，畢竟 AI 系統設計方面的缺失，企業必須承擔起大部分責任。
因此，業者未來必須假設，任何從公開網路環境擷取的內容，全都可能包含有意誤導 AI 的指令，並且建立起適當的防護措施。而當 AI 購物助手被賦予更多權限時，若能被外界輕鬆誘騙而遵守錯誤指示，那麼連最實用的功能，最終也會轉變成安全風險。
消費者仍應避免向 AI 購物助手透露不必要的個人資訊，特別是當 AI 助手能夠存取過往訂單，或者帳戶的其他詳細資料時；保持 App 持續更新，亦能確保業者補上漏洞後第一時間取得修正，提高使用服務的安全性。
消費的樣貌正在被科技重新定義，而這些變化值得被深入解讀。如果你也想追蹤零售與科技的最前線、寫出有洞察力的報導，《TechOrange 科技報橘》正在徵內容編輯！
👉了解職缺內容
【推薦閱讀】
◆ 【開源 AI 安全警訊】中國 AI 開源模型能力逼近西方巨頭，但任何人都能下載並移除安全護欄
◆ 商品評論可能藏攻擊指令，零售業導入 AI 代理前該將哪些資安缺口補起來？
◆ 【AI 代理資安警訊】54% 企業已發生資安事件，卻對現行防護工具打出高滿意度
＊本文開放合作夥伴轉載，參考資料：CNET、Black Hat，首圖來源：Pixabay
（責任編輯：鄒家彥）
