隨著人工智慧（AI）近年來大行其道，資安領域的威脅已經比起過去來得更加複雜且多元，尤其 AI 技術經常被視為一把雙面刃，它既可以被應用於提升個人、企業的資訊安全防禦能力，但卻更常遭到駭客當成便利、高效率、低門檻的攻擊工具。
總部位於以色列的網路安全公司 Cato Networks 旗下實驗室 Cato CTRL，近日於最新的網路威脅報告中指出，隨著 AI 技術的突飛猛進，普通人成為駭客的門檻已經大幅降低，即使是那些沒有系統入侵經驗或技術專長的人，現在也能化身「零知識駭客」，利用 AI 對企業發動資安攻擊。
太容易被使用者繞過的 AI 安全護欄
事實上，大多數大型語言模型（LLM）都擁有內建的安全機制，模型開發商會主動將 AI 的行為，限制在相對安全的功能範圍內，這種機制通常被稱為「護欄」。
換句話說，大型語言模型內建的「AI 安全護欄」，通常有助於辨識惡意指令或動作，防止有心人士刻意或誤用 AI 技術，從事對其他人造成威脅的非法活動。
然而，AI 安全護欄卻始終具備漏洞。
根據 Cato CTRL 的研究顯示，幾乎任何普通使用者，即便沒有開發過惡意軟體的相關經驗，基本上都能深入操控大型語言模型，舉凡 OpenAI 的 ChatGPT、微軟的 Copilot，還有造成話題的 DeepSeek 等，皆能透過一些技巧來繞過 AI 安全護欄，並且進行各種惡意活動，例如輕鬆寫出竊取個資的惡意軟體。
利用「沉浸式世界」越獄 LLM 解開限制
Cato CTRL 所發現的 AI 攻擊方法稱為「沉浸式世界」（Immersive World），它在本質上是一種「提示詞工程」技術，即使用者可以要求大型語言模型，創造出一個「虛擬世界」以忽略原有的 AI 護欄限制。
在日前釋出的示範中，Cato CTRL 的研究人員要求大型語言模型，創造出一個名為「Velora」的虛構世界，並且主動告訴 AI：在這個虛擬世界之中，協助程式設計師開發惡意軟體將受到讚揚，而且不會受到法律限制及造成任何後果。
緊接著，Cato CTRL 的研究人員在 Velora 創造出多位虛構角色，並為他們指派各種任務和職責，並且透過持續的參與、回應和迭代，最終成功說服模型達成目標，開發出一款可以從 Google Chrome 瀏覽器中，竊取使用者私密憑證的惡意軟體。
Cato Networks 威脅情報研究員 Vitaly Simonovich 表明，這項被稱作「沉浸式世界」的大型語言模型越獄技術，讓有心份子得以威脅並入侵企業，並且在憑證竊取方面扮演了重要角色。
低門檻、高速成長的「零知識駭客」
Vitaly Simonovich 強調，從「沉浸式世界」的攻擊手段，即不難看出製作惡意軟體原先所具備的障礙，現在已經因為生成式 AI 工具的出現而大幅降低，這也進一步讓「零知識駭客」大舉崛起，對企業、組織構成高度資安風險。
此外，透過 AI 打造出惡意軟體，只不過是「零知識駭客」造成威脅的起點。
在不久的未來，新手和業餘攻擊者將可以利用 AI 工具，設計出發動複雜社交工程攻擊、分析目標環境、識別弱點、選擇攻擊媒介、協調多階段攻擊、自動選擇目標和執行入侵等，功能更為複雜的惡意程式，甚至是讓 AI 監控自己的作業成果，並根據對目標或環境的了解，主動調整成更有效率的攻擊策略。
Cato CTRL 在威脅報告中強調，在 AI 技術的加持下，低技術資安威脅攻擊者的數量，以及他們手中所擁有的駭客知識，未來都將以指數級速度，出現十分驚人的成長。
防範 AI 資安威脅，企業可以怎麼做？
隨著「零知識駭客」悄然崛起，企業與組織的資安亦敲響警鐘，未來的網路攻擊將變得更聰明、更高效、更頻繁，這亦象徵資安威脅情勢出現了根本性轉變；任何人在任何地點，只要使用現成的工具，即可以對企業發動資安攻擊，因此防禦者必須轉向更為積極、主動和全面，並且兼顧 AI 威脅的安全策略。
Cato Networks首席安全策略師 Etay Maor 建議，企業可以選擇採取積極主動的解決方案，應對「零知識駭客」所帶來的威脅，這些做法則包含：
- 提高員工資安意識：常態舉辦訓練課程，讓員工了解擁有 AI 技術的駭客，其風險正在日漸增加；或者進行 AI 攻擊模擬，提高員工的警覺性和警惕性。
- 進行 AI 紅隊測試：如果企業組織正在使用或設計 AI 工具，務必要事先針對惡意提示詞進行測試，並驗證它們是否過於容易遭到越獄；企業應該投入足夠時間與資源來預測 AI 攻擊，並針對可能造成威脅的情境，對系統進行壓力測試。
- 整體安全性的實作：企業應該考慮部署端對端安全系統，而非僅採購零散的工具，藉此監控、偵測和分析整個 IT 基礎架構，揪出使用者、雲端、裝置、網路上的惡意訊號。
- 頻繁更新系統和軟體：確保組織所使用的工具和軟體皆是最新、最穩定的版本，畢竟若漏洞沒有即刻修補，擁有 AI 應用能力的駭客，一定會找出漏洞並加以利用。
- 提高攻擊準備程度：訂定主動且高品質的攻擊應對計畫，這不僅能將資安損害降到最低，還可以強化組織的應變能力，進一步對抗 AI 的不可預測性。
- 採用可信任的安全框架：開發 AI 工具時遵循如 MITRE ATLAS、OWASP Top 10 for LLM Applications 和 Google’s Secure AI Framework 等，值得信任的標準制定者所研擬的安全框架，將可以有效加強 AI 應用的安全性。
Etay Maor 提醒，對於有心份子來說，網路犯罪的業務利潤非常豐厚，然而只有具備先進技術、技能的人，才能對資安造成威脅的傳統觀念，現在已經遭到徹底打破。
未來，以 AI 為動力的「零知識駭客」將是資安領域的全新威脅，尤其是在 AI 所驅動的新時代之下，企業必須開始對多元化的資訊安全挑戰，做好足夠充分且有效的全面準備。
企業導入 AI 為何須重新思考資安？揭開資安攻擊的新破口 >>看專題<<
【推薦閱讀】
◆ 美 103 家銀行監管機構 15 萬封機敏 email 遭駭！原因竟是一個帳號沒開 MFA
◆ Google Cloud 發表資安 AI 雙代理，5 大安全功能更新一次看
◆ 【網路安全不是 IT 的事】企業資安常見 5 大錯誤，台灣可從哪 3 點補強？
＊本文開放合作夥伴轉載，參考資料：《SecurityWeek》、《Cato Networks》，首圖來源：Pixabay
（責任編輯：鄒家彥）
