在 AI 的世界裡有些題目天生就很吸引人，譬如模型多聰明、寫程式出錯率多低、會不會取代人類等等，這些話題永遠有人討論，然而有些題目從來不是大家一開始想做的，譬如誰可以用哪一個 Agent、資料會不會外流、AI 答錯了誰負責等等，這些問題在開會的時候也很難讓人眼睛發亮，聽起來就很無聊。
但我們的產品，就是從這些沒人搶著做的題目裡長出來的。
今年，我們向一家大型金融機構提案，當時花了不少篇幅談 AI 治理與資安風險，那時候，這些還不是市場上熱門的議題，也不在客戶的採購清單裡，但就在幾個月後，這家金融機構主動回頭找我們，帶著一個完全不同的問題，而那個問題，我們後來在金融、製造、零售、半導體客戶身上反覆看到的問題竟然都是一樣的。
同樣的問題出現第三次以上，我們知道該做一個產品了，CloudMile 萬里雲這幾年做過上千個 AI 專案，從需求訪談、POC、開發、驗收到正式上線，陪著不同產業走過完整的導入流程，上一篇我們分享了這套方法，這一篇，想講的是這些從來不在第一頁的題目，怎麼在半年之內，長成了一個管理 AI Agent 的平台「Aegis AI Platform」。
客戶第二次找上門，帶著一個完全不同的問題
不久前，我們獲得一次向金融業客戶提案的機會，帶著 NL to SQL（Natural Language to SQL，讓使用者直接用白話文提問，由 AI 自動轉成資料庫查詢語法）的能力上場，那次的提案主軸是資料分析，我們花了不少時間跟客戶談 AI 治理跟資安風險，但那時候這些還不是採購會議上的重點。
結果幾個月後，這家客戶主動回頭找我們，只是這一次，他們遇到的已經不是資料分析，而是另一個更棘手的問題。
AI 很聰明，但也很容易被騙
你可能看過一些新聞，有人跑去速食店的 AI 點餐系統，不點餐，反而一直問數學題；也有人叫客服機器人幫忙寫程式，結果它還真的一本正經地回答。
看起來很好笑，但通常一家企業的資安團隊就知道這會有風險，這其實是很常見的攻擊方式，叫做 Prompt Injection（提示注入攻擊），簡單來說就是利用刻意設計的輸入，讓 AI 忽略原本的規則，開始做一些它不該做的事情。
今天可能只是回答數學題，明天就可能被誘導透露公司資料、繞過限制，甚至輸出企業完全不希望出現的內容，而且這些回覆，都是透過公司的官方網站、官方客服送出去的。
回頭找上我們的那家金融機構，就是在正式上線前，被內部資安團隊查到了類似的風險。
原本的網站，準備從傳統關鍵字搜尋改成 AI 對話模式，結果安全測試一做，整個上線計畫先停了下來。
他們需要的，不是再換一個模型，而是建立 Guardrail（AI 護欄機制），也就是在輸入跟輸出的兩端，多一層保護，不該進來的攻擊，要擋下來；不該出去的回覆，也要攔下來。
為什麼他們會回頭找我們？
我們後來也想過這個問題，答案可能就在前一次提案裡，我們談了很多 AI 治理跟資安風險，當時這些內容不是採購重點，但對方記住了一件事，這家公司，知道 AI 出事的時候該怎麼處理。
企業最後選擇合作夥伴，不一定只看功能，很多時候更在意的是：「如果真的出事，這家公司靠不靠得住？」
大部分的客戶最後都會卡在同樣的地方
這個案子做完之後，我們把它跟前面幾年的專案放在一起看，突然發現一件很有趣的事情，金融、製造、零售、半導體……，產業不同，AI 要做的事情也不同，但做到後面，開始問的問題，幾乎一模一樣：
- 誰可以用哪一個 Agent？
- 誰可以存取哪些資料？
- AI 會不會亂回答？
- 資料會不會被拿去訓練模型？
- 每個部門用了多少 Token（模型運算成本）？
- 每個 Agent 的使用情況能不能被追蹤？
- 上線之後，又怎麼知道它沒有開始偏掉？
很多公司都有能力做出一個 AI Agent，但真正困難的，是後面的治理，很多團隊做到最後，都還要再花很多時間補權限、補治理、補監控，而且也通常都是到了這個階段，才開始找我們。
偏偏，這些事情幾乎都不是客戶一開始會提出來的需求。
同樣的問題出現第三次以上，我們知道該做一個產品了
前面一個專案，我們替客戶解決，第二個專案，我們再做一次，之後無數個專案，又遇到一樣的事情，那答案就很明顯了，這不是客製化需求，這是市場需求，於是，我們開始把原本散落在不同專案裡的方法、工具跟流程，慢慢收攏，半年後它變成了一個產品「Aegis AI Platform」，一個讓企業方便管理 AI Agent 的平台，但比起它是什麼，我們更想聊聊它為什麼長成這樣。
第一個設計，是攔在事前，不是記在事後。
市面上多數的監控工具，做的是事後留紀錄，出了事、翻 log、檢討、改進，聽起來很合理，直到新聞上你看到有公司把 AI 掛在官網上，一句不當的回覆，事後的紀錄再完整，也收不回已經送出去的那句話。
所以 Aegis AI Platform 把治理放在動作發生之前，Agent 要執行任務，先過一道檢查，就像文件要寄給客戶之前，主管會先簽核，而不是寄出去了才回頭翻信，出事之後才知道發生什麼事，很多公司經不起這種驚喜。
第二個設計，是讓不會寫程式的人，也看得懂。
我們在專案裡學過一課，系統其實有標註出問題，只是它講的語言，使用者聽不懂，AI 治理如果只有工程師看得懂，治理的責任就永遠壓在 IT 身上，可是最知道「這個回答對不對、該不該擋」的人，常常是業務單位的同仁。
所以 Aegis AI Platform 我們把平台做成拖拉式、視覺化介面，工程師有最在意的資安管理機制，一般人有直接能上手的對話介面，每個 Agent 在做什麼、被允許做什麼，我們設計成團隊一眼就可以看得懂的後台。
第三個設計，跟第二個剛好是一體兩面：介面對所有人開放，但鑰匙留在 IT 手上。
自由跟治理兼具的工具，理想狀況是「人人都能建 Agent」，但也要「有人管理」，所以我們刻意把模型使用權、資料存取權限收在 IT 人員手上，各部門可以長出自己最想要的 AI 助理，但 IT 永遠知道公司有哪些 Agent、各自能碰哪些資料。
第四個設計，是把「持續驗證」變成可以選的一環。
AI 有一個很多人不知道的特性，是它的表現會慢慢走樣，上線第一天表現很好的 Agent，隨著資料越餵越多、使用情境越來越雜，回答會一點一點偏離當初驗收的樣子，而且不是當機那種看得見的壞掉，是它還在講話、講得還很流暢，只是內容可能跟一開始給的答案不太一樣，最麻煩的地方就在於，沒人盯著的話你不會發現。
所以驗證不能是專案結束時做一次就好，我們可以定期拿測試題去考每一個 Agent，看它的回答還跟不跟得上當初驗收的水準，馬上知道有沒有偏掉。
但我們也要誠實說這件事很花錢，持續驗證代表測試題要有人出、有人維護，考出來的結果要有人看，有人會問我們「到底要不要投入？」其實要看產業來判斷，譬如金融業的 Agent 講錯一個數字，可能就是客訴甚至申報事件，這種情況可能就需要有驗證的環節。
最後，你的公司需要的是各自為政的 AI Agent，還是統一的 AI Agent 治理平台？
Vibe Coding 讓全民開發成真，各部門都能自己動手做 AI 助理，這確實解放了很多創意，但同時也帶來一個新問題，公司裡開始長出一批沒人管的 AI，資安圈叫它 Shadow AI（影子 AI）。
沒人知道總共有幾個、各自碰得到哪些資料、有沒有裝防護、這個月燒掉多少 Token，等到出事，往往已經是最壞的那一種出事，但企業真正需要的，不是踩煞車，不是禁止大家用 AI，而是換一個做法，把防護欄跟用量管理集中到一個地方，讓各部門照自己的需求去長，IT 也永遠知道公司裡有哪些 Agent、各自在做什麼，創新跟控管，可以同時發生，前提是要有一個地方，能一眼看見全部。
這就是我們做 Aegis AI Platform 的原因，回頭看這半年，我們做的事情其實沒有那麼浪漫，不是追著最新的模型跑，而是把每個客戶專案裡那些最不吸睛、最沒人搶著做的問題，一個一個收起來變成一個產品，因為決定 AI 能走多遠的，往往不是它有多聰明，而是你能不能放心把事情交給它。
(本文訊息由 CloudMile 萬里雲提供，內文與標題經 TechOrange 修訂後刊登。新聞稿 / 產品訊息提供，可寄至：[email protected]，經編輯檯審核並評估合宜性後再行刊登。圖片來源：CloudMile 萬里雲。）
