「Token 使用量可降至五百分之一。」SAS 分享實戰經驗:治理,才能讓 AI Agent 真正創造價值

TechOrange 科技報橘日前(9/17)在新竹舉辦「AI 智造領航午宴」,邀集多位高科技製造業中高階主管蒞臨餐敘交流,共同探討 AI 落地製造現場的實務路徑。現場特別邀請全球數據分析與 AI 領導品牌 SAS 帶來專題分享,揭露一套能同時兼顧「安全治理」與「成本控管」的解方。

當 AI Agent 開始接入 ERP 及其他企業內部系統,企業就必須同步建立權限控管、執行紀錄與人工決策機制,才能掌握 Agent 使用了哪些資料、執行了哪些動作,並安全地擴大應用。SAS 業務副總經理張志豪以電動車為例說明,「大家知道電動車的門與煞車至今都還是機械式的,因為我們必須把安全的最後一關掌握在人的手裡。SAS 在做的事情也是同樣的道理——讓企業內使用 AI Agent 時,將安全的最後一道防線,牢牢把握在 IT 人員、員工與決策者的手上。」

不經意間把大把鈔票花在 Token 的費用上

防線控管,也關乎企業使用大語言模型 LLM 的實際成本。「我們一方面在積極地推 AI,卻在不經意間把大把鈔票花在 Token 的費用上面,」張志豪舉例,如果以 10 名分析師、一份包含 7.5 萬列與 20 個欄位資料表的情境試算:若全部交由 LLM 處理,在每年建置一次完整模型的基礎下,估算資料探索、清理、特徵工程、模型訓練與評估等生命週期階段約消耗 3.75 億 Token;若透過 SAS Viya MCP Server 將互動與資料分析分流,讓 LLM 負責理解與回應,大量資料處理則回歸企業內部 SAS 平台執行,Token 使用量可降至約 75 萬,僅原本的五百分之一。

隨著愈來愈多製造業著手評估將 AI Agent 導入產線與日常營運,如何在導入初期就同步建立治理框架與成本控管機制,將是決定 AI 能否真正規模化、為企業創造實質效益的關鍵分水嶺。