企業 AI 專案推不動，最常被點名的原因是成本，而不是算力。VentureBeat 的 VB Pulse 系列調查在 10 月訪問 156 位任職或服務於百人以上組織的 AI 從業者與顧問，38% 表示過去 12 個月，所屬組織曾因成本超出預期，延後、縮減或取消原定的 AI 專案；指稱運算容量不足的只有 12%。
儘管成本超支，79% 受訪者仍預期所屬組織未來一年的 AI 預算會增加；但只有 26% 表示，組織會用能向財務團隊交代的財務報酬，來判斷 AI 支出值不值得。這份 VB Pulse 報告總結，這些數據顯示 AI 支出成長的速度，快過組織衡量其報酬與使用狀況的能力。在預算加碼之前，企業該怎麼把 AI 帳單算清楚？
成本是 AI 專案的主煞車，近 6 成 GPU 營運者平均使用率在 50% 或以下
詢問專案延後、縮減或取消原因的這一題可以複選，共有 55% 受訪者至少勾選一項原因，成本與算力只是其中兩個選項；兩者相比，勾選成本的受訪者是算力不足的 3 倍以上。報告也直言，AI 專案的主要煞車是成本，算力供給遠居其次。
已經到手的算力，也未必能用完。在營運 GPU 或其他加速器的 128 位受訪者中，57% 表示平均使用率在 50% 或以下，報告換算，等於這些晶片至少有一半時間處於閒置；另有 33% 完全沒有衡量使用率。有提供使用率數字的受訪者中，也只有 23% 的數字來自整個機群的持續遙測（telemetry，系統自動回傳的運作數據）。
成本壓力也不只來自自建 AI。56% 受訪者表示，所屬組織過去 12 個月至少遇過一家軟體廠商加收 AI 費用、以 AI 為由調高續約價格，或把組織原本就有的功能移到更貴的方案。在指名至少一家廠商的 88 位受訪者中，40% 表示這些變動讓組織的年度軟體帳單增加約 10% 以上。
財務核准過報酬數字的只有約 2 成，產業組織開始訂衡量標準
即使是預期預算增加的受訪者，用財務報酬判斷 AI 支出的比例也只有 27%，與整體相去不遠；若改用更嚴格的標準，在嚴格或部分追蹤 AI 基礎設施報酬的 91 位受訪者中，34% 表示財務團隊審核並核准過報酬數字，約占全部 156 位受訪者的 20%。
其他調查也指向類似的方向。根據《CFO Dive》報導，AI 資安公司 WitnessAI 的報告指出，68% 的美國企業表示過去一年至少有部分 AI 專案超出預算，33% 表示超支大多或總是發生；這份調查訪問 300 位企業主管，只有 9% 表示，超過四分之三的 AI 專案帶來可衡量的財務報酬。不過，WitnessAI 問的是專案有沒有超出預算，和 VB Pulse 問的因成本延後或取消專案定義不同，數字不宜直接比較。
產業組織也開始補上這個衡量缺口。Linux Foundation 旗下的 Tokenomics Foundation 正在制定衡量 AI 成本與報酬的開放標準，執行董事 J.R. Storment 接受《VentureBeat》訪問時說：「我們就像帳本。」藉此區分他們的工作，和其他串接 AI 代理、工具與模型的專案。Storment 同時領導的 FinOps Foundation，已發布帳單資料的共通格式 FOCUS（FinOps Open Cost and Usage Specification）；他也提到，正在進行把成本與用量，和遙測數據、成果及價值分類串連起來的工作。
Uber 按成果算成本、Red Hat 以閘道分流：兩家企業怎麼管住 AI 帳單
Uber 副總裁暨傑出工程師 Uday Kiran Medisetty 在 VentureBeat 10 月舉辦的 Agentic Infrastructure Stack Summit 上表示，Uber 會用實際任務為受管的 AI 代理做基準測試，並檢查程式碼回退（revert）與事故等品質指標。Uber 公開的技術文章也提到，成本按成果計算，例如每次審查、每則警示、每次清理的成本。
Medisetty 表示，以功能旗標（feature flag，用來開關新功能的程式設定，過期後需要清理）的清理工作為例，經過基準測試並選定合適的模型後，每次清理的成本降低 90%。《VentureBeat》也註明，這項結果只適用 Uber 的這項任務。Uber 在文章中另公布，2 月至 7 月間，在固定使用同一模型的條件下，每 1,000 次模型請求的成本比高點降了近 34%；Uber 同樣提醒，自家量測的成本降幅只反映自身環境，各家結果會有所不同。
Red Hat 則從推論端著手。Red Hat 傑出工程師暨技術長辦公室副總裁 Stephen Watt 在官方部落格說明，公司內部試行一套平台，結合自架的開放權重模型（open-weight model，公開模型參數、可自行部署的模型）推論、AI 閘道（gateway，在不同模型 API 之間轉送請求、執行政策的軟體）與開發者預算。工程師用單一閘道金鑰，就能同時存取商用前沿模型 API 與內部模型，團隊也能設定每月預算上限。Red Hat 稱，與先前的前沿模型定價相比，有效 token 支出降低 40%～70%，幅度視提示快取效率與模型路由而定。
不過，《VentureBeat》指出，這些節省也帶來新的營運工作：團隊得自己營運推論服務，還要鼓勵工程師改用足以應付任務的替代模型。販售 AI 閘道管理功能的 Tetrate，共同創辦人暨技術長 Varun Talwar 則建議，在把自動選擇模型設為預設之前，先評估工作負載的遙測數據、成本與品質，包括重試和人工審查的開銷。
《VentureBeat》給平台團隊的建議是，先從單一 AI 工作流程著手，量測營運成本、延遲與重複工作，並請財務部門一起訂定基準、驗證效益；接著一次只更換一個元件，比較時也把整合工作、技術支援與人工審查算進去。請求單價壓得再低，只要產出得靠更多人工審查或重工來補，就省不了錢。
解讀數字時也要留意，VB Pulse 的樣本是自選而非隨機抽樣，結果只描述這群受訪者，未必適用所有企業；《VentureBeat》也揭露，曾經、未來也可能是文中提及廠商的付費媒體合作夥伴。該媒體同時坦言，調查並未證明開源能改善投資報酬率，那是每個部署都得自行驗證的商業論證。
【推薦閱讀】
◆ Claude Fable 5.2 單價降 20%，企業就能省錢？推理設定讓每項程式任務成本差近 6 倍
◆ 蘋果傳調降工程師每日 AI 額度，從 300 降至 200 美元：企業怎麼控管 AI 成本？
◆ 從缺 GPU 到缺電：專訪亞灣超算姚延宗、耐能劉峻誠，企業 AI 算力上雲還是留地端？
＊本文開放合作夥伴轉載，資料來源：《VentureBeat》1、《VentureBeat》2、Uber、Red Hat、《CFO Dive》，首圖來源：Unsplash
