AI 成本失控,企業轉向私有雲:HPE 靠智慧路由省下六成 token 成本

法國財務自動化軟體商 Esker 的調查顯示,72% 的財務主管坦言,公司過去一年的 AI 支出超出預算。為了控制預算,越來越多企業把 AI 搬回「私有雲」,讓企業自己擁有、自己管理的運算環境;HPE 就是其中的代表,它不只用這套架構壓低成本,還順勢翻新了財務部門的工作方式。

AI 成本飆升正推動企業轉向私有雲

企業使用 AI 多半按 token 計費,而近一年科技業盛行「tokenmaxxing」,意思是盡可能大量消耗 token。不少公司把 token 用量當成員工擁抱 AI 的指標,鼓勵大家多用、狂用,Meta 就曾為員工設置 token 用量儀表板。

但用量衝高的代價很快浮現,例如 Uber 短短幾個月就把 AI 預算用光,營運長也坦言這筆支出越來越難說服人。隨著外界對 AI 花費的檢視越來越嚴格,企業開始轉向提高效率、靠模型分流來控制成本。

博通(Broadcom)發布的《2026 私有雲展望》調查 1,800 位 IT 決策者,發現 56% 的企業已經或計劃在私有雲上,執行正式上線的 AI 推論(inference),也就是讓已投入日常業務的 AI 實際回答問題、處理任務。同類工作選擇公有雲的比例,則從一年前的 56% 降到 41%。

成本是最大推手,且「成本」首度超越「資安」成為企業對公有雲的頭號擔憂,97% 的 IT 主管認為公有雲支出過於浪費。因此,83% 的企業正考慮把工作負載搬回私有雲,半數已經付諸行動。

HPE 用智慧路由壓低 token 成本

HPE 2026 會計年度第三季營收創下 122 億美元新高,年增 34%。財務長 Marie Myers 在法說會上透露,公司內部部署了一套 AI 代理(agent)平台。這套平台跑在自家的「私有雲 AI」(PCAI)上,採用開源、開放權重模型。

平台的關鍵是「智慧路由」,它像一位調度員,會依照任務難易度,把工作派給最划算的模型;例行工作交給本地端模型處理,只有複雜任務才動用昂貴的前沿模型。Myers 表示,和公有雲相比,這種做法讓內部 token 成本最多降低 60%。

Myers 解釋,HPE 預期未來 token 用量至少會翻倍,甚至可能成長三倍。如果員工每次下指令都得送上雲端計費,成本將難以控制,因此公司決定投資自家私有雲。HPE 也推出 OpsRamp 平台,把 token 成本集中管理,讓企業看清錢花在哪裡。

財務部門工作流程也被代理重塑

除了省預算之外,AI 也在改變財務部門的日常。約一年半前,Myers 的團隊與德勤(Deloitte)共同開發了 AI 代理「CFO Insights」,同樣部署在 HPE 的私有雲上。

過去,HPE 每週召開營運檢討會之前,要動員超過 100 人準備一份龐大的 PowerPoint 簡報。現在只需要 1 名員工操作代理,就能從全公司超過 3 億筆明細資料中做分析,產出附帶建議的精簡備忘錄。「我們把 PowerPoint 關掉了,好處非常大。」Myers 說,代理在週日就會寫好備忘錄,直接點出開會該聚焦的重點。原本要開 3 小時的會議,現在大約 1.5 小時就能結束。根據德勤統計,這套工具讓 HPE 財報編製週期縮短約 40%,處理成本降低 25%。

HPE 的例子並非個案,軟銀願景基金的調查發現,90% 的財務長已經用 AI 自動化財務流程,高於去年的 72%。

加拿大 IT 研究顧問機構 Info-Tech Research Group 研究資深總監 Jeremy Roberts 打了個比方,他說在公有雲用 AI,就像叫計程車按里程付費,自建私有雲則像自己買車,要付基礎設施的運作成本。而如今算這筆帳、決定要不要「買車」的,往往是財務長,財務長又正好是企業裡最願意相信 AI 的一群人。

Board 調查 300 位高階主管發現,即使 AI 的建議和自己的判斷衝突,仍有 48% 的財務長願意採納,資訊長只有 33%,營運長更僅 11%。財務長一方面想擴大 AI 應用,一方面又必須守住預算,這和私有雲「用得多,也要花得省」的邏輯正好吻合。

財務長擁抱 AI,最直接的變化就發生在自己的部門。Board 產品長 David Marmer 指出,過去財務長準備法說會,要花好幾天撈資料、核對數字,報告送到董事會時,反映的已經是幾週前的狀況。

現在代理能持續監控 ERP、CRM 與採購系統,即時發現異常,並在會前完成對帳、草擬差異說明。HPE 從 100 多人做簡報變成 1 人操作代理,就是這種轉變的縮影。財務人員不再埋頭準備數據,而是把心力放在評估數據、判斷下一步該怎麼做。

【推薦閱讀】

◆ 【企業資料主權的危機與行動策略】35% 企業重兵佈局「混合雲」,掌握資料主權是加速 AI 創新的底層引擎
◆ Uber 曾 4 個月燒完全年 AI 預算,後來怎麼管住 Agent 成本?
◆ 資料中心是當代工廠運算層:製造業與資料中心不是二選一,而是同一場工業革命

*本文開放合作夥伴轉載,參考資料:《Forbes》、《Broadcom》,圖片來源:HPE

(責任編輯:鄒家彥)