token 越來越便宜，企業的 AI 帳單卻可能越來越貴。市場研究機構 Gartner 預測，token 成本到 2030 年將下降 95%，但代理式工作流程的推論成本，到 2028 年卻將成長超過 5 倍。
Gartner 把這個現象稱為「推論悖論」（Inference Paradox）。不少企業以為 token 單價下降，AI 成本也會跟著降低，但 AI 代理人正在打破這個假設。
token 變便宜，代理人卻讓成本變高
推論悖論的第一個成因，在於模型實驗室。Gartner 分析師 Will Sommer 表示，token 的生成效率確實在提升，但基礎 AI 實驗室並沒有把這些節省下來的成本留著，而是投入需要更多算力的次世代模型，每 token 的成本也因此更高。
結果是舊有能力越來越便宜，前沿模型卻越來越貴。
Sommer 以 Anthropic 的 Fable 每 token 價格高於 Opus 為例，說明這種兩極分化。他也指出，在這個情況下，token 成本其實沒有下降，而是差距越拉越大。
分析師形容，市場陷入了「token 通縮錯覺」。買方以為 AI 供應商改善 token 經濟效益後，省下的成本會反映在發展藍圖上，但事實並非如此。
第二個成因是用量。token 效率提升，讓更複雜的工作負載變得可行，而這類工作負載消耗的 token 多出許多。Sommer 表示，完成同一項任務，AI 代理人需要的 token 數量是基本聊天機器人的 5 至 30 倍。
代理人之所以如此耗 token，是因為它不像聊天機器人只需讀懂請求、迅速給出大致合理的答案。代理人必須思考、質疑，在出錯時調整做法，還要能在沒有人類參與的情況下驗證結果、與其他代理人溝通，而且越來越常在背景持續運作。
當大量越來越自主的代理人互相觸發、彼此呼叫，token 消耗就會呈指數成長。在使用者拿到結果之前，就已產生分析師所說的「龐大推論稅」。
AI 支出不會直線上升，而是一波波起伏
不過，Gartner 並不認為成本會在 2028 年前穩定攀升。企業一方面想控制成本，一方面又要跟上同業，這股拉扯讓支出時高時低，並隨著新模型推出而起伏。
Sommer 指出，第一波代理能力在今年春天帶動支出大增，部分原因來自「tokenmaxxing」這股大量消耗 token 的風潮。目前，企業則處於緊縮開支的階段。
Gartner 預期，隨著能力更強的推理代理人、世界模型與其他 AI 技術逐漸成熟，未來還會出現好幾波類似的起伏。
企業控管成本的步調不一
面對這樣的波動，企業控管成本的程度並不一致。科技媒體 VentureBeat 在 9 月針對 109 位合格受訪者進行的調查發現，使用代理編排平台的企業，有 21% 完全沒有能自動停止代理人 token 支出的機制。另有 31% 的企業，會把例行且大量的代理任務交給較便宜的模型，以壓低成本。
成本壓力之所以難以擺脫，還有競爭因素。想跟上同業的企業，會採用更進階的應用，而這些應用需要能力更強、價格更高的模型，也比上一代 AI 系統消耗更多 token，等於同時推高模型與 token 兩種成本。
先看得見支出，再為推論分級
為了在推論悖論中搶得先機，Gartner 建議企業從架構層面著手調整。首先是投資可觀測性，建立 AI 財務營運（AI FinOps）能力。Sommer 指出，企業無法最佳化自己看不到的東西。
其次，每項 AI 功能都應在高度不確定的情境下預估成本，並以明確的成果指標追蹤支出，例如自動化完成的任務數，或成功結案的案件數。表現不佳的工作流程應盡快改善或淘汰，以保護利潤。
第三，企業應把推論分級制度化，自動把查詢導向最具成本效益的模型，並禁止例行任務預設呼叫前沿模型。Sommer 也建議投資代理框架（agentic harness），明確規範模型在自主系統中的部署位置、時機與方式。
此外，Gartner 也建議企業事先訂定 AI 執行的最低標準，並善用專有資料微調模型。Sommer 表示，針對特定工作負載，高效率的領域專屬模型在可靠度與任務表現上，通常優於通用的前沿模型。
【推薦閱讀】
◆ AI 成本失控，企業轉向私有雲：HPE 靠智慧路由省下六成 token 成本
◆ 【企業 AI 成本報告】代理型 AI 與 AI 開發工具成本衝擊商業決策，建立「主動式財務防線」防範失控帳單
◆ Uber 曾 4 個月燒完全年 AI 預算，後來怎麼管住 Agent 成本？
＊本文開放合作夥伴轉載，參考資料：Venturebeat、Computerworld，首圖來源：Gemini 生成
（責任編輯：鄒家彥）
