每發出一次提示詞都是一次採購決策,企業需要 Token-as-a-Service 新框架

企業第一次買進 AI 工具時,預算看起來往往不難計算,只需掌握帳號數量、合約效期、單價多少,都能寫進採購預算。真正失控通常發生在導入後。

當 AI 從少數人的工具,變成開發、行銷、法務、人資與客服每天都會使用的隨身助理,企業面對的已不只是一張張軟體訂閱帳單,而是一筆隨使用行為持續變動的消耗式支出。

AI 支出暴增的真正原因

以前企業買軟體,抓預算很單純,帳戶數乘以單價,大致就能算出一年要花多少錢。就算後來雲端運算改成用多少算多少,工作負載也還是集中在幾套看得到、抓得到的系統跟基礎設施上。

但生成式 AI 不一樣,它把「用量」這個入口,打散到每一個員工、每一套應用程式、每一條自動化流程裡。

換句話說,只要有人送出一句提示詞、呼叫一次大型語言模型的 API、讓 AI 自動生成一份報告或寫一段程式碼,甚至是 AI 代理為了完成任務,反覆規劃、查詢、修正,這些動作全部都在持續累積用量。

於是,企業的支出會增加,往往不是因為簽了什麼特別貴的新合約,而是幾百萬次的日常互動,在背後默默疊加起來的結果。

至於這些用量怎麼算,多數文字模型是用「token」計算。Token 是模型處理文字時的最小單位,一個英文單字、字根、數字,甚至一個標點符號,都可能被拆成不同數量的 token。輸入的內容越長、要求模型記住的上下文越多、輸出的內容越完整,消耗的 token 通常也越多。

而且每個模型切分文字的方式不一樣,計費費率也不同,所以就算兩家企業的業務量差不多,只因為選的模型不同、工作流程設計不同,實際花費也可能天差地遠。這正是 AI 支出讓人難以預測的根本原因。

事實上,企業現在買的已經不是一套裝好就固定不變的軟體,而是一種隨時被呼叫、隨需求調用的「智慧」。使用的人變多、應用範圍變廣、AI 代理執行的次數變頻繁,成本就會跟著同步放大。正因為支出變得這麼難掌握,業界才開始出現一套新的框架,試圖把這團混亂重新收攏。

為什麼需要「Token 即服務」這套新框架?

這套框架叫做 Token-as-a-Service(TaaS),狹義來看,是一種按 token 用量計費的服務模式。簡單來說,直接租用 GPU 就像包下一整台機器,不管實際用了多少,租金都要照付;TaaS 則比較像水電費,模型實際處理了多少 token,企業就支付多少費用,還能看出客服、法務或各個專案分別用了多少,避免所有支出混在同一張帳單裡。這不只讓成本更容易看懂,也能減少為沒有用到的運算資源付錢。

不過,如果只把 TaaS 理解成一種新的計價單位,並不足以解決企業真正的問題。

從採購治理的角度來看,TaaS 更重要的意義是一套管理 AI 用量的框架。企業不只要知道每百萬 token 多少錢,還得持續追蹤需求從哪裡產生、承諾用量是否合理、哪些部門正在消耗 token、供應商曝險有多大,以及這些 token 最後換回了什麼。

也就是說,TaaS 並不會讓總支出自動變得可預測,而是讓原本分散、波動的 token 用量,變得可量測、可歸責、可調整,採購團隊才能據此設定預算與配額、建立異常警示、重新談判承諾用量,並比較外部模型服務與自建系統的長期成本。

對需求穩定且規模龐大的企業而言,按量付費的長期成本甚至可能高於自建,這也是為什麼 TaaS 必須被納入整體採購決策,而不能只被當成一種省錢方案。

AI 採購正變成投資組合管理

把用量管好只是第一步,更根本的問題是,企業該把預算押在哪些模型上?

過去,企業大多能把多數工作標準化在少數軟體供應商身上,但生成式 AI 很難沿用同一套邏輯,因為不同基礎模型各有所長,有的擅長推理,有的擅長寫程式、摘要、多語言溝通或影像生成,加上新模型不斷冒出來,能力與價格也頻繁變動。

如果把所有任務都綁在單一供應商身上,管理看起來雖然單純,卻可能犧牲掉效能、議價能力與轉換彈性。

正因如此,AI 採購愈來愈像是在做投資組合管理,需要針對不同的工作負載,配置不同的模型,同時要衡量效能、總成本、資安與法規要求、資料處理方式、切換難度,以及供應商過度集中的風險。

不過這裡有個容易被忽略的陷阱——單看 token 單價,也可能做出錯誤判斷,因為便宜但品質不穩的模型,如果需要反覆重試或大量人工校正,完成同一項任務的總成本未必真的比較低。

同樣的道理,降低 token 用量,也不等於治理成功。如果減少消耗的代價,是回答品質下降、客服解決率變差,或員工又得回頭做手工作業,那帳面上省下來的費用,其實只是把成本轉移到別的地方去而已。

更合理的衡量方式,應該是看每一單位的 AI 消耗,能換來多少可量化的成果,例如節省多少工時、縮短多少處理週期、改善多少客戶體驗,或帶來多少營收與風險降低。

這也呼應麥肯錫對企業 AI 應用的觀察,即真正從 AI 取得較高價值的企業,不只是部署更多工具,而是同步改造了業務流程與營運模式。

AI 成為企業日常營運流程,如何最大化效能是關鍵

當前沿模型逐漸普及,企業之間的差距,已經不再取決於「能不能用 AI」,而是能否持續平衡成本、效能、風險與商業價值。

所謂「每一次提示詞都是一次採購決策」,並不是要員工在送出問題前逐一申請,而是提醒管理者,每一次模型呼叫,都在累積成本、供應商依賴與治理責任。

而 TaaS 真正的意義,也不在於把 token 使用量壓到最低,而是幫助企業回答三個問題,包括人工智慧消耗在何處、為何消耗,以及換回了什麼。當這三筆帳能夠彼此對得上,AI 才不再是一張難以解釋的浮動帳單,而是一項可以被配置、衡量,並持續優化的策略資源。

科技的變化總是快得驚人,而我們每天的工作,就是從龐雜的趨勢中理出觀點、提煉出決策者真正需要的洞察。如果你也對 AI 發展充滿熱情,《TechOrange 科技報橘》正在徵內容編輯!
👉了解職缺內容

*本文開放合作夥伴轉載,參考資料:《Forbes》、《McKinsey》、《Deloitte》、《AI-Stack》,圖片來源:unsplash

(責任編輯:鄒家彥)