【別只看 token 單價】從支出追到成果,看懂 AI 代理人的經濟效益將成為管理優勢

企業每個月都收得到 AI 模型的帳單,卻未必說得出這筆錢換來了什麼。隨著 AI 代理人在企業內負責研究、分析、開發與溝通,逐漸成為日常工作的一部分,它們的運作也開始影響團隊如何分配時間、資源與注意力。

在這樣的情況下,討論 AI 成本時,支出只是起點;更值得追問的是,這筆支出讓代理人完成了什麼,它原本想達成什麼目標,以及成果是否值得投入的資源。

帳單只說明花了多少,無法說明換來什麼

多數企業已經能掌握模型帳單、token 消耗與整體使用量。token 是大型語言模型處理資料的單位,依模型不同,可能是一個字元、部分單字、整個單字或標點符號,許多服務也以 token 數計算費用。這些數字回答了重要的會計問題,卻還無法說明企業從這筆支出中得到什麼成果。

問題在於,代理人的成本本來就難以預測。IBM 指出,代理人每次執行消耗的運算資源並不固定,會隨任務複雜度、需要處理的資訊量,以及採取的動作數量而變動,每多一個步驟,都可能讓總成本增加。

因此,同樣是一筆較高的帳單,可能代表代理人完成了一份原本需要團隊花好幾天的複雜分析;也可能代表任務不斷重複執行、選用了不必要的昂貴模型,或是呼叫了工具卻沒有讓工作往前推進。光看數字,經營者無法分辨是哪一種。

這也是為什麼「工作」是衡量 AI 成本最實用的單位之一。以工作為單位,經營者就能追問代理人想完成什麼、用了哪些資源、如何處理任務,以及最後產生什麼結果。IBM 也建議,以每項任務的成本與步驟數衡量效率,會比單看每個 token 的價格更清楚。這對規模化尤其重要,一個在單一流程中成本很低的低效步驟,重複數千次後,就可能變成可觀的開支。

成本由代理人的行為決定

在這個架構下,模型只是成本的其中一部分。代理人的工作成本,取決於它的行為,包括它所做的決策、使用的工具與資訊、需要重試的次數,以及過程中的人工介入。這些因素之所以重要,是因為它們能解釋這項工作的經濟效益。

IBM 進一步拆解代理人完成任務時可能產生的成本指出,除了模型使用,還包括在步驟之間攜帶的上下文與記憶、呼叫企業系統或第三方 API(應用程式介面)、搜尋資料庫等資料檢索、模型以外的雲端運算資源,以及失敗動作、重複嘗試與低效流程造成的浪費。換句話說,token 支出只是代理人營運成本的一部分。

舉例來說,代理人在高價值、時間緊迫的決策上使用頂級模型,可能是相當合理的取捨;但如果同樣的選擇用在例行的分類工作上,就值得重新設計。重點不是為所有代理人訂下同一個支出上限,而是讓這些取捨清楚可見,讓業務單位能依情境判斷。

這也改變了企業看待投資報酬率(ROI)的方式。代理式工作的投資報酬,很少能用單一數字衡量。有的團隊重視節省時間,有的重視準確度、處理量或回應速度,也有團隊看重的是能接手過去沒有人負責的工作。把成本與工作連結起來,各團隊就能依自己真正在意的成果,評估代理人創造的價值。

領導者可依固定順序分析並採取行動

經營者不需要為每個新指標都建立新的儀表板,而是需要一套可重複使用的方法,追蹤投資與活動之間的關係。分析的順序是支出、代理人、工作、行為、資源與成果,並長期觀察以持續最佳化。

具體來說,先確認這項工作花了多少錢,再找出負責的代理人與它要完成的工作。接著檢視產生成本的行為,包括它在模型、工具與系統之間的運作路徑,以及使用的運算、資料存取與人工審查等資源,最後再依該用途真正重要的指標檢視成果。

這套順序能讓成本討論更精確,分辨哪些工作流程成本雖高,卻帶來明確的商業價值,哪些則需要重新設計。財務、技術與業務主管也能針對同一個工作單位討論,不必再各自整合使用量、預算與成果等互不相連的資料。

要落實這套做法,第一步是挑選少數對業務重要的代理人工作流程,為每一條流程定義預期成果,並指定負責判斷成果是否值得投入的人或團隊。接著,讓工作可以追溯,成本資料必須附帶足夠的營運脈絡,顯示是哪個代理人產生成本、執行什麼任務,以及工作如何進行。

最後,根據證據做決策。證明有價值的工作可以擴大,成本與成果不成比例的流程則需要改善;在證據支持時調整模型選擇、工具使用或任務設計,並在經濟效益明確時,賦予代理人更多責任。

看懂代理人的經濟效益,將成為管理優勢

隨著代理式工作成為企業的新常態,AI 成本正從一筆技術支出,轉變為營運層面的問題。

這個轉變也改變了誰需要看到成本資料。傳統的 FinOps(雲端財務營運管理)著重預算、成本分攤與共用基礎設施,但代理式工作讓決策分散到各團隊。在組織較扁平的企業裡,最貼近工作流程的團隊,需要了解代理人產生的支出,才能預估一季能交付多少成果。他們不只是在追蹤用量,而是在決定產能、優先順序,以及代理人能承擔哪些更多的責任。

代理人會依任務與回應,動態改變模型呼叫、上下文、工具使用與執行路徑,兩個看似相同的任務,可能消耗不同的資源與成本。因此,企業需要在既有的 FinOps 基礎上延伸,針對代理人補上專屬的監測數據、控管機制與單位成本衡量,而不是另起爐灶。

當代理人成為企業運作的基礎,能看懂代理人工作的經濟效益,並據此有目的地投資,將成為企業的核心管理優勢。

【推薦閱讀】

◆ 蘋果傳調降工程師每日 AI 額度,從 300 降至 200 美元:企業怎麼控管 AI 成本?
◆ 【token 變便宜,AI 帳單反而更貴】代理成本 2028 年前增逾 5 倍,Gartner 建議企業為推論分級
◆ AI 成本失控,企業轉向私有雲:HPE 靠智慧路由省下六成 token 成本

*本文開放合作夥伴轉載,參考資料:IBM、Forbes,首圖來源:Gemini 生成

(責任編輯:鄒家彥)