對於絕大多數已經引入 AI 技術的企業來說,想要維持人工智慧模型運轉,既需要付出高昂成本,同時還得兼顧充足的運算能力。然而,企業對於 AI 算力的追求,至今似乎是永無止境。
對此,AI 領域新創公司 Hugging Face 人工智慧與氣候變遷負責人 Sasha Luccioni 認為,企業一昧追求算力提升,似乎並非強化 AI 效能與效率的最佳方法,若能以更「聰明」的方式使用人工智慧,或許才是更好的方向。
Sasha Luccioni 說,大多數將 AI 投入運用的企業,其實根本沒有充分探索更聰明的做事方法,因為他們經常被追求「更多算力」、「更多 GPU」以及「更多運算時間」的想法所蒙蔽。
Sasha Luccioni 認為,無論是 AI 模型製作者或商業組織,對於 AI 效能提升的關注點通常都不正確,假如可以不再追求更多不必要的算力,以「聰明運算」的方向進行思考,專注於提升模型效能與準確性,將有機會進一步壓低 AI 運算成本,並且取得真正的進步。
Hugging Face 根據自身經驗,為企業的 AI 應用改革提出了 5 大方向,希望藉此幫助各種規模的組織,更有效率且低成本的使用人工智慧。
建議一:根據任務內容,適當調整模型大小
Hugging Face 表示,企業在選擇 AI 模型時,應該要避免為每一個任務,全都採用相同的大型通用模型,因為專注於特定任務的小模型或精簡模型,其準確性其實早已能夠匹敵甚至超越大型模型,而且無論運行成本、能耗都會更低。
Sasha Luccioni 說,根據實驗測試並不難發現,為特定任務所打造的精簡模型,其整體能耗相較於通用模型,通常可以低上 20、30 倍。
舉例來說,DeepSeek R1 模型規模龐大,大多數組織的 AI 基礎建設都負擔不起,因為它至少需要 8 個 GPU 支援運算;相比之下,DeepSeek R1 的精煉版本規模雖縮小 10 倍、20 倍、30 倍,但卻只需一個 GPU 即可運作。
Sasha Luccioni 強調,模型精煉是降低 AI 運作成本的關鍵,完整模型可以先從零開始訓練,然後再針對特定任務進行改進;對於規模偏小的企業來說,開源模型更有助於提高效率,讓組織直接省去從頭訓練 AI 的麻煩。
開源模型幫助大,具體比通用更實際
回顧數年前,許多企業仍會因為找不到合適的 AI 模型而浪費算力資源,如今他們可以從開源的基礎模型入手,後續再進行微調與客製化。
Sasha Luccioni 認為,開源模型提供了漸進式的共享創新,而不是單獨、孤立的進步,畢竟當每個人都只用自己的資料集訓練模型,並未對外分享使 AI 模型繼續發展,其本質仍是在浪費運算資源。
綜觀目前部分企業對 AI 感到失望的理由,大多都是因為成本與效益尚未達成正比,例如 AI 於撰寫電子郵件或轉錄會議記錄方面,雖然確實很有幫助,但想讓 AI 負擔「特定任務」,企業仍然需要投入大量的工作時間與成本,畢竟開箱即用的 AI 模型通常都無法滿足需求。
因此 Sasha Luccioni 強調,在大多數企業只期盼 AI 可以負擔一項特定任務的情況下,選擇大型通用模型絕對不是唯一選擇,朝更具體的 AI 模型發展才是正確的方向。
建議二:善用「助推理論」,以效率為原則
在認知科學中,所謂「助推理論」是一種行為管理方法,希望透過潛移默化的方式,影響人類的決策行為。舉例來說,當消費者在下單外送餐點時,讓他們自主決定是否需要塑膠餐具,而不是每次點餐都預設包含在內,結果將可以顯著減少資源浪費。
換句話說,讓人們選擇「加入某件事」而非「退出某件事」,實際上是一種改變人類行為非常有效的機制。若套用到 AI 領域,那就是企業應該盡量減少預設使用 AI 模型的機會,因為使用量增加就相當於成本增加。
Sasha Luccioni 認為,企業在導入 AI 應用之後,各種生成式功能不一定得保持「永遠開啟」,讓使用者自行選擇是否啟用更高成本的運算模式,相對來說是更好的做法。
Sasha Luccioni 也批評了 Google、OpenAI 等科技巨頭,在 AI 使用上仍不夠節制,例如 Google 搜尋總是會自動調用 AI 運算,並且給出搜尋結果總覽,而 OpenAI GPT-5 更會永遠開啟推理模式,只為處理使用者輸入的簡單問題。
Sasha Luccioni 說,對於「今天天氣怎麼樣?」或「我家附近藥局的營業時間是幾點?」這類問題,調用生成式 AI 顯示摘要,顯然是件很多餘的事情,但它卻成為了預設的處理模式,而理論上 AI 的使用更應該被當成例外處理。
建議三:規劃處理批次,最佳化硬體使用率
企業減少 AI 成本並提升效率的第三個方向,Hugging Face 認為,組織可以針對特定的硬體,彈性調整對於任務精確度的要求,以及每個批次的處理尺度,盡可能減少記憶體與功耗浪費。
舉例來說,企業可以反問自己 AI 模型是否需要一直處於運作狀態?員工或客戶真的會隨時呼叫 AI,並且一次拋出 100 個要求嗎?假若情況如此極端,那麼實施針對性的優化自然在所難免,然而大多數應用情境中,即時性且大量的處理任務,於企業內部 AI 應用仍屬罕見。
Sasha Luccioni 說,讓 AI 模型定期運作而非永遠上線,可以大幅度優化記憶體的使用,適當的分批處理更可確保最佳記憶體利用率。即便這種概念更偏向工程挑戰而非管理原則,無法強求「將所有模型全都精簡化」,或者「大幅調整所有模型的精確度」,但仍值得企業研究與實踐。
在 Hugging Face 近期的研究中,他們發現硬體效率與 AI 任務的批次尺度息息相關,其影響甚至精確到特定的硬體類型或版本;此外,即使硬體負擔 AI 任務的批次只是增加了一個單位,都有可能因此調用更多記憶體而徒增能耗。
Sasha Luccioni 進一步解釋,大多數人不會注意到 AI 任務批次大小跟硬體之間的互動關係,只會想著如何讓每批次任務的處理數量最大化,但實際上正是由於這些細節上的調整,才使 AI 模型可以於特定情境下,瞬間變得超級有效率。
建議四:提高能源運用效率,透明化成關鍵
當今的 AI 運算十分耗能,因此能以更低功耗執行的 AI 模型,自然可以協助企業降低營運成本。
不久之前 Hugging Face 推出了「AI 能源評分」系統,採用 1 到 5 星的評級方式,為 AI 模型能耗做出客觀評價。Hugging Face 希望這套系統可以成為「人工智慧的能源之星」,藉此吸引 AI 模型製造商,主動打造資源消耗量更低的模型,並將其當成「榮譽徽章」進行宣傳。
Sasha Luccioni 指出,能源之星在過去幾十年以來,已經被視為成功且積極的獎勵機制,若 AI 模型可以擁有一套相似的評分系統,自然是再好不過。然而值得一提之處,在於美國政府今年 5 月宣布,將會逐步廢除能源之星標準。
目前 Hugging Face 已為 AI 模型能源消耗評級,上線了最初步的排行榜,預計 9 月會再更新內容,例如加入剛剛發表的 GPT-oss,並持續以每 6 個月或更短時間的節奏,不斷為新模型評測功耗等級。
建議五:重新檢討「越多算力越好」的思維模式
正如同前面所強調,企業追求更多的 AI 算力,本質上並不代表 AI 效能與精確性,就可以得到相應等級的提升。因此,深度思考「達成結果的最聰明方法是什麼?」對於企業來說至關重要。
就大多數工作負載而言,更聰明的任務流程架構,以及更好的資料管理,其實都優於一昧的增加硬體設備與資源。Hugging Face 人工智慧與氣候變遷負責人 Sasha Luccioni 直言,許多企業其實根本不需要他們想像中,那麼大量、驚人的 GPU 與 AI 算力。
因此,重新思考 AI 究竟要負責哪些任務?為什麼需要增加 AI 硬體?過去執行同類任務時,企業的做法又是什麼?以及增加硬體和算力之後,又能帶來哪些增益?將上述問題重新想過一遍再做出決定,絕對比直接投入成本添購設備來得更聰明。
Sasha Luccioni 說,當各方不斷追求更大規模的 AI 算力,演變至今更像是一種「逐底競爭」,所以企業該是時候反過來思考,究竟自己使用 AI 的目的是什麼?過程中又需要哪些技術?然而驅動這些技術時,究竟又得滿足哪些條件。
【推薦閱讀】
◆ 1 美元取代 70 美元系統?DeepSeek V3.1 發布,劍指企業 AI 成本痛點
◆ 【氛圍編碼=燒錢陷阱?】爆紅新創交易失敗,揭 AI 產業成本黑洞
◆ 為什麼 95% 企業 AI 專案失敗了?MIT 研究揭 3 大領先關鍵
*本文開放合作夥伴轉載,參考資料:《VentureBeat》、《Hugging Face》,首圖來源:Bing AI
(責任編輯:鄒家彥)



