模型可以換,能力不能換:Shopify 如何把 AI 變成自己的長期能力?

過去兩年,企業導入生成式 AI 最常討論的問題是該選哪一種模型,但當 AI 更新速度越來越快,今天的最佳選擇,可能半年後就被新的模型取代,另一個問題便開始浮現:如果模型終究可以替換,企業真正該長期投資的是什麼?

Shopify 工程副總裁暨 AI 負責人 Farhan Thawar 最近接受《VentureBeat》專訪時,公開分享 Shopify 內部的 AI 架構。整場訪談幾乎沒有討論哪一個模型最好,而是聚焦另一件事:如何建立一套即使模型持續演進,企業仍能不斷累積價值的底層能力。

別再問選 GPT 還是 Claude,先建立管理模型的能力

訪談中,Farhan 分享 Shopify 長年奉行的一套工程哲學。他說,如果一個功能可以花兩週完成,或是花兩個月建立一套基礎設施,讓未來所有人都能在一小時內完成類似功能,Shopify 幾乎總是選擇後者。

他認為,AI 的出現讓建立基礎設施的成本大幅降低,因此更值得把時間投入在打造可重複利用的平台,而不是一次性的功能。這個思維,也反映在 Shopify 的模型策略。

不同於直接將產品綁定單一模型,Shopify 在所有模型之上建立了一層 LLM Proxy,統一管理 OpenAI、Anthropic 等不同模型服務。這層平台負責模型切換、故障備援(Failover)、Token 使用分析與成本管理。當某家模型服務中斷,或有新的模型推出,底層可以直接切換,而不必重新改寫整個產品。

對企業而言,這代表真正需要建立的,不是使用某一個 AI 模型的能力,而是管理模型的能力。當模型成為可以替換的元件,企業便不需要每一次技術更新都重新開始。

把最新模型能力,變成企業自己的能力

訪談另一亮點,是 Shopify 內部的 Universal Distillation Platform(UDP,通用蒸餾平台)。

所謂模型蒸餾(Model Distillation),是指先利用 GPT、Claude 等大型模型(Teacher Model)完成推理,再將這些能力轉移到較小的模型,讓小模型專注處理特定任務。透過這種方式,企業可以把大型模型的能力,轉化成更適合特定工作流程的專用模型。

Farhan 也強調,Shopify 並沒有因此放棄使用前沿模型(Frontier Models)。大型模型仍是產品開發、程式撰寫與許多複雜任務的核心,只是在一些固定、可重複的子任務中,團隊會透過蒸餾建立專用小模型,兼顧成本、速度與品質。

Shopify 沒有把模型蒸餾視為一次性的 AI 專案,而是建立了一套可重複使用的平台。Farhan 表示內部任何研發團隊只要提供大型模型、資料集與評估標準(Eval),平台就能在約一天內,自動完成模型蒸餾並產出評估結果。

依 Farhan 分享,這些蒸餾後的小模型,在部分任務上的推理成本可降低 2 至 30 倍,回應速度更快,表現甚至優於直接呼叫前沿模型。

這也是 UDP 最重要的價值。它並不是要取代前沿模型,而是讓 Shopify 能持續把最新模型的能力,快速轉化成適合特定任務的專用模型。每當更好的前沿模型出現,這套流程就能再次運作,而不必從頭建立新的 AI 系統。

讓知識跟著 AI 一起累積,而不是跟著員工流失

除了模型,Shopify 也思考另一個問題:企業知識如何隨 AI 一起累積?答案是內部 Agent 平台 River。

River 可以存取 Slack、資料倉儲與產品管理系統,協助員工查詢資訊、撰寫程式與完成工作。但最有意思的設計不是功能,而是它只能在公開 Slack 頻道使用。原因在於,當 River 回答錯誤時,其他同事可以直接在公開頻道補充或修正答案。River 會學習這次修正,未來遇到相同問題時,就能直接給出正確答案。

Farhan 坦言,這其實是團隊沒有預料到的收穫。原本只是希望讓知識在組織內公開共享,最後卻形成了一套「人修正 AI、AI 再服務下一個人」的學習循環。一次修正,不再只解決一位同事的問題,而是成為整個組織未來都能重複利用的知識。

這套機制的規模也已經相當可觀。根據 Shopify 官方部落格,全公司每八個被合併的 pull request,就有一個由 River 共同撰寫;在某個 30 天的區間裡,River 產生了近 6 萬次工作階段,散布於逾 5,000 個 Slack 頻道,觸及超過 7,000 名員工。知識就這樣以公開、可搜尋、可複利的方式沉澱下來。

讓這一切活下來的地基:Aquifer 與 2024 年的賭注

不過,River 只是這套系統浮在表面的部分,真正支撐它運作的,是一個名為 Aquifer 的內部平台。Shopify 的設計原則是「把大腦和雙手分開」,也就是讓負責決策的模組,與實際執行程式的沙盒環境分離。這樣的好處是,工作階段會被完整保存下來,即使機器或程序中途中斷,對話與進度都不會消失。

而 Aquifer 之所以能建立,源自 Shopify 在 2024 年做的兩個當時並不受歡迎的決定:把所有程式碼整併成單一 monorepo(內部稱為 World),並全面改用 Nix 統一開發、測試與生產環境。當時背後的判斷是,未來的程式碼會越來越多由 AI 撰寫,基礎設施必須先成為承載 AI 的載體。對企業而言,這也點出一個容易被忽略的前提:要讓 AI 真正發揮作用,得先把程式庫與開發環境整理到 AI 能讀懂,而這件事,其實對工程師本來就是好事。

Shopify 想建立的不是 AI 功能,而是 AI 能力

回頭看 Shopify 的 AI 做法,不難發現三項能力彼此環環相扣。LLM Proxy 解決的是模型管理;UDP 解決的是模型客製化;River 解決的是知識累積。看似分散的三個系統,其實共同回答了同一個問題:企業如何把 AI 從一次性的應用,變成可以持續累積的能力。

當下一代 GPT、Claude 或其他前沿模型問世時,模型或許可以快速替換,但這些企業自身累積的能力不會因此消失,反而能持續吸收新的模型能力,成為企業下一次創新的起點。模型會一直進步,但真正決定企業競爭力的,將是它累積了多少能力,而不是用了哪一個模型。

【推薦閱讀】

OpenAI Codex 負責人來台:下一代 AI 的定義,不再只由模型決定

Harness Engineering 為何是 AI 軟體交付護城河?因為模型只會越來越可替換

員工都在用 AI,為何公司還看不到 ROI?Google Cloud 揭企業 AI 落地斷點

*本文開放合作夥伴轉載,資料來源:《VentureBeat》Shopify,首圖來源:Unsplash