以前一家公司想要一套完全不連網、資料不出門的 AI，得先蓋機房、買伺服器，但現在這件事的門檻變很低，只要一張顯卡，加上一個月 20 美元的訂閱就可能可以做到。
9 月 14 日，以 AI 搜尋起家的 Perplexity 把一個叫 Portable Computer 的功能正式帶進 Windows，這是 Perplexity 旗下 AI 助理「Computer」的本地版本，原本這個助理要連到雲端伺服器才會動，現在它的推理引擎、任務規劃、排程系統，全部可以跑在你自己的電腦上。
但你的電腦裡要有一張顯存（VRAM） 24GB 以上的 NVIDIA GeForce RTX 或 RTX PRO 顯卡，加上 Perplexity 的 Pro 或 Max 訂閱，顯存就是顯卡自己的記憶體，模型要跑起來，得先整個裝進這塊空間裡，所以它決定了你的電腦跑不跑得動多大的模型。
一張卡的價格，大約是一台中高階筆電的錢，不算便宜，但你在一般電腦通路就買得到，不必跟企業機房訂機器，訂閱費用如果是 Pro 每月 20 美元，Max 是 200 美元，這功能 8 月下旬才剛在 Linux 和 NVIDIA 的 DGX Spark 上線，三週後就進了 Windows。
一個 270 億參數等級的 AI 助理，居然可以塞進一張消費級顯卡裡跑起來，過去只有企業級硬體或雲端算力才做得到的事。
這件事真正有趣的地方，在順序。
過去我們談地端部署，邏輯都是「預設雲端，除非有隱私疑慮，才退而求其次考慮地端」，Portable Computer 把這個順序倒過來，簡單任務預設留在你自己的電腦上跑，只有遇到需要更強推理能力的任務，它才跳出來問你，要不要把資料送上雲端，而且在本機做完的工作，不吃雲端的付費額度。
Perplexity 執行長 Aravind Srinivas 在發布當天講得很直白，他說這是「跑在每一台裝 NVIDIA 顯卡的 Windows PC 上、無限量的地端智慧」，過去這幾年我們習慣的 AI，本質上是租來的。
你要連上網、要登入、要按用量付費，你丟進去的每一份檔案，都得先離開你的電腦，它比較像水電瓦斯，接進來就有，但管線和水塔都不是你的。
Portable Computer 這種模式不一樣，模型下載到你的硬碟裡，運算發生在你桌上那台機器，斷網它照樣動，你用得再兇也不會多一筆帳單，它比較像你買了一台印表機，買的時候有一筆錢，之後它就待在那裡，是你的資產，也是你的責任。
雲端不再是預設答案，它變成一個選項，這個轉折，比「又一家公司推出地端 AI」這句話重要得多。
我先前曾寫過 Anthropic 執行長 Dario Amodei 為什麼喊出「AI 該慢下來」，他擔心的是遞迴式自我改進（RSI），簡單說，就是 AI 開始參與訓練下一代 AI，能力提升的速度，已經快到安全治理追不上。
Portable Computer 則讓我們看到當跑一個 270 億參數 AI 助理的門檻，降到一張顯卡加一個 App，能力擴散的速度，可能比實驗室裡那條能力曲線還要難掌握。
AI 的進展是尖端實驗室裡在競速，同時全球數千萬台個人電腦的普及速度也在加速。
那些資料不能出境、法遵要求特別嚴的產業，醫療、金融、政府單位，他們過去想把 AI 裝在自己家裡，得先組一支 MLOps 團隊，負責把模型從實驗室搬到正式環境、而且讓它天天穩定運作的那群人，加上維運監控等等的工作，一套做下來，時間和人力成本都不低。
雖然現在看起來門檻下降，買一張顯卡、裝一個應用程式，就有一套堪用的地端 AI 助理，不過我要提醒一件事，地端不等於零風險，只是風險換了位置。
Portable Computer 一旦接上 Google Drive、Gmail、Slack、GitHub 這些連接器，員工的電腦本身就變成一個新的攻擊面，雲端集中管理的時候，資安團隊至少知道風險在哪個機房；算力分散到每一台筆電之後，你的資安邊界，等於跟著員工的電腦到處跑，地端運算分散了雲端的風險，但沒有消除風險。
我一直覺得，企業做 AI 治理，雲端成本透明化是第一步，團隊要先看得懂帳單，才有資格談優化，這幾年多雲環境下，公司花在不同雲端服務商的運算、儲存、推論成本，經常散落在好幾張帳單裡，連 IT 部門自己都很難即時掌握總花費，更別說優化了。
這也是 FinOps 越來越受重視的原因。FinOps 講的其實不複雜，就是把雲端花費當成一門管理學問，讓財務、IT 和業務單位看同一組數字，先搞清楚錢花在哪，才談得上怎麼花得更聰明。
但 Portable Computer 這類產品提醒我，這件事不會停在雲端。
譬如說買印表機的錢是一次性的，真正花錢的是之後的墨水、紙張、保養、還有那台機器佔的空間，地端 AI 也一樣，當運算節點從資料中心擴散到每一台員工的筆電，硬體攤提、電費、維運人力，全都是成本，只是過去沒人把它跟雲端帳單放在一起檢視。
一台配 24GB 顯卡的工作站，一張卡就是一台中高階筆電的錢，再加上員工每天用 AI 助理處理任務消耗的電力和硬體損耗，長期累積下來，未必比雲端算力便宜多少。只是這筆帳，目前很少有企業真的在算。
FinOps 這套「先看清楚花在哪裡，才能決定怎麼花」的邏輯，原本是為了管雲端而生的。但趨勢上，它勢必會延伸到地端和邊緣，把這塊成本一起攤開來看，才會是完整的企業 AI 財務治理版圖。
這件事我們是從客戶現場學到的。
幾年前開始，我們常被問同一個問題：這個月雲端帳單為什麼變多？做顧問的時候，我們靠人去拆，一家一家陪著客戶看，哪些成本值得優化、哪些該保留、哪些應該繼續投資。問題是這些判斷全留在同事的經驗裡，下一個客戶來，一切重來。
所以我們決定把它變成產品，而做產品跟做顧問最大的差別在於，顧問可以憑經驗下判斷，產品不行，產品得先讓數字自己說話，我們選的第一件事，是把散在各家雲端的帳單標準化，再往下拆到部門、專案，讓每一塊錢都找得到主人。
這個順序後來被驗證是對的，成本有了歸屬的部門，優化才會開始在企業內發生。
我猜地端這塊，未來也會走上同一條路，只是這次要歸屬的，不再只是雲端的運算與推論費用，還包括散在每個部門桌上那幾張顯卡，這幾年我們一直在講，AI 導入真正的門檻不是模型，是治理，門檻降低之後，這句話只會更成立，因為要管的東西變多了，而且散得到處都是。
買一台機器、買一張顯卡都很容易，難的是半年後，還有沒有人說得出它在哪、誰在用、電費和維護算誰的，而 AI 現在正走到這一步。
(本文訊息由劉永信 Spencer Liu 提供，內文與標題經 TechOrange 修訂後刊登。新聞稿 / 產品訊息提供，可寄至：[email protected]，經編輯檯審核並評估合宜性後再行刊登。首圖來源：Shutterstock。)
