AI Agent 不必全程上雲?Perplexity 聯手 NVIDIA 推 Portable Computer

當 AI Agent(AI 代理)開始長時間、自主執行任務後,還適合每一步都靠雲端模型、按 token 付費嗎?和一問一答的聊天機器人不同,Agent 為了完成一項工作,可能持續規劃任務、讀取文件、搜尋資料、呼叫工具,再反覆檢查結果。當工作時間從幾秒拉長到數十分鐘甚至數小時,模型呼叫次數跟著增加,雲端推論成本與資料傳輸問題也會被放大。

Perplexity 現在提出另一種做法,8/25 它與 NVIDIA 推出「Portable Computer」,嘗試把原本依賴雲端執行的 Agent 工作流程搬到使用者自己的設備,需要最新網路資訊或更強模型時,再選擇向雲端求援。

Portable Computer 是「本地端優先」的 Agent

名稱雖然叫 Portable Computer,但它不是 Perplexity 推出的一台實體電腦,而是一套本地端優先的 AI Agent 軟體環境。Perplexity 官方表示,這是其產品 Perplexity Computer 的完全本地版本,模型、Agent 執行架構、對話內容與任務執行過程,預設都能留在使用者設備上。

它也不只是下載一個大型語言模型到電腦裡。《VentureBeat》指出,Portable Computer 把 planner、工具路由、排程、任務佇列、本地搜尋、安全沙盒等 Agent 執行元件一起搬到本地,讓 Agent 能在設備上完成規劃、讀取資料與操作工具等一整套流程。

目前 Portable Computer 首先針對 NVIDIA 的桌上型 AI 超級電腦 DGX Spark 最佳化。DGX Spark 採用 GB10 Grace Blackwell Superchip 與 128 GB 統一記憶體,主打讓開發者直接在桌面執行較大型 AI 模型與 Agent。

雙方的合作也不只是 Perplexity 把軟體裝到 NVIDIA 硬體上。Perplexity 負責 Agent harness、模型後訓練與產品介面,NVIDIA 則提供 DGX Spark 與本地 AI 推論的軟硬體環境,雙方並持續調整模型與 Agent 在本地端的執行。目前官方主要以 DGX Spark 作為首發平台,更多 Windows 與 NVIDIA GPU 平台支援則仍在擴展中。

平常任務自己做,碰到難題才找雲端模型

需要留意的是,Perplexity 並沒有宣稱 27B 級本地模型已能取代 Claude 等前沿模型。Portable Computer 更重要的概念,是讓不同模型分工。

Perplexity 公布的 Terminal Bench 2.1 自測中,單獨使用本地 Qwen 3.8 27B 時,任務成功率為 59.6%;允許系統遇到困難時向雲端 Claude Opus 5 尋求建議後,提高至 73%,Perplexity 估算每項任務的 API 成本為 0.415 美元;若整項任務都交給 Claude Opus 5,成功率則提高到 82.4%,成本為 0.65 美元。

這組數據來自 Perplexity 自行測試,尚未經第三方驗證。不過,它呈現的設計取捨是,不要求本地模型解決所有最困難的問題,而是先承擔大量、頻繁的工作,真的超出能力範圍時,才呼叫成本較高的雲端模型。

敏感資料可以留在設備,但本地優先不等於完全離線

除了成本,資料也是 Perplexity 強調本地 Agent 的另一項優勢。當 Agent 處理公司文件、程式碼或內部資料時,讀取、搜尋與部分推理可以直接留在設備上,不必把所有中間步驟都交給外部模型。

但本地端優先不代表資料永遠不會離開設備。《Computerworld》指出,Portable Computer 本身可以連接 Google Drive、Gmail、Slack、GitHub 等服務,也能在需要時呼叫雲端模型,因此企業真正需要管理的問題,仍包括哪些資料可以向外傳送、什麼情況允許 Agent 連接外部服務,以及由誰決定。

Perplexity 表示,將任務升級給雲端 advisor 預設不會自動啟用,使用者必須先授權。不過《Computerworld》訪問的企業資安人士也提醒,若要進入金融、醫療等高度監管產業,只靠個別使用者同意可能還不夠,企業仍可能需要更完整的資料外傳政策、DLP 與稽核機制。

NVIDIA 正在把「常駐 Agent」變桌面 AI 新工作負載

與 Perplexity 的合作,也透露 NVIDIA 對桌面 AI 硬體的新定位。NVIDIA 近期強調,DGX Spark 可以 24 小時持續執行長時間持續運作的自主 AI Agent(long-running autonomous agents),讓桌面 AI 設備不只用來偶爾測試或推論模型,也能成為長時間運行 Agent 的運算節點。

這也讓 Perplexity 與 NVIDIA 的合作不只是一項軟硬體整合。當 Agent 開始持續工作,競爭逐漸從哪個模型最強,延伸到整套運算應該如何配置,例如哪些任務值得送上雲端,哪些可以留在設備,又要如何控制 Agent 跨出裝置邊界。

對 Perplexity 而言,Portable Computer 想降低對雲端推論與資料外傳的依賴;對 NVIDIA 而言,則是替 DGX Spark 等桌面 AI 硬體找到長時間執行 Agent 的新工作負載。這套模式能否真正進入企業,接下來仍得看本地模型能力、硬體成本,以及企業能不能真正掌握 Agent 何時、為了什麼資料連上雲端。

科技的變化總是快得驚人,而我們每天的工作,就是從龐雜的趨勢中理出觀點、提煉出決策者真正需要的洞察。如果你也對 AI 發展充滿熱情,《TechOrange 科技報橘》正在徵內容編輯!
👉了解職缺內容

【推薦閱讀】

迎戰本地 AI 代理時代:新款 Mac mini 挾 M6 晶片登場,蘋果打造「微型 AI 工作站」

AI 用得多不等於生產力高:看摩根大通、高盛、花旗,如何用 3 種管理模式重新定義「AI KPI」

Cursor 推 Origin 進軍程式碼託管:AI coding 戰場為何從 IDE 打到 GitHub?

*本文開放合作夥伴轉載,資料來源:《VentureBeat》Perplexity《COMPUTER WORLD》《SiliconANGLE》,首圖來源:擷取自 Perplexity