專訪:戴季全
撰稿:張哲瑋
過去大家問的是買不買得到 GPU,現在愈來愈常問的是電夠不夠用。《全新一週》主持人戴季全在節目開場點出這個轉變。根據 Gartner 預測,全球資料中心用電量將從 2025 年的 447 太瓦時(TWh),成長到 2026 年的 565 太瓦時,年增 26%。
本集在 2026 鴻海科技日現場,邀請鴻海集團亞灣超算(Visionbay.ai)創辦人暨執行長姚延宗、耐能智慧(Kneron)創辦人暨執行長劉峻誠對談。前者建置、營運 AI 資料中心(AIDC),後者開發專為 AI 運算設計的 NPU(神經網路處理器),兩人分別從基礎設施與晶片的角度,談算力與電力怎麼重新分工。這次關於產業鏈分工的訪談,對規劃 AI 基礎建設的企業而言,可以得到什麼啟發:哪些工作該交給雲端,哪些該留在自己手上?
先有電、再放 GPU:AIDC 比的是部署節奏,效率改看每瓦電產出多少 Token
姚延宗認為,AI 產業鏈的分工是先後順序的問題,必須先有電力,「因為畢竟電力是最 Fundamental(根本)的事情」,接著備妥土地與建築外殼(Land and Shell),再把 GPU 放進去開始營運。他指出,一座 AIDC 的投資可能高達數億、數十億美元,有了資料中心卻沒有 GPU,或 GPU 到了、資料中心還沒準備好,「都會造成蠻大的資金的損失」。因此,他認為亞灣超算真正在解決的是供應鏈管理:把電力與晶片安排得當,讓 AIDC 以最快、最有效率的方式部署。
部署要快,電力需求也在攀升。姚延宗以 NVIDIA 產品路線圖估算,8 年間單一機櫃的功耗從約 10kW 增至將近 1MW(百萬瓦),成長約百倍。他提到,NVIDIA 發布 800 伏特高壓直流(800VDC)架構,目的是在「從電廠到 GPU」的過程中,盡量減少不必要的能量損耗。根據 NVIDIA 技術部落格,800VDC 架構規劃自 2027 年起支援 1MW 以上的機櫃,NVIDIA 並宣稱可讓端到端效率最多提升 5%。
散熱方式也在改變。姚延宗表示,亞灣超算近來部署 AIDC,基本上都採用液冷(Liquid Cooling)技術來提升電力使用效率。他也提到業界近來常談的效率指標 Token-per-Watt:Token 是 AI 模型處理文字的基本單位,Token-per-Watt 指每瓦電力能產出多少 Token,數值愈高,每個 Token 的電力成本愈低。
電力限制恐怕也不是短期問題。姚延宗提到,Goldman Sachs(高盛)近期報告也認為,電力是 AI 發展的長期限制。根據《Axios》報導,報告中高盛全球數位基礎設施投資銀行主管 Jason Tofsky 表示,「電力可能是永遠的瓶頸」。除了電力,姚延宗認為人才是另一個不小的問題:AIDC 要大量、快速部署,但「人才的培育能不能趕得上」仍是考驗,經驗需要時間累積。
CPU、GPU 之外再加一顆 NPU:耐能劉峻誠主張把部分 Token 需求分攤到端側
從晶片端出發,劉峻誠提出另一條路:在 CPU、GPU 之外,再加入 NPU。他表示,NPU「專為 AI 而生」、功耗非常低,可以從端側(使用者端的裝置)補強算力,分攤雲端的負載;未來家裡、甚至公司都會有一個算力載體,「承擔一部分的 Token 的需求」。
他以筆電類比:GPU 出現後,筆電從純 CPU 多加了一顆 GPU,圖像與遊戲交給 GPU,邏輯運算仍由 CPU 處理,「那未來就是會多一個 NPU,那超算中心也是這樣」。在他看來,近來熱門的實體 AI(Physical AI)與 AI 代理(AI Agent),談的就是端側 AI 的崛起。
對於效益,劉峻誠宣稱,CPU、GPU 加上 NPU 的系統「功耗會降低很多」,以 NPU 單位功耗創造的 AI 性能而言,「基本上是可以到百倍左右的提升」;他也表示,耐能已把 NPU 搭配「非常低階」的 GPU,可取代 NVIDIA 的 H 系列,甚至 GB 系列。節目中並未提出相關測試細節。
NPU 也不只用在地端(企業或機構自有的機房與設備)。劉峻誠表示,耐能在東南亞、德國與沙烏地阿拉伯都有超算中心等級的雲端布局;他認為 NPU 在地端有絕對優勢,在雲端也能搭配 CPU、GPU「把雲的成本大幅的降低」。
敏感工作放自有機房、複雜工作交給雲端:資安與資料治理推動在地部署
雲端與地端怎麼分配,姚延宗從客戶類型說起。他把客戶分成四大類:傳統雲端服務供應商(CSP)、AI 原生公司、企業與政府。前兩類對 GPU 的需求非常明確,「因為 GPU 基本上等於他的研發資源」,需要數千顆 GPU 的大規模叢集;企業與政府腳步較慢,但出於資安、資料治理或法規遵循的要求,帶動了在地算力的需求。企業內部也會再分配工作負載:姚延宗觀察,企業會把概念驗證(POC)或相對敏感的工作放在地端,需要更多資源處理推論或訓練的複雜工作流程則放到雲端,目的都是讓整體的 Token 產出更有效率。
劉峻誠則從隱私與成本談地端 AI。他表示,電力與隱私需求推動 NPU 和地端 AI 快速崛起,政府、企業有很多東西因為隱私問題無法上雲。成本方面,他以耐能主張的 NPU 方案為例假設,若電力成本不到四分之一甚至十分之一、不必上液冷,建置成本也低很多,「它就會有很大的優勢」。
兩家公司是競爭還是分工?姚延宗引用 NVIDIA 執行長黃仁勳在官方部落格提出的「AI 五層蛋糕」:AI 由下而上依序是能源、晶片、基礎設施、模型與應用。他表示,耐能位在晶片層,亞灣超算則在「AI Infra 往上的那一層」,從價值鏈分工來看,「本來就不是競爭對手」。至於亞灣超算是否採用 NPU,姚延宗說將依客戶需求而定;劉峻誠打了個比方:CPU、GPU、NPU 是不同的刀,「如果客人需要切水果,你不可能拿牛刀來切水果」。
在姚延宗看來,2027 年是 AI 應用很關鍵的一年,台灣企業最重要的是「要持開放的態度去嘗試」,試過才知道哪些工具、模型能真正提升營運效率、降低成本、增加營收。劉峻誠提醒,本業高度仰賴重複性工作的企業「你一定要用」,再依需求評估要全部仰賴雲端、自建,還是混搭。
歡迎大家訂閱「科技報橘」YouTube 頻道,一起用《全新一週》節目,來迎接全新的一週!
*首圖來源:《TechOrange》



