Search
Close this search box.

【挑戰 NVIDIA】新創 Positron 如何在 AI 推理晶片市場,找到「超車」秘訣?

推理效率比 NVIDIA 高 3 倍!晶片新創 Positron 如何瞄準輝達挑戰 AI 硬體市場?

在全球 AI 晶片市場由 NVIDIA 主導的背景下,成立於 2023 年的美國新創公司 Positron AI,似乎正在以挑戰者之姿,逐漸嶄露頭角。

不同於多數廠商的低調,Positron AI 將自己明確定位為 NVIDIA 的直接競爭對手,尤其該公司研發的首款 AI 推理加速器 Atlas,日前獲得雲端服務供應商 Cloudflare 實驗性導入,以驚人的運算效率成為業界焦點,亦被外界視為 AI 硬體市場上,極具潛力的超級新星。

創新 AI 硬體,專攻「推理」瓶頸

不像 NVIDIA 不斷強調,唯有透過加速運算才能滿足 AI 市場需求不同,Positron AI 認為「推理」才是當前人工智慧領域真正的瓶頸。

Positron AI 共同創辦人兼技術長 Thomas Sohmers 指出,許多企業長期忽略了「AI 堆疊」(AI stack)的重要性,尤其是在要求快速、高效率的生成式 AI 工作負載方面。為此,Positron AI 決定專注於節能、專用,並且針對記憶體運用進行最佳化的 AI 推理晶片,希望解決 AI 產業日益增長的成本與功耗問題,並突破當前 AI 運算硬體供應不足的窘境。

推理加速器的初試啼聲:Atlas

由 Positron AI 所研發的第一代推理加速器 Atlas,本質上為一款大型的變換器(transformer)模型解決方案,在效能與功耗方面表現尤其亮眼。

若是跟 NVIDIA H100 GPU 相比,在達到同等運算效率時,Atlas 的功耗大幅降低了 66%;例如於 Llama 3.1 8B 運算情境下,Atlas 每秒處理約 280 個 Token,功耗僅需 2000W 左右,而 8 路 NVIDIA DGX H200 伺服器每秒處理 180 個 Token 時,功耗卻達到了驚人的 5900W。

此外,Atlas 也實現了高達 93% 的記憶體頻寬利用率,遠超過傳統 GPU 產品的 10% 到 30%。

Thomas Sohmers 指出,由於 Atlas 的變換器運算與記憶體操作,其比例接近 1:1,而記憶體利用率的顯著提升,對於整體解決方案的效能、功耗,皆帶來了直接影響。

經綜合計算後,根據 Positron AI 說法,Atlas 於每瓦效能、每美元成本支出方面,相較於 NVIDIA DGX H200 的效率高出約 3 倍,但官方數據仍僅供參考,有待第三方機構進一步驗證。

以務實為基礎,打入 AI 運算市場

除了產品本身足夠強大外,Positron AI 對於 AI 硬體市場的發展策略,也有著一套務實的見解。

Thomas Sohmers 表示,公司從未想過重新打造一套軟體生態系統,或者推出高度複雜的編譯器;反之,Positron AI 認為積極參與由龍頭 NVIDIA 所主導的 CUDA 生態系,可能才是切入市場的正確解答。

Thomas Sohmers 說,由 Positron AI 所研發的硬體,例如 Atlas,從設計之初就專注於推理任務,並且可以直接相容在 NVIDIA 生態環境所訓練出的各種 AI 模型,這個策略也成功避免了企業客戶需要改變現有工作流程的麻煩,成為公司推廣產品的一大利器。

另一方面,Atlas 晶片並不需要昂貴的液態冷卻散熱方案,僅需當代伺服器機房常見的空氣冷卻系統即可運作,這不僅大幅降低了企業的導入成本,也讓 Atlas 成為某些公司,在導入 AI 推理加速硬體設備時的唯一選擇。

此外,Positron AI 認為地緣政治的適應力,以及產品供應鏈的穩定性,亦正在成為企業客戶的重要採購標準;Positron AI 所設計的第一代 AI 推理晶片於美國製造,主要交由 Intel 進行代工,而產品的最終組裝、整合,亦在美國本土進行。

為 AGI 準備的下一代平台:Titan

展望未來,Positron AI 正積極籌備於 2026 年推出下一代平台 Titan。

根據官方說法,Titan 將採用具備客製化設計的 Asimov 晶片,目標是將單晶片記憶體容量大幅提升,而每個 AI 推理加速器將具備高達 2TB 的高速記憶體,並支援 16 兆參數的 AI 模型。

Positron AI 表示,下一代產品支援更大量級的參數,對於驅動通用人工智慧(AGI)來說至關重要,同時 Titan 也將延續 Atlas 的獨特優勢,允許佈署企業在傳統資料中心內,以標準空氣冷卻方式進行散熱。

另外,Titan 所採用的 Asimov 晶片,其製造預計將會改由台積電美國亞利桑那廠進行代工,不過最終仍會視合作夥伴的晶圓產能而定,Positron AI 僅強調會盡可能將生產鏈留在美國

獲 Cloudflare 採用,瞄準多個領域

儘管公司成立至今不到 2 年,啟動資金也只有 1250 萬美元,但 Positron AI 所研發的 Atlas 晶片與解決方案,不僅已經成功投產,甚至還迎來了正式出貨。

目前,Atlas 已在網路科技、遊戲產業、內容審核、CDN 及 Token-as-a-Service 等,多個關鍵垂直領域獲得企業採用。包含 Cloudflare 在內的 AI 企業,幾乎都是被 Atlas 的強大能力所吸引,畢竟導入該解決方案並不需要專用冷卻設施,或者重新設計基礎建設架構,就能以較低的功耗提高資料吞吐量,實現企業環境中 AI 工作負載能力的大幅提升。

Positron AI 技術長 Thomas Sohmers 直言,雖然小模型的發展勢不可擋,甚至未來每個人的手機中,可能都會擁有一塊晶片,負責執行輕量化的 AI 模型,但大規模的模型仍需仰賴資料中心的基礎設施,替各種 AI 應用帶來更加深入的洞察。

以 AI 硬體產業的「二元性」向前邁進

Positron AI 執行長 Mitesh Agrawal 強調,一家 AI 硬體企業的核心價值,應該在於以經濟效益和卓越效能為基礎來銷售產品,而非捆綁 API 或商業模式來打造全新生態系。

Mitesh Agrawal 說,如果一家硬體企業無法說服客戶,根據產品的「成本價值」來選擇解決方案,那麼這家企業的未來肯定就無法取得獲利。此外,Mitesh Agrawal 也表明地端裝置上的輕量級 AI 應用程式,以及集中式基礎架構之中,超大規模的資料處理任務,這種 AI 產業發展的「二元性」,在未來將會持續出現成長。

日前 Positron AI 宣布,已完成 5160 萬美元的 A 輪融資,由 Valor Equity Partners、Atreides Management 和 DFJ Growth 等組織領投;公司也期盼,未來可以透過提供高相容性的 AI 推理晶片,繼續促進企業、雲端服務及學術研究領域的人工智慧,朝下一個階段繼續邁進。

*立即報名 8/15 【AI Agent 知識工作革命論壇】,解析企業如何在各工作場景導入 AI Agent 完成任務

【推薦閱讀】

◆ AI 晶片還能再便宜?NVIDIA 投資的新創 Enfabrica 推出自研晶片系統
◆ 地端 AI 與雲端 AI 的較量:製造業如何平衡 AI 即時預測與大規模學習?
◆ 英特爾為何大砍晶圓廠擴建計畫?陳立武:不再開空頭支票

*本文開放合作夥伴轉載,參考資料:《VentureBeat》《Tom’s Hardware》,首圖來源:Positron AI

(責任編輯:鄒家彥)