NVIDIA 在 AI 晶片市場佔據霸主地位，似乎讓新創等競爭對手要開發與之抗衡的產品變得更加困難。《Reuters》報導，這也讓 AI 晶片新創被視為比較有風險的投資目標，連帶面臨籌資困境。不過，最近 AI 晶片新創 d-Matrix 卻募到了 1.1 億美元的 B 輪投資。
d-Matrix 的投資者包含微軟、新加坡風險投資淡馬錫、加州風險投資 Playground Global，以及 Ericsson、Marvell、SK 海力士、三星等。
這筆資金，將讓 d-Matrix 把世界上第一個基於小晶片的數位記憶體計算推理平台「Corsair」商業化。微軟也承諾在該晶片推出時進行採用評估，可見 d-Matrix 瞄準的商機、前景備受看好。
d-Matrix 有何潛力？3 大特色反映市場商機
專注於 AI 推理階段，與 NVIDIA 定位差異化
值得注意的是，d-Matrix 與 NVIDIA 的定位不同，針對的是 AI 晶片的「推理（inference）」階段，而不是開發大型 AI 模型的「訓練（training）」技術來與 NVIDIA 直接競爭，找到不同的市場利基點。「訓練」是以巨量數據訓練 AI 神經網路，「推理」則是訓練後的下個階段，是神經網路要去執行的功能。
創造高 CP 值 AI 晶片，運作更有效率、成本降低
第二，d-Matrix 似乎為市場帶來更高 CP 值的 AI 晶片選項。d-Matrix CEO 謝思（Sid Sheth）表示，現在 AI 運算的發展軌跡無法長久，因為運行 AI 總體擁有成本（CTO）正在迅速上升，因此團隊致力於改變部署 AI 推理的成本經濟。
根據《Reuters》，d-Matrix 設計的晶片經過優化，可以支援 ChatGPT 等生成式 AI 應用。特別的是，其晶片具有數位「記憶體計算（in-memory compute）」功能，可以讓 AI 電腦程式能夠更有效的運作，並且能用更少的能源來處理生成式 AI 回應所需要的數據和優化。
d-Matrix 宣稱，它們可以將總體擁有成本降低 10 倍，並且在效能和延遲上具有 20 倍的優勢。
適合運行較小規模的 AI 模型，降低企業採用門檻
第三，《Forbes》分析目前生成式 AI 模型依賴的晶片解決方案，指出 d-Matrix 將專注適合運行較小 AI 模型的解決方案，而這些較小的 AI 模型因為成本較低，是推動企業採用生成式 AI 的重要驅動力。報導指出，未來大多數企業都可能打造自己的生成式 AI 模型，但是很少需要用到擁有上兆參數的巨大模型，d-Matrix 便成為企業和雲端尋求較低成本的重要選項。
訂閱《AI TOgether》趨勢週報！
每週幫你精選 AI 主題報導
感謝訂閱！隨時注意信箱的最新資訊
成本效益成微軟認可最大原因
投資 d-Matrix 的微軟風險基金 M12 表示，AI 大型語言模型（LLM）推理的總體擁有成本，已經成為各家企業評估採用 AI 的程度、地點、時間的關鍵因素。
外媒分析，由於微軟目前的 LLM 的推理由 8 至 16 個昂貴的 GPU 運行，如果微軟在 d-Matrix 的佈局成功，將會為微軟帶來巨大的勝利。微軟也已承諾在 d-Matrix 明年推出新晶片時進行評估。
透過 d-Matrix 的案例可見，企業也在尋找更多元的生成式 AI 解決方案。《Reuters》也指出，NVIDIA 尚未觸及相關領域的每一個角落，或許還有許多商機仍等待被挖掘。
＊ 本文開放合作夥伴轉載，資料來源：《Reuters》1、《Reuters》2、《Forbes》、NVIDIA。首圖來源：取自 d-Matrix。
