還記得月初討論過科技巨頭的衛生紙之亂嗎？《華爾街日報》近期以疫情期間，民眾瘋搶衛生紙的窘況形容如今 GPU 短缺的恐慌潮；由於生成式 AI 市場爆發，許多科技大廠竭盡所能調度可用的 GPU，為自家備戰更多運算量能。
GPU 年底前都缺貨！最快要等 6 個月
而情況可能比過去還糟，當 2021 年加密貨幣風潮席捲市場，有玩家即便花費建議售價的兩倍也難買到 NVIDIA 適於挖礦、發展加密貨幣應用的 RTX 3090 GPU。當時缺貨潮直到去年中才退燒，如今捲土重來
——最新消息是：有伺服器製造商與客戶表示，他們需要等待 6 個月以上才能獲得所需的 GPU， 而 NVIDIA 的最新款、適合 AI 應用的 H100 GPU 應該到今年底前，庫存水位都會處於短缺狀態。
微軟、Google 為籌措足夠 GPU 也自顧不暇
據《Information》報導，微軟同樣受 GPU 短缺所苦，他們過去幾個月在公司內限制部分開發團隊存取、使用 GPU，好讓旗下推出的新版 Bing 搜尋引擎、新版 Office 系列產品有足夠 GPU 能運行；尤其前者是基於最新版本的 ChatGPT 來運行，過去幾個月 ChatGPT 也因運算量能不足，導致回應速度、品質不甚理想，遭人詬病。
不只微軟頭痛，《Forbes》也提出估算，如果 Google 搜尋引擎想在現有的搜尋量中，導入與 ChatGPT 類似的語言模型，至少需要 50 萬個 A100 HGX 伺服器以及 400 多萬個 A100 GPU 來支援搜尋服務。Google 如何在一片 GPU 荒中，籌措到大量運算資源，也是一大考驗。
訂閱《AI TOgether》趨勢週報
每週幫你精選 AI 主題報導
感謝訂閱！隨時注意信箱的最新資訊
新創更買不到！美國銀行：GPU 短缺壟釀 AI 市場壟斷
但撇除科技巨頭，小型新創在這場運算資源爭奪戰的處境更險峻。
相較大型科技公司，這些小公司能搶得 GPU 資源的籌碼，相對更稀少，而在未來的 AI 賽局中，沒辦法利用自家數據訓練出獨到模型的公司，可能只能淪為別人平台的附屬品。
當 GPU 都被財力雄厚的科技公司壟斷時，美國銀行認為：這其實與 NVIDIA 原本主張的AI普及化（democratizing opportunity）背道而馳。
知名天使投資人自建 GPU 雲端，專門提供生成式 AI 新創使用
也許是看見市場需要，GitHub 前執行長 Nat Friedman，以及曾支持 Uber 等多家新創的矽谷著名天使投資人 Daniel Gross， 近期籌組了一個由 2000 多個 NVIDIA 頂級 H100 GPU 組成的 AI 雲端服務系統，該系統名為 Andromeda Cluster。
該系統專為新創企業服務，其運算量能在大約 10 天內訓練出一個 650 億參數的 AI 模型，雖然這不算最大的模型（ChatGPT 先前的舊版本 GPT-3 就需要大約 1750 億個參數），但也算是堪用的大小。
今年4月時，Nat Friedman 與 Daniel Gross 也曾替一間專注於 GPU 的 AI 雲服務新創CoreWeave，主導 B 輪融資，成功募得2.21億美元。該公司提供由 NVIDIA 一系列 GPU 所構建的基礎設施，包含 H100、A100、A40 和 RTX 系列等，成功替多間AI新創 例如 Stability AI、Tarteel AI 完成機器學習、模型訓練、影片渲染等運算服務。
獨角獸 AI 新創 Anthropic 創辦人 Jack Clark 推文大讚：「這兩位創投家在支持新創上，做的已經比大多數政府還多。」
＊本文開放夥伴轉載，參考資料：《商業內幕》、《商業內幕2》、《Forbes》、《TechCrunch》、《wccftech》，首圖來源：Unspalsh
（責任編輯：鄒家彥）
