英國 AI 晶片新創 Fractile 的第一批晶片預計要到 2027 年才會問世，卻已傳出 Anthropic 已先簽下約 2.5 億美元的採購協議。據《Bloomberg》報導，這家 2022 年才成立的公司，正以 65 億美元的投前估值洽談新一輪募資，預計進帳約 6 億美元，較三個月前的約 10 億美元估值大幅跳升逾 6 倍。晶片都還沒交貨，資本與大客戶為何搶著上車？
不押訓練、也不靠 HBM：賭「又快又便宜」的推論
Fractile 由牛津大學機器人研究學者 Walter Goodwin 於 2022 年創辦，鎖定推論市場，也就是 AI 模型回應使用者查詢的運算過程，而非投入模型訓練。Goodwin 向《華爾街日報》表示，前沿 AI 模型當前最關鍵的瓶頸，是產生有用回應所需的時間；隨著模型越來越大、越來越複雜，完成一項任務動輒需要數千萬的 tokens，而資料在處理器與記憶體之間的移動速度，決定了查詢的延遲。
Fractile 對這個瓶頸的解法，是打造了一款邏輯晶片，並在伺服器機櫃內設計一套連接記憶體的架構，要在不犧牲速度的前提下拉高頻寬；同時捨棄主流的 HBM 高頻寬記憶體，也不依賴晶片內的 SRAM。另外值得關注的是，它們把記憶體與運算單元在實體上交錯排列。Fractile 說明，前沿模型推論同時需要低延遲與高吞吐量，而現有硬體難以兼顧，交錯設計正是為了同時滿足這兩項需求。
至於能跑多快，Fractile 給的數字相當高調。官方主張最先進模型的執行速度可提升至多 25 倍，成本降至十分之一，並宣稱能對數千名同時上線的使用者各自每秒輸出數千的 token。Goodwin 把自家產品定位為「又快又便宜」。
推論晶片資金與訂單正在集中，新戰場圍繞 token 成本
Fractile 的崛起不是單一案例，同樣鎖定推論市場的新創，近期接連拿到巨額資金和訂單。根據《Reuters》報導，主打讓模型跑得更快更便宜、專為 transformer 架構設計晶片的 Etched，8 月估值在不到一個月內翻倍至 210 億美元，最新一輪募得 7 億美元，由 Jane Street 領投，Kleiner Perkins、Sequoia、Andreessen Horowitz 等跟進；該公司稱已拿下超過 10 億美元的客戶合約。
以「餐盤大小」晶片著稱，同樣主攻推論的 Cerebras，則已在 5 月中掛牌。它的晶片大到足以把資料留在單一晶片內，免去在多顆晶片之間搬移資料的耗能與延遲。根據《CNBC》報導，Cerebras 登上 Nasdaq，單次募得 55.5 億美元，是自 2019 年 Uber 上市以來美國科技業規模最大的 IPO，估值更來到 950 億美元。
推論這塊市場的入局者，不只 Fractile 這類新創。據《華爾街日報》報導，Majestic Labs 等業者選擇從伺服器記憶體切入，主打足以承載訓練參數上看 10 兆的大模型；NVIDIA、AWS、Google Cloud 等大廠則陸續推出推論專用處理器，各自從不同角度卡位同一塊市場。
領投 Etched 的 Kleiner Perkins 管理合夥人 Mamoon Hamid 向《Reuters》表示，推論正成為 AI 最重要的基礎設施市場之一，而贏家將以「每一美元、每一瓦能跑多少 token」來衡量。
只是，估值狂飆與晶片能否成為好生意，是兩回事。Cerity Partners 合夥人 Michael Ashley Schulman 向《Reuters》指出，半導體的歷史上，不乏技術亮眼卻始終沒能長成好公司的晶片，市場此刻仍在摸索這塊機會究竟有多大。對 Fractile 而言，2.5 億美元訂單與 65 億美元估值已經標定了資本的期待，但真正要兌現這份期待的晶片，還要等到 2027 年才會交到客戶手上。
科技的變化總是快得驚人，而我們每天的工作，就是從龐雜的趨勢中理出觀點、提煉出決策者真正需要的洞察。如果你也對 AI 發展充滿熱情，《TechOrange 科技報橘》正在徵內容編輯！
👉立即投遞履歷
【推薦閱讀】
◆ Marvell 願拿股權換 Google 大單，Broadcom 為何可能不跟進？AI 客製晶片競爭規則正在改寫
＊本文開放合作夥伴轉載，資料來源：《Bloomberg》、《The Wall Street Journal》、《Reuters》1、《Reuters》2、Fractile、《CNBC》、《Tom’s Hardware》，首圖來源：擷取自 Fractile
