從 Google、微軟到亞馬遜，科技巨頭紛紛投入自研 AI 晶片，試圖提供 NVIDIA GPU 以外的算力選擇。然而，NVIDIA 的競爭優勢不只有硬體效能，還包括難以複製的 CUDA 軟體生態系。開發者長期累積的程式碼、運算工具與最佳化技術，讓企業即使想改用其他晶片，也面臨不小的轉換成本。如今，亞馬遜宣稱推出「無須重寫程式碼」的新工具，準備從軟體切入，挑戰這道護城河。
亞馬遜旗下雲端服務事業 AWS 在美國時間 10/19 宣布，將開發工具 TorchNeuron 從私人測試擴大至公開測試，讓開發者只需調整少量設定，就能在自家 Trainium 晶片上執行既有 PyTorch 模型。PyTorch 是廣泛用於 AI 模型開發的開源框架，長期獲 Meta 支持。《TechCrunch》將這項進展形容為亞馬遜迄今對 NVIDIA 最大的一次挑戰。
從 PyTorch 下手，亞馬遜如何降低 Trainium 採用門檻？
TorchNeuron 並非亞馬遜首次讓 Trainium 支援 PyTorch。過去 AWS 已透過 Neuron SDK、PyTorch/XLA 提供相關功能，但開發者仍須配合不同的編譯與執行方式。根據《Startup Fortune》報導，過去的 XLA 整合方式，必須先將運算轉換成計算圖再執行，增加程式偵錯難度，也影響部分既有 PyTorch 工具的相容性。
TorchNeuron 的主要改變，在於提供 PyTorch 原生硬體後端，讓開發者能沿用更熟悉的工作流程。新工具支援即時執行模式（eager mode），可逐步執行程式、檢查運算結果，也支援 torch.compile 編譯及 FSDP 等分散式訓練功能。
根據亞馬遜官方說明，在相容的工作負載中，開發者只需將原本指定 NVIDIA GPU 的 .to(‘cuda’) 改為 .to(‘neuron’)，就能讓既有 PyTorch 程式轉向 Trainium，而不必重新設計模型。AI 開發平台 Hugging Face 也已在 Transformers、Diffusers 等常用工具中加入原生支援。
TorchNeuron 支援 Trainium2、Trainium3，並預定於 10/20 以 Apache 2.0 授權開放原始碼。AWS 旗下晶片研發部門 Annapurna Labs 軟體副總裁 Colin Brace 接受《Reuters》訪問時表示，TorchNeuron 旨在減少開發者嘗試亞馬遜自研晶片所需的步驟，並強調產品設計要配合客戶既有的工作方式，而不是要求開發者重新適應工具。
不只支援 Trainium，亞馬遜還要削弱 CUDA 軟體綁定優勢
亞馬遜的策略不只限於讓自家晶片更容易使用。根據 AWS 官方公告，該公司正向 PyTorch 上游專案貢獻程式碼，與開源社群合作減少框架中綁定特定晶片的設計，目標是讓 PyTorch 更容易支援不同硬體，而不只是 Trainium。
這項策略瞄準 NVIDIA 長年累積的軟體優勢。CUDA 不只有 GPU 運算介面，還包括神經網路運算函式庫 cuDNN、多 GPU 通訊函式庫 NCCL 等成熟工具，以及大量針對 NVIDIA GPU 最佳化的程式碼。當 PyTorch 更容易支援不同加速器，企業便有更多空間比較算力效能、成本及供應選擇，而不必完全受限於既有開發環境。
目前已有初步採用者。Colin Brace 向《Reuters》透露，超過 30 家早期客戶正在使用 TorchNeuron，涵蓋機器人、世界模型與語音 AI 等領域。
不過，降低程式移植門檻，不代表企業就能省去效能最佳化成本。根據 AWS 公布的技術案例，語音 AI 公司 Deepgram 與 AWS 合作，將 Nova-3 語音辨識模型部署至 Trainium2，在特定離線批次推論工作負載中，每美元可處理的音訊量增加 11%～70%。但雙方工程團隊仍花費數個月移植模型、調整運算核心與執行環境，才達到所需的效能表現。
另一方面，亞馬遜已與 Anthropic、OpenAI 等大型 AI 公司建立算力合作關係，顯示 Trainium 正獲得重要客戶支持。但《Startup Fortune》分析，這些公司原本就與亞馬遜有密切的投資及基礎設施合作關係，因此更值得觀察的是，沒有類似合作背景的中型 AI 企業，是否也願意因為 TorchNeuron 降低了移植成本，而將實際訓練工作負載轉往 Trainium。
畢竟，PyTorch 原本就能支援不同硬體，部分 CUDA 專用程式也未必能直接移植。TorchNeuron 雖然讓企業更容易開始嘗試非 NVIDIA 晶片，但能否真正削弱 CUDA 的軟體護城河，仍要看它能否從大型合作夥伴，進一步吸引更廣泛的企業採用。
【推薦閱讀】
◆ AI 雲端市場醞釀洗牌，NVIDIA 除了 GPU 訂單，還有哪些風險？
＊本文開放合作夥伴轉載，資料來源：Amazon、《TechCrunch》、《GeekWire》、《Startup Fortune》、《Reuters》、PyTorch、Hugging Face，首圖來源：Amazon
