生成式 AI 浪潮下，企業的 AI 應用逐漸從試驗階段，走向整個企業範圍的大規模部署，對於 AI 基礎設施的投資也將大幅增加。根據調研機構 IDC 調查，2024 年全球企業 AI 基礎設施的支出年增率達 37%，預計到 2028 年將達到每年 1,000 億美元規模。
然而，顧問公司 ISG 研究指出，過去雖然企業積極試驗 AI，但真正大規模部署的案例極少，主要原因是現有基礎設施無法經濟、安全且高效地擴展。因此，如何在 AI 硬體上有效投資將成為企業最關注的議題之一。
《VentureBeat》根據十多位科技長、整合商與顧問專家意見，提出企業有效部署 AI 基礎設施的關鍵策略，本文整理出 5 大重點：
1. 從雲端方案開始，使用「AI 基礎設施即服務」
《VentureBeat》根據多位專家建議指出，企業在使用大語言模型（LLM）或擴展 AI 應用時，最具經濟效益且靈活的做法之一是使用雲端服務。因為最新的 AI 硬體通常昂貴且為大型資料中心設計，Microsoft、AWS、Meta、Google 等超大規模業者（hyperscalers），以及 Oracle、IBM、OpenAI 等 AI 巨頭往往擁有最新的產品。
這種使用「AI 基礎設施即服務（AI Infrastructure as a Service）」的作法，好處包含快速部署、高擴展性、降低人力管理壓力，以及可依實際需求彈性付費的優點。
不過，這些服務仍處於持續演進階段，接受《VentureBeat》採訪的分析師指出，到 2025 年，將會有更多基於強大 AI 專用硬體的新型雲端服務出現，包括涵蓋完整端到端（end-to-end）的解決方案，以及針對特定產業量身打造的選項。
2. 資金雄厚的企業，可考慮自建 AI 基礎設施
《VentureBeat》指出，金融、製藥、醫療與汽車等資金充裕且受到嚴格監管的產業，可能適合自行投資 AI 基礎設施，打造專屬的 AI 應用平台，為什麼呢？
資本充裕能夠承擔自建 AI 基礎設施所需的龐大初期資本支出（CAPEX）。選擇這麼做的企業，大多都是為了打造具有高投資報酬率的私有應用程式──針對特定工作獲得更佳效能、避免 AI 模型出現偏差（model drift）、提高資料安全性與控制能力，以及達到更佳的成本管理效果。
根據雲端平台 BuildOps 預估，若能在 3 年內降低營運成本 20% 至 30%，自行建置 AI 硬體仍可能具備成本效益。
儘管自行建置 AI 基礎設施的難度較高，《VentureBeat》預估這種模式會越來越受歡迎，因為硬體廠商正推出越來越多可以客製化的 AI 專用設備，讓有經驗且技術成熟的企業更容易在自己的私有雲或內部環境中建置專屬且效能最佳化的 AI 系統。
對大部分企業來說，務實的短期策略可能是採取類似現有雲端運用的方式，也就是採用開放且靈活的「混合式架構」（hybrid），同時結合私有雲、公有雲、本地端（on-premise）與邊緣（edge）部署方式，以滿足不同任務的實際需求。
3. 研究適合企業的「AI 友善」設備
並非每家企業都有能力負擔高階 AI 設備，但針對企業需求、價格更加實惠的新型 AI 硬體已經開始出現。
舉例來說，市面上已有將 AI 加速器、高效能伺服器、儲存、網路和開源軟體整合在一起的方案；AI PC 製造商也不斷推出可用於分散、移動、邊緣處理的新款機型──Gartner 預測，到 2026 年所有企業級個人電腦都將具備 AI 就緒能力。
4. 加大基礎設施投資，並回歸基本面思考
儘管 AI 技術不斷推陳出新，但企業選購 AI 硬體的基本原則仍未改變。ISG 顧問 Nawathe 指出，企業決策仍應回歸基本面全盤思考：包括業務需求、成本、操作性、技術支援和整體效能，以及同類最佳產品等。
企業除了應冷靜重新檢視目標、預算、投資回報率、法規要求及與現有技術的相容性之外，也需留意 AI 硬體的能源成本與環境永續議題，避免忽略營運及散熱等成本考量。
Chang Robotics 創辦人 Matthew Chang 表示，如果企業目前主要使用 Copilot 或 OpenAI 等現成的生產力工具，就無須特別添購新設備。他根據對自家客戶的觀察指出：「這些企業對運算資源需求不高，就沒必要花數百萬美元自建設備，因為每月只需付 200 美元，就能取得 ChatGPT Pro 等市場上最頂級的服務。」
IDC 建議企業依照需求高低排序：若要建置高度客製化的模型，硬體需求最高；若只是直接套用現有模型或服務，硬體需求則最低，企業應依此標準務實判斷自身的 AI 基礎設施需求。
5. AI 硬體推陳出新，如何保持靈活和開放？
由於技術與應用快速演變，企業應避免被單一供應商技術綁定。Gartner 預測，2025 年 AI 專用晶片市場將成長 33%，達到 920 億美元；同時 GPU 雲端服務也將持續擴大，S&P 與 Weka 的調查發現，已有超過 3 成企業因 GPU 供應不足，轉而使用替代服務商；此外，AI 正逐步從大型資料中心轉向手機、電腦等邊緣設備，將帶動專用邊緣晶片發展。
資料產品平台 The Modern Data Company 執行長 Srujan Akula 建議部署 AI 基礎設施時，採用開放標準、將資料與運算能力分離，這麼做可以讓企業在新模型和新技術出現時迅速採用，避免因架構僵化而失去競爭力。
【推薦閱讀】
◆ Gemini 2.5 Pro 為企業解決「AI 黑盒子」問題，4 大特色挑戰 OpenAI、Claude
＊本文部分初稿由 AI 生成，經《TechOrange》編撰，資料來源：《VentureBeat》、IBM，首圖來源：Ideogram 生成。
