Search
Close this search box.

【打造邊緣 AI 生態系應用】高通以本地 AI 裝置解決方案與推論套組,驅動企業新一代數位轉型

根據 IDC 最新研究,全球企業正積極導入 AI 代理、資料應用、雲端和基礎設施的創新解決方案,並預測邊緣運算支出將從 2025 年的 2,610 億美元,成長至 2028 年的 3,800 億美元。因應此趨勢,如何透過更強大的邊緣運算能力與更多感測器的終端設備,完成複雜的本地分析、加速決策,並有效強化資安、降低成本,已是企業追求轉型發展不可忽視的關鍵。高通日前針對「引領 AI 新賽局:打造軟硬整合的企業 AI 核心引擎」進行分享,剖析最新 AI 市場發展趨勢,以及企業級邊緣 AI 運算軟硬整合的具體解決方案。

高通業務副總裁吳南億表示,高通提供整合運算、連接、邊緣 AI 等關鍵技術的解決方案,能有效助力企業在 AI 時代全面提升營運效能。

「高通提供的不只是一個 Solution 或一顆晶片,我們談的是完整的邊緣 AI 生態系」,高通業務副總裁吳南億致詞表示,從雲端、邊緣 AI(Edge AI)再到本地 AI(On-Prem AI),高通深度著墨各項技術,並且積極協助百工百業導入 AI 解決方案,與此同時,也持續思考如何滿足 to B 端及 to C 端的顧客需求。隨著更多企業加速推動轉型,需要透過裝置收集數據資料,接著在雲端訓練模型、將應用推入裝置,這些過程皆仰賴裝置端的 AI 解決方案。高通提供完整技術,橫跨運算、藍牙、嵌入式物聯網等關鍵領域,能有效助力企業全面提升營運效能。針對全球策略布局,高通更藉由收購 Foundries.io、Edge Impulse、Arduino 等公司來打造完整的開發者生態系,讓開發者與合作夥伴將 AI 模型部署到各種裝置中,將創意轉化為具體產品與服務。

企業如何重新定義自己的 AI 投資建設

KPMG 安侯建業數位長暨合夥人賴偉晏探討「重新定義你的 AI 投資建設」。

KPMG 安侯建業數位長暨合夥人賴偉晏在演講中指出,「90% 的企業 AI 投資皆為失敗收場,原因包括資金與人才不足,因此對於決策者而言,需要重新定義你的 AI 投資建設。」

賴偉晏引用 KPMG 調查,說明台灣多數企業投入 AI 的目的是降低人力成本與提升效率,不過他提醒,企業應重新定義降本增效的思考模式,將重心從單純的成本削減,轉向「商業模式的創新」,才能真正實現第二成長曲線。另一方面,當 AI 代理(AI Agent)漸趨專業化,甚至重塑商務模式,企業需要特別留意這項新技術可能涉及的安全與隱私問題,「例如在電商網站購物,透過 AI Agent 搜尋網路類似產品、分析各賣場價格,最後自動結帳購買,這段過程不僅需要進行 KYC 認證,只要牽涉支付系統也會產生安全相關疑慮。近期,Google 也推出最新的 Agent Payments Protocol(代理支付協議,AP2),為用戶、商家和支付服務提供者建立與支付無關的框架,並透過授權和可驗證憑證建立信任。」

而在全球推動 AI 的過程中,呈現攻守兩端截然不同的 AI 世界。賴偉晏表示在亞洲方面,對於 AI 的熱衷程度較高,歐洲和美國則是劃分為兩塊陣營,前者積極制定 EU AI Act 等法規,要求所有希望進入歐洲市場的科技產品和服務,都必須符合法規要求,體現賺取「防守財」的意涵,因為這將促使企業投入大量資源進行合規調整、法律諮詢、資安強化和取得認證;後者在策略上採取相對寬鬆的 AI 政策,目標賺取「進攻財」,如新創伺服器等 AI 應用。聚焦台灣,AI 合規框架逐漸成形,今年 9 月行政院更通過「人工智慧基本法」草案,目標建構 AI 發展與應用的良善環境,賴偉晏強調,「企業發展 AI 除了與各單位協同合作、確保合規,還須以系統性、結構化的角度審視自身戰略,才能在進攻端與防守端之間取得平衡。」

在本地運行 AI 推論,兼顧成本與資料安全

高通資深工程總監 Evgeni Gousev 表示,高通在邊緣 AI 領域廣泛且深入的產品組合「Qualcomm Dragonwing™ AI On-prem Appliance」,能確保企業從邊緣到雲端都具備 AI 靈活性。

「全球資料量爆炸性增長,推動 AI 運算從雲端推向邊緣,」高通資深工程總監 Evgeni Gousev 表示,全球有高達 75% 資料產生於邊緣端,企業若能有效利用這些資料,將創造更龐大商業價值、建構更強韌基礎。但是就高通的觀察,許多客戶在偏遠地區部署基礎建設,採用雲端時往往擔心連線異常、應用程式延遲、安全與隱私等問題,此外,連線到雲端並來回發送資料,需要耗費大量能源才能完成,這些挑戰讓企業產生「在邊緣完全部署 AI」的新需求。

面對當前產業現況,高通提供邊緣 AI 領域廣泛且深入的產品組合,確保企業從邊緣到雲端都具備 AI 靈活性。Evgeni Gousev 強調,企業透過本地 GenAI 部署(On-premise GenAI deployments)可以解決眾多挑戰,例如在成本效益的面向,企業可減少雲端運算和資料傳輸費用,降低總體擁有成本(TCO);在本地資料的面向,企業可將敏感資料保存於內部基礎設施,落實資訊安全;在實時洞察的面向,企業可在靠近資料產生的位置處理工作負載,以降低回應延遲;至於在客製化的面向,企業可以根據工作流程彈性部署,並與 ERP、CRM 等行業特定工具整合,「因此,高通推出本地 AI 裝置解決方案『Qualcomm Dragonwing™ AI On-prem Appliance』與 AI 推論套組『Qualcomm® AI Inference Suite』,結合雲端級推論性能與部署本地裝置的運算優勢,協助企業推動更廣泛的 AI 採用。」

Evgeni Gousev 以鼎捷數智為例,說明企業導入高通本地 AI 解決方案後,實現了低延遲 AI 推理和即時 ERP 回應,表現甚至優於內部 SLA 目標。日月光半導體也透過高通解決方案規模化邊緣 AI 部署,建立即時缺陷檢測,並且開發 GenAI 驅動的維護支援工具「aMA」。「企業結合 AI 本地裝置解決方案與 AI 推論套件,可運用自己專有的資料、微調模型和技術基礎設施,將生成式 AI 應用於各個工作流程,在零售、製造、物流運輸、教育培訓、醫療保健等領域,全面加速自動化轉型,」 Evgeni Gousev 解析。

行動貝果攜手高通推進 AI 應用落地

行動貝果共同創辦人暨營運長王易如分享 On-Prem AI 部署使用案例。

作為高通的策略夥伴之一,行動貝果(MoBagel)共同創辦人暨營運長王易如指出,「我們正在建立財務報告、供應鏈、行銷自動化等代理應用程式。」

王易如分享,行動貝果致力協助企業克服低效且不一致的資料決策和業務流程,透過開發企業級生成式 AI 開發平台「C-Suites AI Agent Builder」,讓使用者無需寫程式即可打造內部專屬 AI Agent,自動生成報告、洞察與策略。多年來,行動貝果持續攜手合作夥伴拓展 AI 應用範疇,例如與富士通合作,透過機器學習模型微調(fine-tuning),將成本降低 61 倍;也與勤業眾信合作,分析大量財務報告、審計報告、債務預測,「今年,我們更成為高通的策略夥伴,透過結合高通 Edge AI 技術,將為企業提供自建私有化的 Agentic AI 平台,協助客戶藉由更高效、低功耗、可擴充且可信賴的企業級 AI 決策解決方案,全面提升營運效率與競爭優勢。」

王易如表示,高通在硬體上提供強大支援,例如「AI On-prem Appliance」解決方案具備高吞吐量的多代理架構(Multi-Agent)、最佳化推論(Optimized Inference)功能,也支持企業級精準分析,能實現高精準度的業務洞察及可靠的自動化應用,讓行動貝果以更低成本,最大化服務性能與生產力。目前,行動貝果協助電信公司運用 AI,提升客戶留存度達 10%;協助醫療器材品牌 BD 透過 AI 預測分析未來貨櫃數量需求,確保疫苗、醫療器材等數萬種用品能即時送達全球,「我們還幫助全球最大的運動賽事票務平台、全球最多店家的保健品零售業者以 AI 賦能更多商業價值,並且能夠應對日益複雜的市場挑戰!」

連結雲端與地端運算的混合式 AI 架構,是 AI 應用發展的必然趨勢。高通憑藉領先的邊緣 AI、高效能、低功耗運算技術、和尖端的連接技術,將持續為各產業決策者提供驅動高效決策與業務成長的具體模式,協助企業實現新一代數位轉型。