Search
Close this search box.

AI Agent 加速實現 AI 價值,Dell Technologies 從「算網存管」助力金融業 AI 應用落地

「找一個名字叫 AI 的員工進來,卻不曉得要它做什麼,我們應該先搞清楚 AI 要做什麼,才會知道 GPU 怎麼買、資料怎麼接。」Dell Technologies 資深 AI 業務拓展協理葉恩任在科技風暴金融高峰論壇上,透過真實現況的比喻,點出阻礙金融業成功應用 AI 有四大挑戰。

首先是「有算力、沒題目」的資源錯置,許多企業雖投入巨額預算建置 GPU 伺服器,卻因缺乏明確的應用藍圖,導致硬體淪為閒置窘境。

其次是「有題目、沒人才」的技術斷層,即便企業確立了發展方向,卻缺乏兼具產業 Know-how 與 AI 開發能力的人才,面臨「懂 Know-how 的人不會寫 Code,會寫 Code 的人不懂產線」的尷尬處境。

第三,金融業最敏感的資安合規也構成巨大阻礙,形成「想做、不能上雲」的困局,由於敏感數據嚴禁離開內網,企業無法利用公有雲資源,導致許多專案因合規風險而被迫停擺。

最後痛點則是「做出來、無人用」的落地失敗,開發出的工具精準度不足或介面難以操作,員工寧可回歸「Ctrl+F」的傳統作業模式,導致 AI 投資無法轉化為實際生產力。

葉恩任從企業導入 AI 的痛點切角,揭示阻礙企業成功導入 AI 的四大「負循環」。

Dell AI Factory 「算網存管」整合架構,重塑金融業基礎設施

為協助金融業解決四大挑戰,Dell 提出一套整合「算力、網路、儲存、管理」的 Dell AI Factory 架構,協助金融業在資安合規的基礎下,從底層基礎設施到上層應用落地,賦予 AI 自我糾正與多步驟推理的能力。

在底層基礎設施層面,Dell AI Factory 採用高效能 GPU 伺服器計算「網路」,提供強大「算力」來支撐模型的訓練與微調,「儲存」系統引入 PowerScale 技術,支撐從 TB 到 PB 級的海量數據,並透過提升中繼資料的並行讀取效率,解決 AI 資料高速讀取的能力。針對資源閒置問題,Dell AI Factory 的「資源管理」技術可依據資料預處理、訓練到部署等不同階段的需求,動態執行 GPU 資源的集合與切割,確保運算資源在各項重要任務中被優化利用 。

而 Dell AI Factory 助金融業實現 AI 商業價值的關鍵,在於結合了 Agentic RAG 技術。Agentic RAG 架構具有「多步驟推理」與「自我糾正」的高階能力,透過大語言模型實現「AI 監督 AI」的智能化品質管控,系統能自主執行幻覺檢查與答案校對,判斷是否需要拆解問題或調用外部資源,同時能將自然語言轉化為 SQL 查詢,精準串聯企業內部的結構化數據。

葉恩任將 AI 回答問題的過程比喻為一場考試,而 RAG 就像是「Open Book 考試」,當 AI 遇到不認識的專業術語或內部知識時,不會隨意給出錯誤的答案,而是去抄目錄(搜尋)看起來最像的內容,讓準確率達到 80% 左右的水準。

葉恩任提醒:「若要跨越 80% 以上的效能天花板,企業仍需針對內部的專業術語對模型進行深度微調。」

「透過這些代理機制,Agentic RAG 能將資料準確率從 50% 提升至 80%,但若要跨越 80% 以上的效能天花板,企業仍需針對內部的專業術語對模型進行深度微調。」葉恩任也提醒,涉及核心知識的模型調校必須在「本地端資料庫」執行,唯有確保數據不離境,企業才能在確保資安主權的情況下,仍能掌握核心大腦的自主調整權 。

Dell 為金融業打造 AI 應用藍圖與全方位顧問機制

針對金融業的未來 AI 應用,Dell Technologies 提出一份 AI 應用藍圖, 從「AI Ready」、「AI 評估」到「AI 落地實踐」的 End-to-End AI Solutions 全方位顧問機制。

這份金融業 AI 應用藍圖將場景精準聚焦於三大核心維度:在「風控與分類分析」方面,系統利用 AI 強大的分類能力,執行異常交易偵測、負面新聞判斷及輿情分析;針對「行內流程優化」,則透過 AI 自動執行會議記錄摘要、法規搜尋總結及財報辨識,大幅降低行政負擔;在「行銷與外部服務」端,透過開發智能外撥、智能客服及產品資訊搜尋引擎,優化客戶體驗。

葉恩任表示「AI 如果是火箭,資料就是燃料,燃料純度越高,AI 的精準度就越高」,因此穩健的底層基礎設施就顯得尤為重要。透過 Dell AI Factory 與 Agentic RAG 技術軟硬整合策略下,Dell Technologies 協助金融機構將抽象的轉型目標,拆解為可執行的 End-to-End 路徑,讓 AI 投資轉化為推動營運的實質競爭力,真正實現 AI 應用落地的目標。