隨著全球金融產業不斷加快 AI 應用腳步，台灣如何借鏡全球經驗，創新發展金融科技的應用場景與擴大商業版圖？科技報橘今年首度舉辦「AI 科技金融高峰會」，特別邀請 NVIDIA 資深解決方案架構協理康勝閔出席演講。康勝閔指出，現在 AI 已能理解文字、影像和影片內容，並可進而打造 AI 應用軟體自動化有效提升企業競爭力，「現在我們陸續收集各專業領域的資料，再搭配最新的生成式 AI 演算法，我們確實擁有很好的機會可以創造出一個具備理解專業知識的模型，這就是生成式 AI 想要做到的事情，」康勝閔說明，生成式 AI 在客戶服務、程式碼撰寫等應用已經帶來具體效益，例如客服人員在生成式 AI 的幫助下不僅能更有效率的回答客戶問題，還可以在服務過程了解顧客，依照顧客需求提供適當商品建議；軟體開發工程師則可以透過生成式 AI 獲得程式碼樣本，更有效率的完成軟體開發與上線。
「AI 挺好玩的，在瞭解它的原理之後，進一步要思考的是企業內部流程可以怎樣善用生成式 AI 的優點來改善效率，企業內專業的員工往往最清楚內部流程長什麼樣子、了解哪邊環節太過冗長沒有效率，因此可以透過生成式 AI 來幫助我們改善，因為所有的流程都伴隨著文字資訊產生，具備了解語意的生成式 AI 模型，在精準度具備可信賴性之後，可以創造 AI 自動化應用軟體，幫助我們提升效率，」康勝閔再舉例，金融產業有大量的表單，其中都包含大量的文字與影像，現在隨著各式 AI 模型的幫助，可以透過 AI OCR、生成式 AI 等工具串接為一個工作流程（workflow）的 AI 應用，就可以透過 AI 自動化分析文本或圖像，將文件處理自動化，大幅提升工作效率。同時金融產業也有大量的法規與商品資訊，試想當企業擁有內部服務的生成式 AI 工具，員工查詢相關法規與商品資訊，將更有效率的執行每天的工作，每一工作互動都更有效率與工作準確。金融財富管理的工作分析財報與趨勢報告等資料，過往必須仰賴專家親自爬梳內容與分析，應用生成式 AI 的幫助，更有效率的解析相關資訊，幫助專家可以縮短時間依據 AI 解析內容進行分析，每一作業都在展現效率的提升。另一方面，生成式 AI 也可以依據專家的經驗，創造協助金融產業透過 AI 模型監控異常交易並進行犯罪偵防，以保障金融交易安全，創造金融產業更佳的收益與效率。
康勝閔表示，「NVIDIA 瞭解 AI 運算怎麼做，知道如何訓練生成式 AI 模型，也具有算力，於是我們就邀請有志一同的企業收集台灣不同領域且具代表性的資料，然後以 Llama 3 模型為基底，並在 NVIDIA NeMo™ Framework 平台上訓練，打造出擅長台灣用字遣詞、中文說得非常出色的 Llama-3-Taiwan- 70B 語言模型，並將模型 Open 分享給台灣各界使用，」康勝閔強調，既然 Llama-3-Taiwan- 70B 的中、英文能力皆相當突出，就應該將模型推廣至更多台灣企業，開啟新的應用場景。「當我們有一個擅長台灣在地語言的繁體中文語言模型時，我們可以做什麼事？」康勝閔分析，藉由 Llama-3-Taiwan- 70B 模型，企業可以運用少量運算資源進行預訓練、微調和擷取增強生成，讓模型可以持續擴增知識量，並讓回答更符合企業的期望。
「金融產業與 AI 的結合在國外已經動起來，現在台灣也感受到這股趨勢，所以即將動起來了！」康勝閔提醒， AI 從來沒有停下來過，企業並非擁有 Llama-3-Taiwan- 70B 模型就是萬能，而是可以在模型的基礎上，持續將模型訓練成更符合企業運作場景的樣貌，進一步創造更多應用新可能。
