只要是曾經接觸過 AI 技術的使用者，應該都明白人工智慧有時會「一本正經胡說八道」，產生各種牛頭不對馬嘴的虛假回應，這就是當前 AI 技術最大的問題點：幻覺（Hallucination）。
為了有效降低 AI 模型的幻覺問題，許多廠商都曾提出不同的解決方法，人工智慧新創團隊 Vectara 也是其中之一。Vectara 是檢索增強生成（RAG）技術的早期投入者，該公司希望藉由 RAG 額外獲取資訊的工作原理，幫助 AI 模型減少幻覺。
然而，即便用上了 RAG 技術，各種 AI 幻覺依然會隨機發生，因此在現有的業界解決方案中，大多數手段其實都更偏向透過單一 AI 模型，主動偵測幻覺的發生，並且將提前設定好「護欄」卡在前方，於錯誤結果輸出時加以阻擋。
為了更有效率、更精確的解決 AI 幻覺問題，近來 Vectara 決定推出一套完全不同的解決方案，並且名為「Vectara 幻覺矯正器」（Vectara’s Hallucination Corrector），或者簡稱為 VHC。
一套解決幻覺問題的 AI 代理守護者
VHC 透過 AI 代理技術打造，能夠自動識別、解釋與糾正 AI 模型所產生的幻覺，使大型語言模型（LLM）生成的最終結果變得更加精確。
Vectara 表示，跟過去直接在 LLM 中設定規則護欄不同，VHC 選擇在 AI 的工作流程中，以類似「AI 代理守護者」的角度，監控 LLM 的幻覺生成，並且於適當時機主動出手，採取對應的防護和修正措施。
此外 VHC 的另一項關鍵特色，在於它並不會對 LLM 的生成結果過度干預，例如直接阻擋錯誤的文本內容輸出，只會採取進行表面性的細部修正，並且為做出修正的原因、內容提供詳細說明。
根據 Vectara 所提供的資料，以 AI 代理守護者身分運作的 VHC，可以有效將 70 億個參數以下的小型語言模型幻覺率，大幅降低到僅僅 1% 以下。
借助多階段動作，對 AI 應用實施動態保護
Vectara 產品長 Eva Nahari 向媒體指出，隨著企業大量運用 AI 代理工具，幻覺所造成的負面影響，將會在各種地方遭到放大，畢竟當 AI 隨時可以不經意犯錯，企業總是會因此感到害怕。
傳統幻覺防禦機制通常只會識別 AI 是否產生幻覺，接著標記並拒絕文本輸出；而 VHC 不同，它本質上是一款 AI 代理，所以它會於 LLM 出現幻覺時，主動採取相關行動，即透過多階段的行為和動作，精準改善 LLM 的錯誤輸出，並非只仰賴單一的幻覺偵測模型。
Vectara 機器學習技術主管 Suleman Kazi 表示，VHC 包含三項關鍵組件，即生成模型、幻覺偵測模型及幻覺修正模型，這種代理式的工作流程，允許 VHC 對 AI 應用發起動態保護，更替那些正猶豫是否要採用生成式 AI 的企業，帶來了一項全新解決方案。
Suleman Kazi 強調，當 VHC 開始對某個 AI 模型發起「守護」之後，它不會全面刪除可能存在問題的輸出，而是可以針對特定術語或短語，進行最小程度的精確調整，整個工作流程大致可分為 5 個階段，包含：
- 首先由大型語言模型輸出結果。
- VHC 內建的幻覺檢測模型介入，識別該結果中潛在的幻覺或問題。
- 如果檢測到的幻覺超過某個臨界值，幻覺修正模型將接著啟動。
- VHC 開始以最小化、最低程度的精確變更，修正 LLM 原先輸出結果的虛假之處，同時保留其他正確內容。
- 最後 VHC 將給出詳細解釋，說明識別、修正該幻覺的內容和原因。
教會 AI 情境理解，最低程度修正錯誤文本
Vectara 認為，賦予 VHC 針對幻覺細節進行修正的能力十分重要，因為只有透過理解文本情境，即充分了解問題和引用資料的上下文，矯正器才有可能準確區分「正確內容」和「虛假幻覺」之間的不同。
Suleman Kazi 舉例，當使用者透過 AI 處理一部科幻小說的文本，書中描述的天空是紅色，而不是典型的藍色，在這種情況下，以往的幻覺修正系統可能會將紅色天空自動修正為藍色，但是這對於科幻敘事的創作背景而言卻不正確。
換句話說，一套有效的 AI 幻覺矯正系統，其實更需要仰賴對上下文和文本情境的整體理解，並非單純將每一個不符合預期的偏差，全都當作是幻覺。這也突顯出開發 AI 應用時必須考慮的複雜性，即人工智慧必須在特定狀況下，做出具有針對性的動態變化，藉此準確判斷真正的錯誤。
評估幻覺矯正是否有效，開源工具同步登場
除了以守護者身分運作的 VHC，Vectara 也同步推出用於評估幻覺矯正模型有效程度的開源工具包 HCMBench，支援多種指標如 HHEM、Minicheck、AXCEL 和 FACTSJudge，並且提供了一套標準作業流程，方便開發者評估不同方法、手段於幻覺修正上的效果，讓企業能夠藉此評估矯正工具的實際有效性。
對於正處於 AI 幻覺風險中的公司而言，VHC 成功為企業的 AI 營運策略帶來重大轉變，即他們現在可以考慮一條中間路線，透過 AI 代理實踐幻覺矯正功能，不需要再單純仰賴傳統的檢測機制，或是直接放棄於高風險情境下應用人工智慧。Vectara 所提出的 AI 代理守護者概念，亦符合當今人工智慧朝複雜、多步驟工作流程靠攏的新趨勢。
高風險、高價值任務，更要導入 AI 守護者
Vectara 建議，對於那些希望採用類似於 VHC 功能的企業，首先要找出自家 AI 應用中，幻覺風險最高、最關鍵的地方，再對準確性至關重要的高價值、高風險工作流程，導入新型態的 AI 代理守護者。
另一方面，企業也要於利用 AI 代理自動修正幻覺的同時，保持一定的人工監督能力，並採用 HCMBench 等基準測試方法，充分評估其幻覺矯正器是否足夠有效。
【推薦閱讀】
◆ 【RAG 能讓 AI 更安全嗎】研究顛覆認知：導入後，LLM 對有害指令有問必答
◆ 【LLM 的幻覺在作怪】AI 寫的程式碼，竟成軟體供應鏈的資安災難引爆點
◆ 微軟教會它的 AI 代理互相交談了──這可能改變我們的工作方式
＊本文開放合作夥伴轉載，參考資料：《VentureBeat》、《Vectara》，首圖來源：Vectara
（責任編輯：鄒家彥）
