即便 AI 技術已經獲得長足發展，但大型語言模型（LLM）在「幻覺」問題上仍然面臨許多挑戰，更對企業的實際應用構成了許多阻礙。
想要減少 AI 產生的幻覺，本質上就是一件棘手任務，更迫使模型開發者必須在嚴格條件下尋求平衡。畢竟，當人類強迫 AI 提高準確性時，反而更容易使模型拋棄原本正確的回應，進而直接選擇「拒答」。
為此，Google 研究人員在最新發表的一篇論文中，提出了嶄新的「忠實不確定性（faithful uncertainty）」框架，讓 AI 模型最終的輸出回應，能夠跟其內部的信心程度保持一致。
根據研究人員說法，這種一致性能令 AI 的回應適當保留「餘地」和「假設」，例如讓 LLM 主動輸出「我的最佳推測是…」等假設語氣，而非預設採用毫無意義的「回答或不回答」二元選擇。
在現實世界的自主型 AI 應用中，此類「後設認知意識」其實扮演著非常關鍵的控制層角色，它讓自主 AI 得以精確判斷，何時可以依賴自己的內部知識，以及何時應該調用外部工具或查詢 API，以彌補當下自身的知識缺口。
AI 沒有邊界意識，無法明白知識侷限
要理解 LLM 為什麼會產生「幻覺」，關鍵在於區分「模型已經知道的事實」，以及「模型知道自己知道什麼」。
從歷史發展來看，人工智慧在事實準確性方面的多數進步，基本上都來自於擴展知識邊界，也就是開發者透過更大規模的模型和更多訓練資料，將更多事實塞入 AI 模型的參數中。
然而，擴展 AI 模型的知識量，並不會自動提升它們的邊界意識，即區分「已知」與「未知」，以及「認知自身侷限」的能力。
Google 研究科學家暨論文共同作者 Gal Yona 指出，要改善 LLM 的事實準確性，大致上有兩種方法，其中一種是向 AI 灌輸更多知識，但模型的容量終究有限，而知識卻幾乎是無限的。
Gal Yona 接著說，過去大多數開發者所設定的目標，為 AI 模型一旦達到自身知識極限，即希望 LLM 能意識到自己「不知道什麼」，並直接選擇「不作答」，然而這卻是一項極為艱鉅的任務。
理由在於，前述措施雖然確實能夠減少 AI 幻覺，但同時也損害了 LLM 的實用性，因為模型最終會拒絕回答那些自己其實知道的問題，只為了不要給出錯誤答案。
Gal Yona 直言，前述理由就是為何大多數試圖透過人工干預措施，以減少 AI 幻覺的實踐方案，最終都未能成功投入實戰的關鍵原因。
避免「效用稅」成本，容忍 AI 幻覺存在
這種 AI 模型無法區分「已知」與「未知」的情況，被研究人員於論文中稱為「效用稅（utility tax）」；想要嚴格執行「零幻覺」標準，哪怕只是擁有微小的不確定性，AI 模型都只能選擇放棄回答，從而割捨了大量的有效資訊。
在論文中研究人員給出更直觀的數字，即若要求 AI 模型將原本 25% 的錯誤率，降低到嚴格的 5%，那麼 AI 模型將主動捨棄高達 52% 的正確答案。
從另一個角度來看，選擇將所有錯誤都視為 AI 幻覺，其實也是在迫使企業與開發者，於 AI 的「可靠性」與「實用性」之間做出抉擇。
因此，大多數企業與開發者，通常都不願意支付這筆巨大的「效用稅」，讓自己的模型變得毫無用處，所以會刻意允許 AI 幻覺持續存在，導致 AI 雖然會不斷提高知識量，但模型仍將持續處於不斷產生「自信幻覺」的運作狀態。
重新定義 AI 幻覺，解構為「自信性錯誤」
為了擺脫「效用稅」所帶來的兩難，Google 研究人員提出一種全新邏輯，那就是不要把模型所輸出的事實錯誤，全部都視為 AI 幻覺，而是將幻覺重新定義為「自信性錯誤（confident errors）」。
所謂「自信性錯誤」即是在未附帶適當保留條件、假設語氣的情況下，以權威口吻所傳達的錯誤資訊。這種微妙的重新定義，消解了 AI 模型嚴格的「回答或棄權」二分法，並且讓 LLM 得以表達自己的不確定性。
Google 研究人員認為，在「自信性錯誤」的定義下，若 AI 模型於事實判斷方面出現錯誤，但卻能夠對自己給出的回答，適當的附上保留語氣，例如「我不能完全確定，但我認為…」之類，這種情況就不能算是 AI 幻覺。
當 AI 學會表達不確定性，人工智慧就夠在維持實用性的前提下，分享其所擁有的一部分或可能正確的知識，同時又不會導致辜負人類使用者的信任。
以「忠實不確定性」，評估謹慎表達標準
只不過，如果 AI 模型在所有回覆中，全都附上假設語氣當作免責聲明，被迫令使用者必須對每項內容都進行人工確認，那就完全背離了設計「自信性錯誤」定義的初衷。
因此研究人員提出的解決方案稱作「忠實不確定性（faithful uncertainty）」，要求 AI 模型將語言上的不確定性，也就是那些用以表達懷疑的詞彙，跟 AI 內在的不確定性，即模型對自身答案實際上的「內部信心統計」保持一致。
導入忠實不確定性框架所帶來的好處，即是確保 AI 模型僅會於內部狀態真正反映出相互矛盾，或者準備提供低機率資訊時，才會主動表達出謹慎態度。
研究人員認為，忠實不確定性是 AI 模型擁有「後設認知」的核心關鍵，也就是當人工智慧意識到自己的不確定性，接著採取相應行動的重要能力。
如果以現實世界進行比喻，所謂忠實不確定性框架，就像人類去看醫生時，我們通常會相信醫生的診斷，但這並不是因為我們覺得醫生「全知全能」。
反過來說，醫生能夠提供給我們「確信的診斷」，例如說「這就是骨折」，或者「基於專業判斷的假設」，比方說「可能是扭傷，需要進一步檢查」，而忠實不確定性框架就是賦予 AI 此類能力。
提高 AI 後設認知，如實傳達知識邊界
另一方面，根據 Google 研究人員在論文中所制定的新框架，當 AI 模型對某個預測確實抱有高度信心，然而事實卻不正確時，此類問題則被歸類為「誠實錯誤（honest mistakes）」，同樣不以單純的 AI 幻覺來稱呼。
重新定義 AI 幻覺的好處，在於讓傳統的知識擴展手段，跟忠實不確定性框架成為互補；前者用以將 LLM 的絕對知識邊界向外推展，嘗試把誠實錯誤降到最低，後者則是如實傳達 AI 知識邊界的當前位置，兩者之間相輔相成。
Google 研究人員提出的新框架，對於 AI 代理應用有著重要意義。傳統上，許多開發者都認為 AI 代理「不知道哪些事」並無所謂，畢竟 AI 模型只需要查詢外部資料庫就能補上缺漏的知識。
然而，AI 代理對外部工具的存取，實際上反而強化了忠實不確定性框架的必要性；因為在 AI 代理系統中，後設認知才是統籌整個系統的核心控制層。
自我檢查知識，加強 AI 代理執行效率
Gal Yona 指出，在缺乏忠實不確定性框架的情況下，AI 代理可能會去搜尋它已經確切知道的內容，而這不僅浪費了時間和成本，也容易毫無收穫；反過來說，當 AI 代理應該要搜尋知識時，它卻會用錯誤的自信，自記憶中直接給出答案，產生看似合理卻錯誤百出的結果。
目前許多 AI 代理系統，嘗試透過查詢分類器或「永遠執行搜尋任務」的規則，從外部手段解決前述問題。
對此 Gal Yona 直言，外部硬性手段「既靜態又脆弱」，若能導入忠實不確定性框架，利用 AI 內在的不確定性以調節自身行為，而且只有在 LLM 內部信心確實偏低時，才選擇調用搜尋工具，將可以有效提高 AI 代理的執行效率。
除了決定何時發起搜尋外，忠實不確定性框架對於評估搜尋結果也至關重要。
舉例來說，假如某個工具回傳了低品質或出乎意料的訊息，那麼擁有忠實不確定性框架的 AI 代理，就不會盲目接受其上下文脈絡中出現的任何內容，反而會運用其對不確定性的認知，將檢索到的外部資訊，跟自身內部的先驗知識進行權衡，避免系統出現單方面且無條件信任外部知識來源的情況。
應用監督式微調訓練，但得避免虛構教導
只不過對於企業與 AI 開發者來說，想要讓 AI 模型學會忠實不確定性的框架和原則，本質上也不是件容易的事情。
根據 Google 研究人員表示，利用監督式微調（SFT）手段，並輔以權威性文本作為訓練資料，可以教導 AI 模型掌握不確定性語法，例如「我不完全確定，但我認為…」之類的表達方式。
但是，SFT 訓練方法本身卻又具備「自舉悖論（bootstrapping paradox）」，跟標準訓練資料集無論使用何種模型，其「正確答案」皆完全一致有所不同，其不確定性的真實值，終究源於 AI 模型本身的動態知識庫。
Gal Yona 解釋，想要讓 AI 模型正確表達自己的不確定性，這個目標本身是「動態的」，它取決於 AI 模型在訓練當下，所有自身已知或未知的東西。
Gal Yona 舉例，假設開發人員以「我不知道○○」為標籤對 AI 進行訓練，可是模型自身的知識庫，實際上卻知道○○，那麼開發者就等於是在教導 AI 虛構出自己的不確定性，因為訓練資料是靜態的，可是訓練目標卻是動態的，這正是開發者未來必須面對的根本矛盾。
AI 可模仿不確定性，卻不一定明白自身狀態
對於不希望再投入高昂費用於 AI 訓練的企業來說，透過提示詞工程（prompt engineering）提升模型的後設認知能力，算得上是最容易上手且阻力較小的解決方案，尤其企業開發人員可以嘗試像 MetaFaith 之類開源框架。
只不過 Gal Yona 也提醒，僅靠提示詞工程仍無法解決所有問題，AI 模型的後設認知能力仍有相當大的改善空間，這意味著 AI 產業最終仍需要仰賴先進的強化學習（RL）手段，將後設認知深度融入模型訓練之中。
隨著企業從單純的 AI 聊天機器人，逐步過渡到複雜的多代理工作流程，AI 的自我感知能力，將成為實現可靠自主性的關鍵先決條件；然而，想要評估 AI 是否真正知道自己的極限，仍舊是一項極具挑戰性的技術難題。
Gal Yona 說，LLM 模型或許可以學會模仿不確定性的表現形式，然而其卻並未真正理解過自己的內部狀態；因此，開發出能夠區分這兩者的評估框架，將是未來 AI 領域最為關鍵的問題。
【推薦閱讀】
◆ 1 秒攔截瑕疵、LLM 幫司機打電話！家具巨頭 Wayfair 如何靠 AI 降低最後一哩路隱形浪費
◆ 世界模型迎來 GPT-3 時刻？新創 Odyssey 獲亞馬遜、NVIDIA 等投資，將採用 Trainium AI 晶片
◆ AI 用越多不代表越有價值：當 token 成本升高，企業決策者開始追問真正 ROI
＊本文開放合作夥伴轉載，參考資料：VentureBeat、arXiv，首圖來源：Nano Banana 2
（責任編輯：鄒家彥）
