OpenAI 發表一份研究報告，深入探討大型語言模型為何仍會產生「幻覺」（hallucinations），並提供降低幻覺發生的解方。
所謂「幻覺」，是指當語言模型在被詢問問題時，自信地給出看起來合理但實際上是錯誤的資訊。例如 OpenAI 以研究人員 Adam Tauman Kalai 為例，當他們請 AI 提供 Kalai 博士「曾經撰寫的論文」時，AI 給出三個不同的答案，且全部都是錯誤的。這種在資訊錯誤時卻表現出極高自信的特徵，正是 AI 幻覺的核心表現。
幻覺的成因與解方
OpenAI 認為，「幻覺」部分源於目前的訓練過程與評估機制，這些機制無意中鼓勵模型在不確定時進行「猜題」，而非直接坦承無知。
在訓練過程的部分，語言模型在預訓練階段主要透過「預測下一個詞」的方式進行學習，然而這些訓練數據本身並未附帶「真／假」的標籤。 OpenAI 進一步解釋，例如拼寫或括號使用這類具有一致模式的常見錯誤，模型可以從具規模的數據量中學習並認知錯誤，然而對於「寵物生日」這一類問題，由於資訊無法單獨從文本模式中預測出來，因此極易導致幻覺。
另一方面，OpenAI 強調幻覺之所以難以根除，部分原因是目前的評估方法「設定錯誤的激勵機制」，「如果不知道答案，但隨機猜測，有可能很幸運地猜對，但如果留白就保證零分，」OpenAI 將這種機制比喻為多選題測驗，說明當模型僅以「準確度」（即答對問題的百分比）來評分時，它會被鼓勵猜測而不是坦承自己「不知道」，因為一個會推測的模型在數千個測試問題中，最終看起來比一個謹慎承認不確定性的模型表現更好。
OpenAI 建議，模型的評估機制應該「懲罰錯誤多於懲罰不確定性」，並對適當表達不確定性給予部分分數，就像許多考試機制透過「對錯誤答案扣分」的做法，以阻止學生盲猜。
OpenAI 澄清關於幻覺的五大迷思
OpenAI 在研究報告中也澄清關於「幻覺」的 5 大常見誤解。首先，並非提高準確度就能消除幻覺，因為有些真實世界的問題本質上是無法回答的，所以準確度永遠不會達到 100%。
第二，幻覺不是無法避免的，因為語言模型在不確定答案時可以選擇放棄回答。
第三，不是更大的模型就能有效避免幻覺，有時候小型模型可能更容易了解自身極限。
第四，幻覺並不神祕，因為透過研究已經可以理解幻覺產生的統計機制，以及幻覺在評估中被獎勵的方式。
最後，有些人認為判斷幻覺只需要一個好的幻覺評估，事實上幻覺評估已經存在，但幻覺評估在面對數百個「鼓勵猜測而非坦承無知」的傳統評估時，影響甚微。
OpenAI 表示將繼續努力降低語言模型出現幻覺的機率，以提升 AI 系統的實用性和可靠性。OpenAI 這項研究也呼籲整個 AI 產業應該重新思考和調整語言模型的評估標準，以培養出更誠實、更可靠的人工智慧。
＊本文開放合作夥伴轉載，資料來源：《TechCrunch》、《Business Insider》、OpenAI，首圖來源：Unspalsh。
