中國科技巨頭阿里巴巴宣布，旗下研究人員開發出了一種全新技術，可以大幅降低訓練 AI 模型時在資訊搜尋方面所付出的成本，並且擺脫對 Google 等傳統商業搜尋引擎的依賴。
阿里巴巴表示，這項新技術被稱為「ZeroSearch」，它能夠讓大型語言模型（LLM）藉由模擬方式，擁有「自我搜尋」並回應資訊查詢結果的能力。
簡而言之，ZeroSearch 就像是在 LLM 之中，內建了一套具備創新模式的搜尋引擎，取代過往 AI 模型在訓練過程中，必須跟真實搜尋引擎進行互動，才能夠提升自我效能的傳統方法。
降低 API 呼叫成本，解決搜尋引擎品質問題
對於大型語言模型來說，透過搜尋以吸收有效資訊，對於提升 LLM 本身的推理和生成能力至關重要。
然而，當代 AI 模型所倚賴的強化學習（RL）訓練方式，由於需要頻繁產出結果以進行迭代，因此在訓練過程中，可能會向商業搜尋引擎發起高達數十萬次的搜尋請求，進而產生大量的 API 存取花費，巨幅提高 AI 的訓練成本，甚至是嚴重影響模型的擴展性。
為了應對上述挑戰，阿里巴巴的研究人員開發出 ZeroSearch 技術，它在本質上為一個強化學習框架，讓 LLM 可以在訓練過程中達成自我搜尋，不需要跟真正的搜尋引擎進行互動，仍然可以提升 AI 的效率和準確度。
在論文中，阿里巴巴研究人員指出，過去在 AI 訓練方面，仰賴商業搜尋引擎有著 2 大缺點。首先，真實搜尋引擎所回應的文檔品質不受控制，無法為開發者所預測，替 AI 訓練過程帶來許多雜訊和不穩定性。
其次，大多數 AI 開發者訓練模型時，通常得向 Google 之類的商業搜尋引擎，進行多達數十萬次的 API 呼叫，通算下來成本將高得驚人。上述兩項原因也成為阿里巴巴決定開發 ZeroSearch 的主要理由。
當 LLM 已有充足知識，為何不嘗試自我搜尋？
那麼 ZeroSearch 究竟是如何協助大型語言模型，在沒有外部搜尋引擎的情況下，仍然可以進行自我搜尋和訓練，進而提升模型效能呢？
研究人員表示，他們所採取的方法，其實是先從一個輕量級的監督微調過程開始，即是將大型語言模型轉換並模擬成可以產生相關和不相關文檔，並且回答問題查詢的檢索模組。
接著在 LLM 進行強化學習的訓練過程中，研究人員採用被稱為「curriculum-based rollout」的訓練策略，逐步降低檢索模組對於文檔回應的生成品質。
研究人員解釋，其實 ZeroSearch 真正的技術關鍵，在於大多數 LLM 於模型預訓練過程中，早已擁有了充足的知識，並且能夠根據輸入的搜尋內容，查詢並生成相關文檔，唯一差異在於真實搜尋引擎與 LLM 所模擬出來的檢索模組，在回傳內容的描述風格上有所不同。
效率超過 Google，降低 88% AI 訓練開銷
根據研究人員測試，在包含 7 個問題資料集的綜合實驗中，套用 ZeroSearch 技術，並且模擬成搜尋引擎的 LLM 檢索模組，不僅可以跟真實搜尋引擎所訓練出來的模型性能互相匹敵，甚至還能夠有所超越。
研究人員指出，檢索模組在 7B 參數條件下，即可實現與 Google 搜尋相當的效能，若將 LLM 的參數提升到 14B，其效能甚至能夠超越 Google 搜尋。
此外，根據研究人員分析，透過 SerpAPI 於 AI 訓練過程中，向 Google 進行約 64,000 次搜尋查詢，總共將花費約 586 美元，但若換成在 4 個 NVIDIA A100 GPU 上，使用 14B 參數 LLM 模擬成檢索模組，其成本卻只要 70.8 美元，大幅減少 88% 的訓練開銷。
在論文中研究人員直言，如此巨額的成本下降幅度，正是證明了於強化學習情境中，高品質 LLM 所模擬出來的檢索模組，確實有機會替代真正的外部搜尋引擎。
打破市場壟斷，普惠新創與小型 AI 企業
ZeroSearch 所帶來的突破，表明未來的 AI 模型與應用，將無需依賴傳統搜尋引擎等外部工具，即可擁有自我改進的能力。
畢竟，當代開發人員若想訓練先進的 AI 模型，通常需要對大型科技公司所控制的服務，進行十分昂貴的 API 呼叫；ZeroSearch 透過允許 AI 模擬搜尋引擎行為，藉由「自我搜尋」替代真正的搜尋引擎，將有望改變市場壟斷。
對於預算有限的小型 AI 公司和新創企業而言，ZeroSearch 甚至可以讓 AI 開發的競爭環境變得更加公平，尤其調用商業 API 的超高成本，一直都是開發進階 AI 代理應用的主要障礙。
若 ZeroSearch 把 AI 訓練成本降低近 90% 的效果為真，那麼各種進階的 AI 訓練方法也會更容易得到普及。
新技術崛起，傳統搜尋引擎或許不再必要
除了節省 AI 訓練成本之外，ZeroSearch 也讓開發人員對 AI 的訓練過程，擁有更多的控制權。以往使用商業搜尋引擎時，系統回傳的文件品質難以得到預測，但是在 LLM 自我模擬的情況下，開發人員將能夠精確控制 AI 於強化訓練過程中所吸收到的資訊。
阿里巴巴表示，目前 ZeroSearch 技術已經可以應用於多個主流模型，如 Qwen-2.5 和 Llama 3.2，研究人員也在 GitHub 與 Hugging Face 上，提供了相關程式碼、資料集和預訓練模型，讓其他研究人員和企業直接進行實作。
隨著大型語言模型持續演進，跟 ZeroSearch 相似的技術，在未來肯定會越來越多，這意味著 AI 可以透過自我模擬和訓練，而非依賴外部服務，擁有越來越複雜的能力，進而改變 AI 產業的經濟效益，減少對大型平台的高度依賴。
另一方面，當 AI 成功在沒有外部搜尋引擎的情況下，成功擁有回應資料搜尋的進階功能，如 Google 之類的傳統搜尋引擎，在未來對 AI 的整體發展，或許也將變得不再如此必要。
若 AI 確實已經懂得「自給自足」，那麼在仍可預見的未來幾年之內，人工智慧的技術格局可能會變得大不相同。
【推薦閱讀】
◆ 【LLM 更聰明了】突破 RAG 瓶頸！Search-R1 直接把「搜尋引擎」整合到推理模型中
◆ 【宮崎駿 AI 圖算好久】NVIDIA 與麻省理工開發新技術，生圖比傳統快 9 倍、省 31% 算力
◆ 【顛覆 GPU 的新物種？】新創 BBB 用活體神經元打造 AI 晶片，功耗更低效能更高
＊本文開放合作夥伴轉載，參考資料：《VentureBeat》、《Alibaba》，首圖來源：Bing AI
