本週二,非營利 AI 研究機構 Ai2 發布了其最新的開源語言模型——OLMo 2,這是OLMo系列的第二代模型家族。OLMo 2是少數幾個符合開源定義、並能夠從零開始重建的模型之一。與其他市場上的開源語言模型(如Meta的Llama)不同,OLMo 2 完全符合開源倡議組織(Open Source Initiative)的標準,這意味著其開發所用的工具和數據都對外公開。
開源倡議組織自十月起確定了開源AI的定義,而 OLMo 系列的首個版本在今年二月發布時,便已經符合這一標準。Ai2 在官方博客中表示,OLMo 2 是從頭到尾使用開放且可存取的訓練數據、開源訓練代碼、可重現的訓練配方、透明的評估方法及中間階段檢查點進行開發。Ai2 希望通過公開這些資料,為開源社群提供所需資源,促進創新並尋求新方法。
OLMo 2 系列包含兩個模型,一個是擁有 70 億個參數的 OLMo 7B,另一個是擁有 130 億個參數的OLMo 13B。參數數量通常代表模型在解決問題上的能力,參數越多,模型的表現通常越強。這兩個模型可以執行各種基於文本的任務,例如回答問題、總結文章以及編寫程式碼等。
Ai2 在訓練這些模型時使用了 5 兆個標記(tokens)的數據集,其中包括過濾後的高質量網站、學術論文、問答討論板以及數學作業書籍等。Ai2 表示,OLMo 2 表現可以與開源模型 Llama 3.1 相媲美,甚至在一些測試中,OLMo 2 7B 的表現超過了 Llama 3.1 8B。
根據 Ai2 的說法,OLMo 2 是迄今為止最好的完全開放的語言模型。所有 OLMo 2 模型和組件均可在 Ai2 的網站上下載,並且基於 Apache 2.0 授權協議,這意味著這些模型可用於商業用途。
不過,開源模型的安全性也引發了不少討論。有報導指出,Llama 模型曾被中國研究者用來開發防禦工具。Ai2 的工程師 Dirk Groeneveld 曾表示,雖然開放模型可能會被不當使用,但他認為這種做法對技術的進步有很大幫助,並能推動更道德的模型發展。他強調,開放模型有助於技術的驗證與可重現性,並能促進更公平的資源共享。
本文開放合作夥伴轉載。資料來源:《TechCrunch》,首圖來源:Unsplash。



