法國 AI 新創公司 Mistral，近日發表全新生成式人工智慧模型 Les Ministraux，專門用於筆記型電腦、手機、自動化機器人等邊緣運算裝置，提供使用者運算效率高且低延遲的解決方案。
支援 128k 上下文長度，終端裝置運算優先
Mistral 這次推出的 AI 模型為 Ministral 3B 和 Ministral 8B，兩者合稱 Les Ministraux，無論常識、推理、函數呼叫和效率方面，皆比起過去的模型有所突破，並且可以讓採用者調整為各種用途，例如編排 AI 代理工作流程，或者協助專業人員執行工作任務。
Mistral 指出，Ministral 3B 和 Ministral 8B 模型都擁有 128k，即 128000 個 Token 的上下文長度（context length）的處理能力，換算下來足堪應付 50 頁的書籍文本資訊量。
未來 Les Ministraux 系列模型將主要用於本機、隱私優先的工作，例如終端設備上的翻譯、離線智慧助理、本機運算分析與自動化機器人技術；Ministral 8B 還有具有特殊模式，不僅可以執行得更快，還能為推理任務節省記憶體消耗。
運算開銷僅 0.04 美元，成績優於多個模型
至於開銷方面，Ministral 8B 每百萬個輸出／輸入 Token 成本為 0.1 美元，更輕量的 Ministral 3B 處理成本更可以壓到 0.04 美元，折合約新台幣 1.3 元。
此外，Les Ministraux 還能與 Mistral Large 等大型語言模型結合使用，並成為多步驟 AI 代理工作流程的高效率中介，以極低的延遲與成本，在多個上下文中根據使用者意圖處理輸入解析、任務路由與 API 呼叫。
Mistral 也聲稱，Ministral 3B 和 Ministral 8B，在評估指令追蹤和解決問題能力方面，其 AI 基準測試中優於競爭對手 Llama 和 Gemma 模型，甚至是自家的 Mistral 7B。
小型 AI 模型成趨勢，Mistral 保持競爭力
對於 Les Ministraux 感興趣的開發人員與企業，現在就可以聯絡 Mistral 取得商業應用授權，其中 Ministral 8B 額外提供研究授權；雲端合作夥伴包含 Azure AI、AWS Bedrock 與 Google Cloud Vertex AI Model Garden，亦會於短時間內上線這兩套新模型。
隨著更加便宜、成本更低，訓練、微調和執行速度更快的小型 AI 模型，已經成為了新的趨勢，Google、微軟與 Meta 近來也都針對邊緣運算裝置，推出了多款試用產品，Mistral 自然也無法忽視這股潮流。
總部位於法國巴黎的 Mistral，最近成功發起了價值 6.4 億美元的風險投資，繼續擴大旗下人工智慧產品組合，保持在 AI 領域的足夠競爭力。
【推薦閱讀】
◆ 醫生開口問就能找到病例，微軟推 AI 醫療模型減輕醫護人員壓力
＊本文開放合作夥伴轉載，資料來源：《TechCrunch》、《Mistral》。首圖來源：Unsplash
