昨夜,被稱為“法國版 OpenAI”的 Mistral AI 再放大招,正式發(fā)布 Mistral Large 旗艦模型,并且推出對標 ChatGPT 的對話產(chǎn)品:Le Chat,直接殺到 OpenAI 家門口。
就在 Mistral Large 發(fā)布前幾個小時,全球市值第一的微軟宣布與 Mistral AI 達成深度合作。未來,Mistral AI 將獲得 OpenAI 同等待遇,直接將模型資源放在微軟云當中售賣,成為第二家在微軟 Azure 云平臺上提供商業(yè) AI 模型的公司。
據(jù)Mistral AI CEO Arthur Mensch 透露,開發(fā)這款新模型的成本不到 2000 萬歐元(約合 2200 萬美元)。
另外據(jù)外媒報道,微軟收購了少數(shù) MistralAI的股權,這意味著在投資 OpenAI 之后,Mistral AI 成為微軟投資的第二家大模型公司。
但是,作為開源公司出道的 Mistral AI ,并沒有將這款新旗艦模型開源。對此,埃隆·馬斯克評價道:“微軟是否讓它們成為閉源代碼?”
Mistral AI 是否走上了 OpenAI 開源再閉源的老路?
1.Mistral Large 性能直逼 GPT-4
據(jù)官方新聞稿介紹,Mistral Large 是 Mistral AI 的最新旗艦版,達到了頂級的推理能力。它可以用于復雜的多語言推理任務,包括文本理解、轉換和代碼生成。
在常用基準測試上 Mistral Large 表現(xiàn)強勁,以 81.2% 的成績超越了Claude 2、Gemini Pro、GPT-3.5、Llama 2-70B 四款模型,僅次于 GPT-4。
在MMLU(測量大規(guī)模多任務語言理解)上,GPT-4、Mistral Large(預訓練)、Claude 2、Gemini Pro 1.0、GPT 3.5和LLaMA 2 70B的比較。
Mistral Large 具有以下特點:
它在英語、法語、西班牙語、德語和意大利語方面具有天然的流利度,對語法和文化背景有細膩的理解。
它的 32K token 上下文窗口允許從大型文檔中精確地回憶信息。
它精確的指令遵循能力使開發(fā)者能夠設計他們的審核政策——Mistral AI 用它來設置 Le Chat 的系統(tǒng)級審核。
它天然具備函數(shù)調用能力。這一點,加上在 la Plateforme 上實施的受限輸出模式,使得應用開發(fā)和技術棧現(xiàn)代化能夠規(guī)模化進行。
和常用基準測試上的頂級 LLM 模型相比,Mistral Large 也表現(xiàn)不俗。
推理和知識
市場上頂級LLM模型在廣泛常識、推理和知識基準測試上的性能:MMLU(測量大規(guī)模多任務語言理解)、HellaSwag(10-shot)、Wino Grande(5-shot )、Arc Challenge(5-shot)、Arc Challenge(25-shot)、TriviaQA(55-shot)和TruthfulQA。
多語言能力
Mistral Large 還是一個語言方面的“多面手”。在法語、德語、西班牙語和意大利語的 HellaSwag、Arc Challenge 和MMLU 基準測試中,它的表現(xiàn)遠遠超過 LLaMA 2 70B。
在法語、德語、西班牙語和意大利語的HellaSwag、Arc Challenge和MMLU上,Mistral Large、Mixtral 8x7B和LLaMA 2 70B的比較。
數(shù)學和編碼
Mistral Large 不僅有強大的語言天賦,數(shù)學和編碼所代表的邏輯能力也很強。
市場上領先LLM模型在流行的編碼和數(shù)學基準測試上的性能:HumanEval pass@1、MBPP pass@1、Math maj@4、GSM8K maj@8(8-shot )和GSM8K maj@1(5-shot )。
這次和 Mistral Large 一起面世的,還有一個更“小而美”的 Mistral Small。Mistral Small 的性能超過 Mixtral 8x7B,并且延遲更低,這使它成為開放權重產(chǎn)品和旗艦模型之間的一個精細的中間解決方案。
Mistral Small 和 Mistral Large 在 RAG 啟用和函數(shù)調用方面都有相同的創(chuàng)新。
目前,開發(fā)者可從兩個渠道獲取Mistral AI:
La Plateforme:在歐洲的 Mistral 基礎設施上安全托管,這個接入點使開發(fā)者能夠在全面的模型范圍內創(chuàng)建應用和服務。
Azure:Mistral Large 可以通過 Azure AI Studio 和 Azure Machine Learning 獲得,用戶體驗與 API 一樣無縫。Beta 客戶已經(jīng)成功使用了它。
自我部署:Mistral Large 環(huán)境上部署,并且可以訪問模型權重。
Mistral Large 在 Azure AI 上的定價如下:輸出為 0.024 美元 / 1000 token,輸入為 0.008 美元 / 1000 token。相比之下,128K 上下文窗口的 GPT-4 Turbo 定價為:輸出為 0.03 美元/1000 token,輸入 0.01 美元/ 1000 token。
此外,Mistral AI 還還發(fā)布了首個對標 ChatGPT 的對話助手 Le Chat,該助手可以在后臺使用 Mistral Large 或 Mistral Small,或者一個名為 Mistral Next 的原型模型;并發(fā)布了面向企業(yè)的 Le Chat Enterprise。 值得注意的是,Le Chat 目前還不支持聯(lián)網(wǎng)功能。
2.Mistral AI 與 OpenAI 相爭,微軟成最大贏家 ?
Mistral AI 創(chuàng)始人 Guillaume Lample 在X上官宣 Mistral Large 后,圖靈獎獲得者、Meta 首席科學家 Yann LeCun(楊立昆)一改往日對 OpenAI 的苛刻態(tài)度,第一時間發(fā)來祝賀
還有熱心網(wǎng)友向楊立昆發(fā)來關切,并鼓勵其發(fā)布完全開源的 LLama 3。
對此,楊立昆則希望網(wǎng)友多點耐心。
事實上,Mistral AI 這個成立不到 10 個月的年輕團隊大有扭轉局面的氣勢。
Mistral AI 公司成立于 2023 年 5 月,總部位于法國巴黎,以一己之力將 LLM 的聚光燈從中美的主戰(zhàn)場拉向了歐洲。
Mistral AI 是開源、小模型領域的“先鋒”選手。
Mistral AI 在 2023 年 9 月推出開源的 7B 模型,發(fā)布時間晚于 LLama 2,但并未被 LLama 2 搶了風頭。其越級達到了大部分模型 20B 左右的水平,實際使用時進一步微調的表現(xiàn)也比其他模型更容易學到領域專用知識,得到很多開源和企業(yè)使用者的認可。
Mistral 創(chuàng)始團隊以年輕科學家為主,其中 7 人來自 Meta(4位是 Llama 的參與者),3人來自 Hugging Face,2人來 Deepmind;之前領導過 Llama 1&2、Flamingo(Google DeepMind 論文,GPT-4V 外最重要的多模態(tài)模型)、Chinchilla(Google DeepMind 論文,建立了模型數(shù)據(jù)與參數(shù)量的標準)、RETRO(Google DeepMind 論文,第一個結合 Retrieval 和 LLM 的大模型)、BLOOM(Llama 1 出現(xiàn)前的最重要開源模型)等重要模型。
Mistral AI 的管理層一共四人。
其中,CEO Arthur Mensch 來自 Deepmind,參與了 Deepmind 的多個經(jīng)典的模型:Flamingo、Chinchilla、Gopher。
CTO 和 首席科學家分別是 Llama & Llama2 的核心工程、研究角色(由于離職,并未在 Llama2 論文中體現(xiàn))。Chief Business Officer Florian 則由創(chuàng)始顧問,Alan 的 CEO 推薦加入。
目前,Mistral 已完成了三輪公開融資,總額超過6億美元。
2023 年 6 月,公司完成 1.05 億歐元(約合 1.13 億美元)的種子輪融資,由 Lightspeed Venture Partners(光速創(chuàng)投)領投,投后估值 2.4 億歐元;
2023 年 12 月,Mistral 完成由 Andreessen Horowitz(a16z)領投,英偉達、Salesforce、法國巴黎銀行、美國風投機構 General Catalyst 等投資的 3.85 億歐元(約合 4.15 億美元)融資。
2024 年 2 月,微軟入股 Mistral。
據(jù)悉,Mistral公司估值已超過20億歐元(約合156.2億元人民幣),成為 AI 領域的獨角獸公司。
自成立以來,Mistral AI 便被認為是 OpenAI 有力的競爭對手,并一直堅定站在 OpenAI 的“反面——OpenAI 閉源,Mistral AI 開源;OpenAI 堅定地走“大數(shù)據(jù)+大算力+大規(guī)模參數(shù)”的暴力美學路徑,Mistral AI 則掀起一輪“小模型”熱潮,在 7B 規(guī)模下不斷再創(chuàng)輝煌。
不過,在OpenAI和MistralAI的較量中,微軟或成最大的贏家,將兩條路線均收入囊中。
此次,微軟與 Mistral AI 的合作重點關注三個核心領域:
超級計算基礎設施:微軟將通過 Azure AI 超級計算基礎設施來支持 Mistral AI,為 Mistral AI 旗艦模型的 AI 訓練和推理工作負載提供一流的性能和規(guī)模。
擴展到市場:微軟和 Mistral AI 將通過Azure AI Studio和Azure 機器學習模型目錄中的模型即服務 (MaaS) 向客戶提供 Mistral AI 的高級模型。除了 OpenAI 模型之外,模型目錄還提供開源和商業(yè)模型的多種選擇。開發(fā)者可使用 Microsoft Azure 消費承諾 (MACC)來購買 Mistral AI 的模型。Azure 的 AI 優(yōu)化基礎設施和企業(yè)級功能為 Mistral AI 提供了向全球 Microsoft 客戶推廣、銷售和分發(fā)其模型的額外機會。
人工智能研究和開發(fā):微軟和 Mistral AI 將探索圍繞為特定客戶(包括歐洲公共部門工作負載)培訓特定目的模型的合作。
此外,據(jù)英國《金融時報》報道,微軟對Mistral AI進行了小額投資,但不持有該公司任何股權。
審核編輯:劉清
-
OpenAI
+關注
關注
9文章
1096瀏覽量
6560 -
ChatGPT
+關注
關注
29文章
1563瀏覽量
7774 -
LLM
+關注
關注
0文章
290瀏覽量
351
原文標題:Mistral獲微軟投資,發(fā)布旗艦模型Mistral Large,但沒有開源|甲子光年
文章出處:【微信號:jazzyear,微信公眾號:甲子光年】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
相關推薦
評論