9月19日凌晨,阿里通義千問正式開源Qwen2.5系列大模型,最新發(fā)布包括了語言模型Qwen2.5,以及專門針對(duì)編程的Qwen2.5-Coder和數(shù)學(xué)的Qwen2.5-Math模型。PerfXCloud(澎峰云)大模型開發(fā)與服務(wù)平臺(tái)第一時(shí)間支持Qwen2.5 72B并在平臺(tái)完成上線,趕快來體驗(yàn)吧!
Qwen2.5系列模型
更大的訓(xùn)練數(shù)據(jù)集:Qwen2.5語言模型的所有尺寸都在最新的大規(guī)模數(shù)據(jù)集上進(jìn)行了預(yù)訓(xùn)練,該數(shù)據(jù)集包含多達(dá)18Ttokens。相較于Qwen2,Qwen2.5獲得了顯著更多的知識(shí)(MMLU:85+),并在編程能力(HumanEval 85+)和數(shù)學(xué)能力(MATH 80+)方面有了大幅提升。
更強(qiáng)的指令遵循能力:新模型在指令執(zhí)行、生成長文本(超過8K標(biāo)記)、理解結(jié)構(gòu)化數(shù)據(jù)(例如表格)以及生成結(jié)構(gòu)化輸出特別是JSON方面取得了顯著改進(jìn)。Qwen2.5模型總體上對(duì)各種system prompt更具適應(yīng)性,增強(qiáng)了角色扮演實(shí)現(xiàn)和聊天機(jī)器人的條件設(shè)置功能。
長文本支持能力:與Qwen2類似,Qwen2.5語言模型支持高達(dá)128K tokens,并能生成最多8K tokens的內(nèi)容。
強(qiáng)大的多語言能力:它們同樣保持了對(duì)包括中文、英文、法文、西班牙文、葡萄牙文、德文、意大利文、俄文、日文、韓文、越南文、泰文、阿拉伯文等29種以上語言的支持。
專業(yè)領(lǐng)域的專家語言模型能力增強(qiáng):即用于編程的Qwen2.5-Coder和用于數(shù)學(xué)的Qwen2.5-Math,相比其前身CodeQwen1.5和Qwen2-Math有了實(shí)質(zhì)性的改進(jìn)。具體來說,Qwen2.5-Coder在包含5.5T tokens編程相關(guān)數(shù)據(jù)上進(jìn)行了訓(xùn)練,使即使較小的編程專用模型也能在編程評(píng)估基準(zhǔn)測試中表現(xiàn)出媲美大型語言模型的競爭力。同時(shí),Qwen2.5-Math支持中文和英文,并整合了多種推理方法,包括CoT(Chain of Thought)、PoT(Program of Thought)和TIR(Tool-Integrated Reasoning)。
Qwen2.5-72B在多個(gè)基準(zhǔn)測試中的結(jié)果
審核編輯 黃宇
-
開源
+關(guān)注
關(guān)注
3文章
3349瀏覽量
42500 -
模型
+關(guān)注
關(guān)注
1文章
3243瀏覽量
48840 -
大模型
+關(guān)注
關(guān)注
2文章
2450瀏覽量
2706
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論