“大數(shù)據(jù)+大算力+強(qiáng)算法=大模型”是當(dāng)前人工智能發(fā)展的主要技術(shù)路徑。語(yǔ)言大模型ChatGPT成為現(xiàn)象級(jí)應(yīng)用,人工智能進(jìn)入普及應(yīng)用的新時(shí)期。
智源研究院2020年搭建大模型攻關(guān)團(tuán)隊(duì),2021年6月推出當(dāng)時(shí)規(guī)模最大、性能領(lǐng)先多模態(tài)大模型“悟道2.0”。為了推動(dòng)大模型方向的協(xié)同創(chuàng)新,在“科技創(chuàng)新2030”新一代人工智能重大科技項(xiàng)目支持下,2023年初,智源研究院聯(lián)合30多家產(chǎn)學(xué)研單位共同承擔(dān)的旗艦項(xiàng)目“人工智能基礎(chǔ)模型支撐平臺(tái)與評(píng)測(cè)技術(shù)”全面啟動(dòng)。經(jīng)2個(gè)月集中攻關(guān),開(kāi)發(fā)出FlagOpen(飛智)大模型技術(shù)開(kāi)源體系,旨在打造全面支撐大模型技術(shù)發(fā)展的開(kāi)源算法體系和一站式基礎(chǔ)軟件平臺(tái),支持協(xié)同創(chuàng)新和開(kāi)放競(jìng)爭(zhēng),共建共享大模型時(shí)代的“新Linux”開(kāi)源開(kāi)放生態(tài)。
北京市副市長(zhǎng)于英杰和科技部高新司副司長(zhǎng)梅建平出席工作會(huì)并致辭。
于英杰副市長(zhǎng)指出,大模型的研發(fā)是一項(xiàng)體系化工作,涉及數(shù)據(jù)、算法、算力及訓(xùn)練基礎(chǔ)設(shè)施等。智源研究院發(fā)布的FlagOpen大模型技術(shù)開(kāi)源體系,是智源及上下游生態(tài)合作機(jī)構(gòu)聯(lián)合開(kāi)展技術(shù)攻關(guān)的成果展現(xiàn),為大模型技術(shù)創(chuàng)新提供了“北京貢獻(xiàn)”。同時(shí),他對(duì)于大模型的發(fā)展提出了三點(diǎn)期望:一是要抓住大模型發(fā)展機(jī)會(huì),保持定力,強(qiáng)化基礎(chǔ)。要聚焦源頭,創(chuàng)新底層技術(shù),大力突破核心關(guān)鍵技術(shù),搶占制高點(diǎn)。二是應(yīng)用導(dǎo)向,推動(dòng)大模型應(yīng)用生態(tài)建設(shè)。要加快大模型創(chuàng)新應(yīng)用開(kāi)發(fā)及API服務(wù)開(kāi)放,形成數(shù)據(jù)飛輪效應(yīng),發(fā)揮大模型的通用泛化能力,賦智經(jīng)濟(jì)社會(huì)發(fā)展。三是科研機(jī)構(gòu)、企業(yè)等要圍繞算法及技術(shù)研究、數(shù)據(jù)等加強(qiáng)協(xié)同創(chuàng)新,建立開(kāi)源開(kāi)放的合作生態(tài)。
于英杰 北京市副市長(zhǎng)
梅建平副司長(zhǎng)指出,面對(duì)大模型引發(fā)的人工智能技術(shù)范式變革趨勢(shì),科技部從2021年開(kāi)始超前布局大模型旗艦項(xiàng)目群,著力打造開(kāi)源開(kāi)放的大模型創(chuàng)新生態(tài)體系。“人工智能基礎(chǔ)模型支撐平臺(tái)與評(píng)測(cè)技術(shù)”旗艦項(xiàng)目是整個(gè)項(xiàng)目群的核心,由智源研究院聯(lián)合30多家產(chǎn)學(xué)研單位共同承擔(dān)。FlagOpen大模型技術(shù)開(kāi)源體系即是旗艦項(xiàng)目的階段性成果,將對(duì)我國(guó)大模型技術(shù)創(chuàng)新能力的提升提供重要支撐。另外,為滿(mǎn)足大模型發(fā)展所需的算力需求,科技部正在推動(dòng)建設(shè)“國(guó)家公共算力平臺(tái)”和“中國(guó)算力網(wǎng)”,為科技創(chuàng)新和產(chǎn)業(yè)智能化轉(zhuǎn)型提供普惠算力。他同時(shí)指出,大模型發(fā)展需要技術(shù)創(chuàng)新與倫理治理并重,科技部也將組織探索研究大模型的倫理治理問(wèn)題,讓大模型技術(shù)趨利避害,更好地發(fā)揮前沿技術(shù)的賦能作用。
梅建平 科技部高新司副司長(zhǎng)
FlagOpen飛智大模型技術(shù)開(kāi)源體系
開(kāi)啟大模型時(shí)代“新Linux”生態(tài)建設(shè)
FlagOpen(飛智)大模型技術(shù)開(kāi)源體系是由智源研究院與多家企業(yè)、高校和科研機(jī)構(gòu)共建的一站式、高質(zhì)量的大模型開(kāi)源開(kāi)放軟件體系,包括大模型算法、模型、數(shù)據(jù)、工具、評(píng)測(cè)等重要組成部分,旨在建設(shè)大模型領(lǐng)域的“Linux”。
基于FlagOpen,國(guó)內(nèi)外開(kāi)發(fā)者可以快速開(kāi)啟各種大模型的嘗試、開(kāi)發(fā)和研究工作,企業(yè)可以低門(mén)檻進(jìn)行大模型研發(fā)。同時(shí),F(xiàn)lagOpen大模型基礎(chǔ)軟件開(kāi)源體系正逐步實(shí)現(xiàn)對(duì)多種深度學(xué)習(xí)框架、多種AI芯片的完整支持,支撐AI大模型軟硬件生態(tài)的百花齊放。
FlagOpen將通過(guò)Linux基金會(huì)、啟智社區(qū)等開(kāi)源組織,推動(dòng)國(guó)內(nèi)外開(kāi)發(fā)者協(xié)同創(chuàng)新。通過(guò)開(kāi)源開(kāi)放方式,全球開(kāi)發(fā)者可以自由探索、共同貢獻(xiàn)、協(xié)同創(chuàng)新。未來(lái),F(xiàn)lagOpen也將支撐全球AI企業(yè)、機(jī)構(gòu)基于FlagOpen構(gòu)建AI大模型軟件發(fā)行版本、平臺(tái)、商業(yè)軟件等。
- FlagAI :大模型算法、模型及工具一站式開(kāi)源項(xiàng)目
為降低大模型開(kāi)發(fā)和應(yīng)用的門(mén)檻,提高大模型的開(kāi)發(fā)效率,智源研究院打造了大模型算法、模型,及各種優(yōu)化工具的一站式、高質(zhì)量開(kāi)源項(xiàng)目FlagAI。
FlagAI集成全球各種主流大模型算法技術(shù),以及多種大模型并行處理和訓(xùn)練加速技術(shù),支持高效訓(xùn)練和微調(diào)。
FlagAI涵蓋多個(gè)領(lǐng)域明星模型,如語(yǔ)言大模型OPT、T5,視覺(jué)大模型ViT、Swin Transformer,多模態(tài)大模型CLIP等。
堅(jiān)持開(kāi)源開(kāi)放路線(xiàn),智源研究院也持續(xù)將“悟道”大模型項(xiàng)目成果開(kāi)源至FlagAI,包括“悟道2.0”通用語(yǔ)言大模型GLM,“悟道3.0”視覺(jué)預(yù)訓(xùn)練大模型EVA,視覺(jué)通用多任務(wù)模型Painter,文生圖大模型AltDiffusion(多語(yǔ)言),文圖表征預(yù)訓(xùn)練大模型(多語(yǔ)言)、EVA-CLIP(英文),阿拉伯語(yǔ)大模型ALM,百億語(yǔ)言基礎(chǔ)模型CPM3等。
目前,F(xiàn)lagAI已經(jīng)加入Linux基金會(huì),吸引全球科研力量對(duì)大模型技術(shù)共同創(chuàng)新、共同貢獻(xiàn)。
項(xiàng)目地址:
https://github.com/FlagAI-Open/FlagAI
__2. __FlagPerf:面向多種AI硬件的一體化評(píng)測(cè)引擎
AI硬件評(píng)測(cè)對(duì)AI生態(tài)有重要價(jià)值,但由于A(yíng)I軟硬件技術(shù)棧異構(gòu)程度高、兼容性差,應(yīng)用場(chǎng)景復(fù)雜多變,給評(píng)測(cè)本身帶來(lái)了很多挑戰(zhàn)。
FlagPerf希望共同探索開(kāi)源、開(kāi)放、靈活、公正、客觀(guān)的AI硬件評(píng)測(cè)體系,建立支持多種深度學(xué)習(xí)框架、最新主流模型評(píng)測(cè)需求、易于A(yíng)I芯片廠(chǎng)商插入底層支撐工具的AI系統(tǒng)評(píng)測(cè)生態(tài)。不以排名為核心目標(biāo),而以提供行業(yè)價(jià)值、促進(jìn)AI產(chǎn)業(yè)生態(tài)發(fā)展為愿景。
目前該項(xiàng)目已和天數(shù)智芯、百度PaddlePaddle、昆侖芯科技、中國(guó)移動(dòng)等深度合作,共同推進(jìn)AI硬件評(píng)測(cè)建設(shè)。圍繞FlagPerf,也將有更多廠(chǎng)商和團(tuán)隊(duì)加入共同貢獻(xiàn)的大家庭。
項(xiàng)目地址:
https://github.com/FlagOpen/FlagPerf
- FlagEval:多領(lǐng)域、多維度的基礎(chǔ)大模型評(píng)測(cè)開(kāi)源項(xiàng)目
大模型時(shí)代需要科學(xué)、公正、開(kāi)放的評(píng)測(cè)基準(zhǔn)及工具來(lái)幫助人們更深刻的理解和認(rèn)識(shí)模型,但在學(xué)術(shù)界一直缺乏能涵蓋多種模態(tài)領(lǐng)域、多種評(píng)測(cè)維度的統(tǒng)一化評(píng)測(cè)體系和項(xiàng)目。尤其在A(yíng)IGC的發(fā)展浪潮下,如何對(duì)生成任務(wù)進(jìn)行更高效、更客觀(guān)的評(píng)價(jià),是阻礙大模型落地的重要制約。
智源研究院將聯(lián)合多個(gè)高校團(tuán)隊(duì),共同打造覆蓋多個(gè)模態(tài)領(lǐng)域、包含評(píng)測(cè)維度的評(píng)測(cè)工具FlagEval,探索大模型自動(dòng)評(píng)測(cè)技術(shù),推動(dòng)大模型技術(shù)創(chuàng)新和產(chǎn)業(yè)應(yīng)用。
FlagEval首先開(kāi)放近期備受關(guān)注的多模態(tài)領(lǐng)域-CLIP系列模型評(píng)測(cè)工具,支持多語(yǔ)言多任務(wù)、開(kāi)箱即用。之后,更多領(lǐng)域、更多維度的評(píng)測(cè)工具陸續(xù)發(fā)布。
項(xiàng)目地址:
https://github.com/FlagOpen/FlagEval
- FlagData:開(kāi)箱即用、易于擴(kuò)展的數(shù)據(jù)工具開(kāi)源項(xiàng)目
數(shù)據(jù)是人工智能領(lǐng)域發(fā)展的基礎(chǔ)要素之一。隨著大規(guī)模預(yù)訓(xùn)練模型及相關(guān)技術(shù)不斷取得突破,在相應(yīng)研究中使用高效數(shù)據(jù)處理工具提升數(shù)據(jù)質(zhì)量變得日益重要。
智源研究院長(zhǎng)期投入數(shù)據(jù)建設(shè)工作,構(gòu)建了全球最大 WuDaoCorpora語(yǔ)料庫(kù),同時(shí)開(kāi)發(fā)了一批數(shù)據(jù)處理的高效工具。
FlagData數(shù)據(jù)工具開(kāi)源項(xiàng)目集成包含清洗、標(biāo)注、壓縮、統(tǒng)計(jì)分析等功能在內(nèi)的多個(gè)數(shù)據(jù)處理工具與算法,為自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)等領(lǐng)域的模型訓(xùn)練與部署提供了數(shù)據(jù)層面的有力支撐,有助于推動(dòng)大模型的快速發(fā)展。
項(xiàng)目地址:
https://github.com/FlagOpen/FlagData
林詠華 智源研究院副院長(zhǎng)兼總工程師
FlagOpen 大模型技術(shù)開(kāi)源體系正在與Linux基金會(huì)等全球開(kāi)源代表組織與機(jī)構(gòu)積極合作,加快建設(shè)面向全球的大模型技術(shù)開(kāi)源生態(tài)。
全球最大的AI領(lǐng)域開(kāi)源基金會(huì)- Linux AI & DATA 基金會(huì)主席堵俊平認(rèn)為FlagOpen大模型技術(shù)開(kāi)源體系的發(fā)布,是人工智能大模型時(shí)代開(kāi)源創(chuàng)新生態(tài)建設(shè)的重要一步:“未來(lái),大模型領(lǐng)域一定會(huì)出現(xiàn)類(lèi)似Linux的開(kāi)源生態(tài)體系,開(kāi)源開(kāi)放加速AI技術(shù)創(chuàng)新。”
堵俊平 Linux AI & DATA 基金會(huì)主席
Stability AI 全球產(chǎn)品副總裁Christian Cantrell說(shuō):“我們?cè)陂_(kāi)源社區(qū)中與智源團(tuán)隊(duì)合作,基于FlagAI開(kāi)源的多語(yǔ)言文圖模型能力,合作打造支持更多語(yǔ)言的擴(kuò)散生成模型。很高興看到智源研究院把大模型技術(shù)體系開(kāi)源,這對(duì)全球大模型創(chuàng)新的推動(dòng)和開(kāi)放合作十分重要”
“數(shù)據(jù)飛輪”開(kāi)源數(shù)據(jù)互助計(jì)劃啟動(dòng)
大模型前沿訓(xùn)練營(yíng)推動(dòng)頂尖人才培養(yǎng)
時(shí)不我待,十年一遇信息技術(shù)產(chǎn)業(yè)變革席卷世界。
高質(zhì)量數(shù)據(jù)與系統(tǒng)性人才是這一輪計(jì)算機(jī)范式轉(zhuǎn)變的關(guān)鍵要素。
本次發(fā)布會(huì)上,智源研究院開(kāi)放中文世界首個(gè)開(kāi)放數(shù)據(jù)標(biāo)注平臺(tái)OpenLabel,與CSDN合作啟動(dòng)”數(shù)據(jù)飛輪”開(kāi)放數(shù)據(jù)互助公益計(jì)劃。計(jì)劃以“我們的數(shù)據(jù),我們的AI”為宗旨,讓廣大人民產(chǎn)生的數(shù)據(jù),造福于廣大人民。
“數(shù)據(jù)飛輪”計(jì)劃的目標(biāo)是建設(shè)動(dòng)態(tài)開(kāi)放的重要大型數(shù)據(jù)集,為大模型、AIGC發(fā)展創(chuàng)建豐富權(quán)威的大模型訓(xùn)練數(shù)據(jù)來(lái)源。智源研究院希望通過(guò)公益合作,夯實(shí)數(shù)據(jù)基礎(chǔ)建設(shè),促進(jìn)數(shù)據(jù)創(chuàng)新,推動(dòng)國(guó)內(nèi)外大模型訓(xùn)練研究發(fā)展。
加速邁向人工智能大模型時(shí)代,必然伴隨著大模型從精英學(xué)者到大眾開(kāi)發(fā)者的技術(shù)普及。
為推動(dòng)優(yōu)秀大模型技術(shù)人才培養(yǎng),智源研究院與中國(guó)移動(dòng)研究院、中科曙光、國(guó)家先進(jìn)計(jì)算太原中心合作,與多所頂尖高校聯(lián)動(dòng),面向交叉學(xué)科背景學(xué)生與相關(guān)領(lǐng)域?qū)W者推出大模型前沿訓(xùn)練營(yíng),通過(guò)舉辦系列人工智能前沿公開(kāi)課、創(chuàng)新應(yīng)用大賽與前沿講習(xí)班,為大模型技術(shù)研究和產(chǎn)業(yè)發(fā)展培養(yǎng)具有實(shí)戰(zhàn)經(jīng)驗(yàn)的系統(tǒng)性人才。
大模型是智能時(shí)代生態(tài)核心
FlagOpen建設(shè)大模型技術(shù)體系根基
智源研究院院長(zhǎng)黃鐵軍發(fā)表題為《加快建設(shè)人工智能開(kāi)源開(kāi)放生態(tài)》的主旨演講,他認(rèn)為開(kāi)源開(kāi)放是智能時(shí)代的必然選擇。
大模型通過(guò)同一模型完成多場(chǎng)景任務(wù),成為支撐無(wú)數(shù)智能應(yīng)用的基礎(chǔ)平臺(tái),使得人工智能技術(shù)的大規(guī)模應(yīng)用變?yōu)榭赡埽铀倭酥悄軙r(shí)代的真正到來(lái)。當(dāng)前深度學(xué)習(xí)階段的人工智能系統(tǒng)具有難以透徹理解的技術(shù)特性,智能時(shí)代不應(yīng)封閉、必須開(kāi)放、最好開(kāi)源,特別是作為基礎(chǔ)平臺(tái)的大模型需要全面開(kāi)源、接受監(jiān)督,才能得到信任、采納和廣泛應(yīng)用。
黃鐵軍 智源研究院院長(zhǎng)
結(jié)合當(dāng)下ChatGPT熱潮,黃鐵軍認(rèn)為,此類(lèi)AI現(xiàn)象只是大模型技術(shù)“海平面以上”的冰山一角,深藏于“海平面以下”的大模型技術(shù)體系才是更值得關(guān)注的部分。從長(zhǎng)遠(yuǎn)考慮,打好根基,形成完整的大模型技術(shù)體系及強(qiáng)大的資源能力,未來(lái)才能產(chǎn)生更多的“ChatGPT級(jí)”的現(xiàn)場(chǎng)級(jí)應(yīng)用。
FlagOpen正是為了建立大模型技術(shù)體系而開(kāi)展的基礎(chǔ)性工作,通過(guò)開(kāi)源開(kāi)放的形式促進(jìn)各類(lèi)機(jī)構(gòu)共創(chuàng)共享,形成良好生態(tài),共同打牢大模型發(fā)展根基。未來(lái)將面向各類(lèi)企業(yè)提供大模型相關(guān)技術(shù)服務(wù),支撐各行業(yè)智能應(yīng)用開(kāi)發(fā),賦能經(jīng)濟(jì)社會(huì)智能化升級(jí)。
FlagOpen__開(kāi)源生態(tài)合作
推動(dòng)大模型產(chǎn)業(yè)價(jià)值提升
為推動(dòng)大模型技術(shù)在更廣泛的范圍得到應(yīng)用,在產(chǎn)業(yè)中發(fā)揮大模型的價(jià)值和作用,F(xiàn)lagOpen大模型技術(shù)開(kāi)源體系已與中國(guó)移動(dòng)、浪潮信息、昆侖芯科技、天數(shù)等多家知名企業(yè)達(dá)成生態(tài)合作,并將FlagAI開(kāi)源工具部署在中國(guó)移動(dòng)九天畢昇教育平臺(tái)、浪潮AI Station等平臺(tái)。
為促進(jìn)人工智能與經(jīng)濟(jì)社會(huì)發(fā)展深度融合,智源聯(lián)合多家單位開(kāi)展大模型行業(yè)應(yīng)用探索,主要有:
聯(lián)合中國(guó)移動(dòng)研究院建立AI基礎(chǔ)模型服務(wù)開(kāi)放實(shí)驗(yàn)室,面向行業(yè)應(yīng)用場(chǎng)景的聽(tīng)覺(jué)內(nèi)容分析等領(lǐng)域進(jìn)行大模型研究與應(yīng)用;聯(lián)合浪潮信息建立大模型開(kāi)源生態(tài)聯(lián)合實(shí)驗(yàn)室,共同推動(dòng)國(guó)產(chǎn)AI硬件底層軟件的完善;聯(lián)合中國(guó)電子云建立大模型國(guó)產(chǎn)算力云平臺(tái)開(kāi)放實(shí)驗(yàn)室,探索國(guó)產(chǎn)CPU的大模型適配部署;聯(lián)合航天信息建立智慧政企人工智能開(kāi)放實(shí)驗(yàn)室,探索稅務(wù)、政務(wù)領(lǐng)域的模型能力調(diào)優(yōu)、模型研發(fā)、算法研究等;聯(lián)合工商銀行共建數(shù)字金融開(kāi)放實(shí)驗(yàn)室,致力于運(yùn)用AI技術(shù)提升金融生態(tài)垂直領(lǐng)域智能化能力;聯(lián)合啟元世界建立認(rèn)知決策大模型開(kāi)放實(shí)驗(yàn)室,探索AI NPC、數(shù)字人AI等場(chǎng)景的大模型應(yīng)用;聯(lián)合核桃科技建立國(guó)產(chǎn)3D圖形化AI編程平臺(tái)開(kāi)放實(shí)驗(yàn)室,共同開(kāi)展基于開(kāi)源體系的國(guó)產(chǎn)化編程平臺(tái)工具研發(fā)。
為推動(dòng)AI底層基礎(chǔ)軟硬件生態(tài)的共建共享和共同繁榮,智源研究院聯(lián)合浪潮信息、昆侖芯科技、壁仞科技、天數(shù)智芯、燧原科技、摩爾線(xiàn)程等硬件企業(yè),清華大學(xué)、北京大學(xué)、中科院計(jì)算所優(yōu)勢(shì)團(tuán)隊(duì),共建“北京國(guó)家新一代人工智能創(chuàng)新發(fā)展試驗(yàn)區(qū)AI開(kāi)放生態(tài)實(shí)驗(yàn)室”,共同開(kāi)展基礎(chǔ)軟硬件適配、評(píng)測(cè)等工作,實(shí)現(xiàn)拉動(dòng)基礎(chǔ)軟硬件對(duì)AI重大科研計(jì)算范式的優(yōu)化,加速完善軟硬件生態(tài)建設(shè)。
審核編輯 黃宇
-
Linux
+關(guān)注
關(guān)注
87文章
11322瀏覽量
209857 -
AI
+關(guān)注
關(guān)注
87文章
31139瀏覽量
269477 -
開(kāi)源
+關(guān)注
關(guān)注
3文章
3371瀏覽量
42578 -
ChatGPT
+關(guān)注
關(guān)注
29文章
1564瀏覽量
7817 -
大模型
+關(guān)注
關(guān)注
2文章
2490瀏覽量
2864
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論