在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

中國AI長卷(二):框架立基

腦極體 ? 來源:腦極體 ? 作者:腦極體 ? 2024-07-24 12:27 ? 次閱讀

wKgZomaggqGAXl82AAn1I2EY3Dw007.jpg

2021年正值科技摩擦之際,我采訪到一位工業機械公司的技術負責人,向他問到:“制造領域有沒有一些“卡脖子”的情況?”

他提到,“工業智能制造的核心要素,可以歸納為“三軟三硬”。三軟主要是指大數據、人工智能和工業軟件,三硬主要是指核心裝備、制造工具和材料。卡脖子這個問題,在各行各業各個領域都普遍存在”。

“反倒是深度學習框架,現在的情況還好,沒有卡脖子。TensorFlow是開源框架,雖然也是國外的,但目前還沒有封閉,不過也不排除它后期還會封閉。這也是為什么我們公司選擇國產深度學習框架,一是使用門檻更低,二是防患于未然。客觀地說,國產框架離TensorFlow還有一定的差距,但這個差距在肉眼可見地縮小。”

從傳統的深度學習模型時代,到方興未艾的大模型時代,都離不開AI框架的平臺化支撐,其重要性不亞于芯片但和芯片不同的是,與大模型發展相適配的國產AI框架,基本實現了自保。

這是基礎技術領域一個非常大的進步,也是中國為什么沒有錯過這一輪大模型AI熱潮的原因之一。

2021-2024的短短數年,從機器學習到大模型,新舊技術“滄海桑田”,科技行業風云變幻,但AI框架之于產業的重要性,卻從未改變。

如果說,從信息化、數字化到智能化的漫長進程,就像魚類走向陸地的進化變遷,那么AI框架,就處于算力層與應用層的中間地帶,猶如海洋與陸地之間的那道“海岸”,支撐著各行各業與智能浪潮的交融。

那么,究竟什么是大模型所需要的AI框架?AI框架是如何滿足產業鏈需求的?國產AI框架與海外框架的差距或差異又在哪里?

本文就讓我們深入AI產業鏈的中樞地帶,沿著AI框架的“海岸”一探究竟。

wKgZomaggqOAQjwZAAJe04YhDfQ616.jpg

魚要經由海岸,進化成兩棲動物,適應陸地,才能具備在新環境的生存能力,拓寬種群的邊界。同理,AI模型從訓練到推理的全流程落地,開發者也需要一種基礎設施作為助力,這就是AI框架

一個底層AI框架,至少具備幾個特質:

1.通用性。AI框架作為基礎設施,廣泛覆蓋各類模型,同時簡化了AI開發過程,對多種算法進行模塊化封裝,讓開發者不需要“重復造輪子”,可以快速搭建AI模型。比如對多元異構計算硬件的適配兼容,支持大分發多類型任務調度的分布式能力,核心算子庫等,是開發各類算法模型都需要的,都要在框架層去解決。

2.全流程。AI框架集成了模型開發所需要的工具,為開發人員提供全流程的開發環境。具體來說,訓練、調優、測試和部署的一整個標準化流程中,所需要的相應組件,都能夠在一個平臺獲得,進行全流程的項目提升,高效滿足各類場景的定制化建構需求。

3.生態化。從產業鏈全局來看,AI框架下接芯片,上承應用,是芯片廠商、應用開發者、軟件服務商等多個行業主體都匯聚的中樞地帶,形成了非常關鍵的AI生態系統。擁有一個集聚產業鏈的自研AI框架,就如同擁有了一條生態豐富、自主可靠的海岸線,是一企乃至一國守住AI疆域的關鍵。

因此,當ChatGPT代表的大模型爆火之后,焦慮無處不在,“我們沒有大語言模型怎么辦?”“高端算力卡被禁了怎么辦?”“基礎軟件卡脖子怎么辦?”但同樣至關重要的底層AI框架,卻沒有出現“什么時候才能有自己的框架”的焦慮。

試想一下,如果國計民生重點行業的大模型,建立在海外企業的框架上,開源許可證的斷供風險、數據安全風險可想而知。幸好,國產AI框架,早就做好了準備。

目前,國際有兩大主流AI框架TensorFlow(谷歌)、PyTorch(Meta),而中國自研的AI框架,按照其廠商可以分為三類:

一是以百度為代表的AI頭部科技企業推出的,如飛槳paddlepaddle,基于先進模型和產業生態積累,布局AI框架,建立智能業務的體系化優勢。

中國軟件產業40年功勛人物、“國家卓越工程師”稱號、百度CTO的王海峰,曾回憶文心一言的開發過程:2023年要在算力需求爆發、供應緊缺的條件下,快速跟上ChatGPT的趨勢,正是基于百度的深度學習框架飛槳paddlepaddle,下游跟主流的芯片廠商做了適配,任何好的算力,我們都能用得起來,很快完成了大模型訓練。

二是以華為云為代表的AI云服務廠商推出的,如昇思mindspore,通過AI框架,在云基礎設施和行業云用戶之間搭建起橋梁,提供完整的云端大模型服務。

去年大模型的百花齊放,就是很多ToB企業和軟件公司,利用華為云上的AI框架昇思mindspore,以及盤古大模型、昇騰AI云服務等,支持國內各類開發者、服務商等結合行業應用場景,做出原創模型,支撐了國內多個領域訓練并首發大模型,加速了大模型走向產業化的進程。

三是垂類AI服務商、研究者推出的深度學習框架,具備某些獨特的技術特性或應用場景,比如曠視科技(Megvii)在計算機視覺領域的專長,使其MegEngine框架在圖像處理任務上表現突出;清華大學計算機系推出的Jittor,特別適合于研究和教育領域,便于快速實驗和算法原型開發;騰訊優圖的NCNN框架專為移動端和嵌入式設備優化,適合資源受限的環境或邊緣計算;一流科技的Oneflow,也是業內完整的深度學習框架類產品

不同于英偉達基于芯片構建的軟件生態體系,國產AI芯片廠商受限于產品規模,自研軟件配套的應用范圍比較有限,有待發育,就不詳述了。

綜上,面對大模型掀起的這一輪AI浪潮,海外框架平臺生態蓬勃,起到了一個“海闊憑魚躍”的作用。國產AI框架也沒有缺席,為各行各業探索大模型,奠定了基礎,匯聚了力量。

wKgZomaggqeAHqWzAAIp3MtAFP0636.jpg

AI框架之所以沒有缺席,是中國產學界人士“板凳甘坐十年冷”,一點一滴地構筑而成的。這個過程,遵循了技術領域的“雙漏斗”規律,是一個從擴散到收斂,從收斂到擴散的過程,其間經由開發者不斷選擇和淘汰,最終演化成了今日格局。

第一階段:早期時期的擴散漏斗(Diversity Phase)

新技術出現的初期,由于技術尚未成熟,新的想法和產品層出不窮,市場和用戶對于哪種技術會最終勝出存在很大的不確定性,因此會出現多樣化的技術流派。

PC操作系統、移動互聯網OS都經歷過百花齊放、多家爭鳴的階段,AI框架也不例外。深度學習大行其道的時候,數據、算法和算力激增,工程復雜度提高,開發者非常需要減少“重復造輪子”,直接調用某些模型或工具,這時候各大廠商都開始將自研算法和工具封裝為軟件框架,供開發者使用,涌現出了Theano、Caffe(伯克利大學)、Torch、DistBelief(谷歌,TensorFlow前身)等多款框架。

同一時期,國內還沒有互聯網企業或科技公司做框架,部分高校在學術科研角度做了一些零散的工作。構建完整的深度學習框架,是2013年百度開始。因為很早就關注到深度學習技術,百度更早遇到了深度學習應用上的一些挑戰,比如所有的算法從頭寫,開發效率低,經常出錯;每個深度學習開發團隊寫的程序差異很大,模塊無法復用,兼容性也不高,急需一個統一框架。于是2013年,百度開始在框架上投入。據了解,當時百度內部也是框架百花齊放,開發了多個深度學習框架,解決不同業務的不同問題。

值得注意的是,早在此時起,國內外的框架就已經顯露出差異化的特質。以Caffe、Torch為代表的海外框架,更偏向于學術、工程師使用;以百度為代表的國內框架,從產業土壤上生長出來,一開始就很注重實用性、功能性、分布式訓練、硬件優化等產業特性。

第二階段:競爭時期的收斂漏斗(Consolidation Phase)

隨著時間的推移,更主要是AI巨頭如谷歌、Facebook、百度的優勢框架相繼開源,其他框架逐漸被淘汰、合并,多樣化的框架格局開始向幾家主導“收斂”。

2015年開始,谷歌大腦宣布TensorFlow開源,2016年百度飛槳宣布開源,2017年Meta人工智能研究院(FAIR)宣布PyTorch開源。開發者逐漸集中到幾個主導者生態中。

曾經的熱點框架如Theano、CNTK(微軟)、Keras、Caffe2都相繼停止維護,或被主流框架收編,百度內部也開始將多款框架收斂為paddlepaddle,并正式對外開源。

這一階段,海內外并不“同此涼熱”。

一方面,PyTorch憑借極強的學術靈活性、易用性,迅速崛起,已經發布很快成為爆款,成為圍剿谷歌“框架霸權”(TensorFlow不兼容其他開發框架)的生力軍。

另一方面,當時國內很多企業的AI意識還沒有覺醒,以計算機視覺為代表的深度學習技術,很難滿足產業落地的精度需求。因此,當海外AI巨頭圍繞框架“火星四濺”的時候,中國的深度學習框架依然是“冷板凳”,企業中只有百度一家在堅持做。

如果說,當時海外框架是因競爭而主動收斂,那國內框架就是因為遇冷而被動孤守。

第三階段:摩擦時期的再生漏斗(Renewal Phase)

當主導框架不再適應時代需求,就會出現新的創新浪潮,導致技術的多樣性再次增加。“TensorFlow、PyTorch兩分天下”的局面被改變,國產AI框架的創新再生大爆發,是在2019-2020左右,中美科技摩擦逐漸增多,需求側和供給側都發生了諸多變化。

從供給側來看,海外框架爆出安全漏洞,而AI又涉及國計民生核心領域,供應鏈風險不得不重點考慮,自主可靠的國產框架成為必需,供給增多。這一階段,國產AI框架進入加速發展期,除了飛槳PaddlePaddle,華為、阿里巴巴、騰訊、曠視科技等產業界,以及清華薩血等學術界,也都相繼推出了自研框架,豐富了國產框架的活力。

從需求側來看,隨著AI滲透率提升,中國各行各業的開發者需要中文框架,更貼合中國市場的工具與數據集,更符合中國開發者需求的社區生態,更能滿足中國產業需求的AI平臺。

有開發者曾提到過,偏底層的TensorFlow,沒有為開發者考慮到大量細碎問題;習慣了郵件溝通的海外平臺社區,無法滿足中文開發者實時交流、社群互動的本土化開發需求;需求分散、場景多樣的國內中小企業,很少有技術人員,TensorFlow、PyTorch純開源框架不能提供成熟低門檻的解決方案,這種模式無法支撐AI廣泛落地。

當前階段:大模型時期的再收斂漏斗

AI框架從深度學習到大模型階段,從擴散到收斂再到擴散,技術革新與格局嬗變的背后,一條主線從未改變,那就是從學術到產業化,變得越來越易用、實用。對開發者和產業更友好,更具應用優勢的框架,生態的吸引力更強,框架的生命力也就更長,最終從群雄逐鹿的賽場中廝殺出來,成為主導。

目前,源于中國產業實踐的國產AI框架,也逐步收斂到更懂產業應用場景、更具技術先進性和生態規模優勢的飛槳與昇思。

具體表現在,飛槳和文心一言,昇思與盤古大模型,與產業結合的廣度和深度,已經超越了其他國產框架的生態規模。

同時,形成了全鏈路、低門檻的大模型服務能力,提供從算力、模型到應用、商業層的多元多層支持,凝聚更加廣泛的開發者。

產業鏈角色的多樣性與開放性也格外顯著,與模廠、硬件廠商、應用開發者、軟件企業、ISV服務商等行業伙伴,都建立起了較好的相互賦能關系,構建起智能服務的產品結構體系。

進入大模型時代的新階段,AI基礎設施的重要性,也被拔高到了前所未有的高度。

正如基礎通用模型不可能人人都做,如果企業和科研機構無差別入場做基礎模型,會造成算力人力的極大浪費,也會讓使用者的精力分散在各種模型的試錯上,無法快速凝聚到技術更強的模型上,框架也是類似的邏輯。

一個底層框架的技術優勢、工具完整度、生態規模,需要長期積累、聚沙成塔,而基礎軟件又格外需要生態的發展和匯集。逐步收斂到飛槳、昇思等更具潛力和繁榮的產業化框架上,構筑AI戰略底座,將是大勢所趨。

如前所說,AI框架是技術浪潮與產業大陸的連接地帶,只有在一次次潮起潮落后,仍然堅守下來的平臺,才能成為中國AI產業鏈的堅定守護者。

wKgaomaggqqAGdNkAAJlqwD8CPM633.jpg

經由時間和市場的洗練,國產框架與海外框架的特性差異,也變得越來越清晰。而這,可以作為一個側影,讓我們看到中國AI的差異化亮點。

還記得ChatGPT橫空出世之后,大家總能聽到這樣的言論,“中美AI差距有十年”“OpenAI一心底層創新,中國AI還沒長大就得出去賺錢”“百模大戰是同質化的浪費資源”……

從AI框架可以看到,更強的產業化能力,本就是中國AI的底色,也是亮色。

基礎能力上,以飛槳、昇思為代表的AI框架,在產業AI方面的實踐更多、積累最早,理解也最為深刻,因此可以很好地支持AI模型開發與部署,讓產業迅速、更大規模應用這些新技術。

舉個例子,面向科研、強調學術研究靈活性的PyTorch,對產業應用的推理部署需求,做得是比較薄弱的,而國產框架為大模型到產業鋪設了一條高效通道。

飛槳很快上線了對大模型開發的功能支持,提供了一系列模型封裝能力,加速大模型的產業化落地。昇思MindSpore提供了一整套高效、易用的大模型使能套件,形成了端到端的使能大模型開發能力。

通過AI框架,開發者與行業少走彎路,不重復造輪子,快速高效地把大模型用起來,這是中國的基座通用大模型快速跟進、行業大模型爆發的前提。

產品體系上,源于產業需求的國產AI框架,能力布局更加全面、細致,可以更好地滿足產業落地AI大模型的實際需求。

純開源的海外模型,常常會強調自己的技術有多厲害,有多強,對開發者就主打一個“野蠻生長”,這與其數字化水平、數字人才等都有直接關系。

然而中國企業的小、分散、需求長尾,決定了AI框架作為產業基礎設施,是不能輕易“放養”的。

比如硬件適配,海外以英偉達為主導的硬件市場,也不像中國面臨多元異構算力問題的巨大挑戰。作為國產AI框架,必須進行軟硬件結合的深度融合優化,做特別多的工程開發工作,來降低開發者的硬件適配成本。

再比如模型庫。模型庫不是深度學習框架核心的組成部分,底層框架廠商投入精力去打造更細分的模型,看起來好像是把精力分散到了外圍一些無關緊要的東西上,而不是底層核心技術。但從產業應用的角度來看,中國存在大量企業,沒有專門的研發人員能夠使用核心框架,從頭完成一個模型的自研工作,AI也沒有辦法落在產業需求中。

利用框架平臺的AI解決方案、模型和開發套件,進行微調改寫,就能得到一個貼合場景的定制化模型,這更符合中國的產業實際。

源于產業、面向產業、托舉產業,以國產AI框架為基,如同隱藏在漫長時光深處的“海岸”,在技術潮水涌動之際,才能看出戰略價值,支撐住中國產學政各界對大模型技術的期待。

處于產業鏈中樞地帶的AI框架,以穩定的底座、全產業鏈的貫通、較低的門檻,吸引了大量行業和從業者在這里棲身,適應并探索AI新技術;

在這里“進化”,從非數字原生組織,生長出數字化、智能化的能力;

在這里“融合”,多種產業角色在這里交流、融合、創新,匯聚起豐富的AI生態。

最終,經由AI框架的“海岸”,開發者和行業一步步向AI時代遷徙,開啟產業智能進化的新篇章。

wKgaomaggqyAKLodAAG8LSJq7Dc698.jpg

審核編輯 黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • AI
    AI
    +關注

    關注

    87

    文章

    31028

    瀏覽量

    269381
  • 人工智能
    +關注

    關注

    1792

    文章

    47373

    瀏覽量

    238875
收藏 人收藏

    評論

    相關推薦

    華為推動中國人工智能框架生態高速發展

    近日,昇思人工智能框架峰會在北京中關村國際創新中心召開,本次大會以“創新源動力,框架新選擇”為主題,由昇思MindSpore開源社區、中國人工智能學會及AITISA聯合主辦,旨在匯聚AI
    的頭像 發表于 12-17 11:06 ?269次閱讀

    大語言模型開發框架是什么

    大語言模型開發框架是指用于訓練、推理和部署大型語言模型的軟件工具和庫。下面,AI部落小編為您介紹大語言模型開發框架
    的頭像 發表于 12-06 10:28 ?135次閱讀

    中國科大實現耦合高度可調的維硅量子點陣列

    圖(左)硅量子點維陣列器件核心區的電子顯微鏡偽色圖;(右)任意調控量子點間最近鄰和次近鄰耦合,從而構造出不同的耦合結構。 我校郭光燦院士團隊在硅量子點陣列的維擴展及其耦合可調性
    的頭像 發表于 12-03 06:24 ?173次閱讀
    <b class='flag-5'>中國</b>科大實現耦合高度可調的<b class='flag-5'>二</b>維硅<b class='flag-5'>基</b>量子點陣列

    AI for Science:人工智能驅動科學創新》第AI for Science的技術支撐學習心得

    非常高興本周末收到一本新書,也非常感謝平臺提供閱讀機會。 這是一本挺好的書,包裝精美,內容詳實,干活滿滿。 關于《AI for Science:人工智能驅動科學創新》第章“AI
    發表于 10-14 09:16

    RISC-V如何支持不同的AI和機器學習框架和庫?

    RISC-V如何支持不同的AI和機器學習框架和庫?還請壇友們多多指教一下。
    發表于 10-10 22:24

    中國AI長卷(三):算法生根

    只要根深蒂固,任爾東西南北風
    的頭像 發表于 08-06 09:27 ?2695次閱讀
    <b class='flag-5'>中國</b><b class='flag-5'>AI</b><b class='flag-5'>長卷</b>(三):算法生根

    中國AI長卷(一):大國重算

    AI為沃土,智算是長城
    的頭像 發表于 07-23 10:51 ?1337次閱讀
    <b class='flag-5'>中國</b><b class='flag-5'>AI</b><b class='flag-5'>長卷</b>(一):大國重算

    ai大模型和ai框架的關系是什么

    AI大模型和AI框架是人工智能領域中兩個重要的概念,它們之間的關系密切且復雜。 AI大模型的定義和特點 AI大模型是指具有大量參數的深度學習
    的頭像 發表于 07-16 10:07 ?4w次閱讀

    AI大模型與AI框架的關系

    在探討AI大模型與AI框架的關系時,我們首先需要明確兩者的基本概念及其在人工智能領域中的角色。AI大模型通常指的是具有極大規模、高度復雜性和強大能力的人工智能系統,它們能夠處理復雜的任
    的頭像 發表于 07-15 11:42 ?1122次閱讀

    CubeIDE生成的代碼框架會卡在MX_X_CUBE_AI_Process()函數中是怎么回事?

    當我將網絡模型部署到STM32F407VGT6中時,CubeIDE生成的代碼框架會卡在MX_X_CUBE_AI_Process()函數中是怎么回事?CUbeAI庫的版本是9.0。期待您的回復,謝謝
    發表于 05-30 06:11

    訊精密榮登《財富》中國ESG影響力榜單

    《財富》中國ESG影響力榜揭曉,訊精密榮登榜單
    的頭像 發表于 05-14 14:35 ?404次閱讀
    <b class='flag-5'>立</b>訊精密榮登《財富》<b class='flag-5'>中國</b>ESG影響力榜單

    奧托夫與航盛電子在北京簽訂戰略合作框架協議、聯合研發協議

    2024年4月26日,奧托中國與深圳航盛電子在北京簽訂戰略合作框架協議、聯合研發協議,標志著奧托夫在自動駕駛領域邁出了堅實的一步。
    的頭像 發表于 04-28 11:03 ?1016次閱讀
    奧托<b class='flag-5'>立</b>夫與航盛電子在北京簽訂戰略合作<b class='flag-5'>框架</b>協議、聯合研發協議

    曠視科技與上海家化正式簽署《AI科技創新合作框架協議》

    3月18日,在2024年上海家化“致美·致時代”年度發布會上,上海家化聯合股份有限公司與北京曠視科技有限公司正式簽署《AI科技創新合作框架協議》,雙方將在AI賦能美業領域進一步展開深度合作,以
    的頭像 發表于 03-20 10:21 ?605次閱讀

    與Dynamis簽署供應框架協議,推動巴西綠色能源轉型

    2024年ATP智利公開賽期間,隆與巴西太陽能產品分銷商Dynamis簽訂160MW供應框架協議,共同推動巴西綠色能源轉型。
    的頭像 發表于 03-15 11:22 ?397次閱讀

    AI推理框架軟件ONNX Runtime正式支持龍架構

    近日,知名AI推理框架開源社區ONNX Runtime正式發布支持龍架構的版本1.17.0。
    的頭像 發表于 03-12 12:23 ?595次閱讀
    <b class='flag-5'>AI</b>推理<b class='flag-5'>框架</b>軟件ONNX Runtime正式支持龍架構
    主站蜘蛛池模板: 日本a级三级三级三级久久| 97av在线视频| 三级视频网站在线观看播放| 成人精品一区二区不卡视频| 精品手机在线视频| 国产一区二区三区美女图片| 国产乱码免费卡1卡二卡3卡四| 天堂免费观看| 上一篇26p国模| 一级毛片一级毛片一级毛片| 在线三级播放| 无人区理论片手机看片| 色吧五月婷婷| 精品你懂的| www我要色综合com| 天天想天天干| 国产精品久久1024| 69xxxxxxxxxhd日本| 男人cao女人视频在线观看| 欧美综合天天夜夜久久| 久久久久久久免费| 男人操女人免费| 最近2018中文字幕免费看在线| 午夜看大片| 免费大片黄日本在线观看| 爆操极品美女| 美女被免费网站91色| 98pao强力打造高清免费| 69国产成人综合久久精品| 三级毛片免费看| 韩国特黄特色a大片免费| 无毒不卡在线观看| 1024 在线观看视频免费| 美女扒开内裤无遮挡禁18| 天天射综合网站| 精品国产三级a∨在线| 午夜黄色毛片| 免费高清成人啪啪网站| 一级做a爰片久久毛片免费| 亚洲色图在线视频| 起碰成人免费公开网视频|