自2018年底發布全棧全場景AI戰略以來,華為憑借其巨大算力優勢強勢挺進AI江湖,特別是今年8月23日發布全球算力最強的AI處理器昇騰910,迅速將其江湖地位拉升至全球頭部陣列。各路巨頭也迅速意識到:華為不只有5G和手機,在基礎研究中的巨大投入正在幫助其占據未來制高點。
由于AI生態形成一直處于“不瘟不火”的狀態,也讓業界為AI前路多了幾分擔憂,特別是算力稀缺問題難以解決,更是為其蒙上了一層陰影。
在“AI寒冬將至”的疑惑之中,后入局的華為卻絲毫沒有放慢其前進的腳步,一年之內,AI處理器、計算框架相繼落地。洞察從何而來?自信從何而來?底牌從何而來?
“讓算力更加普惠,讓算法更加簡單”,即將舉行的2019全聯接大會,華為又將發布最新的AI和云產品與解決方案。答案,即將浮出水面。
AI寒冬將至?
1956年,時任達特矛斯學院助理教授的約翰·麥卡錫組織召集了達特矛斯討論,正是在這次會議上,第一次正式提出了“人工智能”的定義。從那以后的60年里,人工智能經歷了兩次發展的低谷,即所謂的“冬天”,但其發展的腳步并未就此停止。
2018年,在一次業界會議上,創新工場CEO李開復在講話中表示,機器學習最大的突破是在9年前取得的,之后再沒有重大突破。
可以看到,最近持相似觀點的講話越來越多。多年來,深度學習一直處于人工智能革命的最前沿,許多人相信深度學習將帶領我們進入新的時代。然而,從幾年前如火如荼,到如今的逐漸冷卻,浪潮一再的退去。面對疲軟的風口,人工智能將何去何從,AI寒冬是否將至,深度學習能否助力AI技術續寫輝煌?
深度學習的“新江湖”
說到深度學習與人工智能的關系,簡單來說就是:將海量數據通過深度學習進行處理后形成一個模型,再將模型應用到具體的業務環境中,這就是人工智能。可以說,深度學習是人工智能的重要推動力量。
當然,深度學習只是人工智能的一種實現方式,屬于機器學習的子集。深度學習本來并不是一種獨立的學習方法,其本身也會用到有監督和無監督等學習方法來訓練深度神經網絡。但由于近幾年該領域發展迅猛,一些特有的學習手段相繼被提出(如殘差網絡),因此越來越多的人將其單獨看作一種學習的方法。
最初的深度學習是利用深度神經網絡來解決特征表達的一種學習過程。為了提高深層神經網絡的訓練效果,人們對神經元的連接方法和激活函數等方面做出相應的調整。其實有不少想法早年間也曾有過,但由于當時訓練數據量不足、計算能力落后,因此最終的效果不盡如人意。
隨著海量標注數據的出現和算法的不斷提升,深度學習摧枯拉朽般地實現了各種任務,使得似乎所有的機器輔助功能都變為可能,比如無人駕駛等。
深度學習如此無所不能,主要得益于數據、算法、算力三者的共同提升。現在可以利用的數據特別是人工標注的數據比較豐富,使得人類能從數據中學到更多東西。技術上的發展使得超大規模的模型訓練也成為了可能,比如上千層的深度神經網絡,這在以前是不可想象的。
但超大規模模型的復雜度成指數級增加,以NLP領域的流行網絡BERT為例,其包含最大3.4億個參數,相比原來比較簡單的AlexNet等網絡,算力需求大概增長了10000倍。這也是OpenAI等組織說AI算力大概每年增長10倍的重要原因之一。
由于以上原因,再加上某些企業的慣例性供貨緊張,各研究機構和大學科研室的算力資源一直處于緊張的狀態,大家經常排隊遞交訓練作業,幾天才能等到結果。這也引來了深度學習領域的經典靈魂拷問:深度學習什么研究方向對算力要求不高?如何降低算法對算力的需求?
華為AI“破陣”
面對洶涌而至的海量數據和不斷復雜的算法,全球每年新增數據20ZB,AI算力需求每年增長10倍,這一速度已經遠超摩爾定律關于性能翻倍的周期。如何解決這一問題業界有不同的探索:
l 通過剪枝、權值共享、算法優化等方式降低模型大小,降低對算力的需求,尤其對于移動端設備;
l 從小樣本進行有效學習,降低對數據規模和算力的依賴,這樣也可以減少標記的工作量;
l 設計專門針對深度學習的加速硬件,從而解決CPU、GPU在芯片面積和效率上的代價問題。
這其中,最根本的方案還是通過硬件和系統的設計提升算力的供給程度,比如華為發布的昇騰系列AI處理器,采用達芬奇架構的AI內核針對深度學習進行優化設計,包含矩陣計算單元(Cube Unit)、向量計算單元(Vector Unit)和標量計算單元(Scalar Unit),結合了GPU、TPU、CPU的優點。尤其對于深度學習領域常用的矩陣乘加運算有數十倍的效率提升。其面向訓練領域的昇騰910 AI處理器,單芯片即可提供256TFLOPS的超強計算能力,是業界水平的兩倍。
但僅僅有芯片是不夠的,還需要通過高速低延時網絡將芯片組合起來,釋放出AI處理器的強大性能,配合數據并行、模型并行等的系統級優化設計才能提供超出現有水平的算力高峰。
據了解,2019華為全聯接大會上就將推出這方面的AI新品,如何破解算力稀缺難題,華為看來還有大招。
-
華為
+關注
關注
216文章
34437瀏覽量
251743 -
機器學習
+關注
關注
66文章
8418瀏覽量
132635 -
深度學習
+關注
關注
73文章
5503瀏覽量
121162
發布評論請先 登錄
相關推薦
評論