當(dāng)下,邊緣側(cè)AI應(yīng)用需求越來(lái)越迫切,帶動(dòng)著相應(yīng)的AI推理芯片向前發(fā)展。所謂邊緣側(cè)AI,是指在端側(cè)設(shè)備本身,而不是在云端或大型數(shù)據(jù)中心服務(wù)器上運(yùn)行AI推理,這樣做具有多種益處,例如消除了處理延遲,減少了數(shù)據(jù)傳輸量和帶寬,并且還可以增加隱私安全。鑒于這種優(yōu)勢(shì),邊緣AI芯片市場(chǎng)的增長(zhǎng)非常顯著——2017年,市場(chǎng)才出現(xiàn)第一款商用企業(yè)邊緣AI芯片,據(jù)德勤預(yù)計(jì),2020年,邊緣AI芯片銷量將超過(guò)7.5億個(gè)。
2018年,全球人工智能芯片市場(chǎng)規(guī)模為66.4億美元,預(yù)計(jì)未來(lái)幾年將大幅增長(zhǎng),到2025年將達(dá)到911.9億美元,年復(fù)合增長(zhǎng)率為45.2%。因此,許多公司都在努力開(kāi)發(fā)人工智能芯片。然而,類似于CPU、GPU和基帶處理器市場(chǎng)的成長(zhǎng)過(guò)程,AI芯片市場(chǎng)也在經(jīng)歷著由少數(shù)大型玩家主導(dǎo)的命運(yùn)。
在人工智能芯片市場(chǎng)競(jìng)爭(zhēng)的公司,從英特爾、高通、Arm和Nvidia等芯片巨頭,到傳統(tǒng)的互聯(lián)網(wǎng)科技巨頭,以及眾多新興企業(yè),如Graphcore、Mythic和Wave Computing。目前,絕大多數(shù)(90%)邊緣 AI 芯片用于消費(fèi)類設(shè)備,許多智能手機(jī)制造商也沒(méi)有錯(cuò)過(guò)這個(gè)機(jī)會(huì),開(kāi)發(fā)了自己的AI加速器,例如,蘋(píng)果用于iPhone的8核神經(jīng)引擎。
目前,邊緣AI芯片市場(chǎng)仍處于較為開(kāi)放的競(jìng)爭(zhēng)狀態(tài),還沒(méi)有絕對(duì)的霸主。業(yè)內(nèi)人士和投資者都在密切關(guān)注那些技術(shù)和產(chǎn)品力突出的公司。該領(lǐng)域?qū)⒉豢杀苊獾赝ㄟ^(guò)投資、收購(gòu)和優(yōu)勝劣汰向前發(fā)展。未來(lái)幾年內(nèi),可能會(huì)出現(xiàn)市場(chǎng)領(lǐng)導(dǎo)者,那么,誰(shuí)將成為邊緣AI芯片領(lǐng)域的英特爾或高通呢?
在廣義層面,AI芯片的領(lǐng)跑者是英特爾和英偉達(dá)(Nvidia)。目前,英特爾的CPU在AI推理市場(chǎng)占據(jù)主導(dǎo)地位,而Nvidia則主導(dǎo)著AI訓(xùn)練芯片市場(chǎng)。然而,相對(duì)于英特爾,Nvidia似乎更勝一籌,在數(shù)據(jù)中心AI芯片市場(chǎng)處于領(lǐng)先地位。為了趕超對(duì)手,英特爾不斷通過(guò)收購(gòu)相關(guān)的AI芯片初創(chuàng)企業(yè)來(lái)提升技術(shù)能力,就在2019年12月,英特爾以20億美元收購(gòu)了以色列的深度學(xué)習(xí)加速器開(kāi)發(fā)商Habana。
Habana的Goya加速器確實(shí)有獨(dú)到之處,其技術(shù)很新穎,例如支持遠(yuǎn)程直接內(nèi)存訪問(wèn) (RDMA),即從一臺(tái)計(jì)算機(jī)的內(nèi)存直接訪問(wèn)到另一臺(tái)計(jì)算機(jī)的內(nèi)存,而無(wú)需使用任一計(jì)算機(jī)的操作系統(tǒng)。此功能特別適用于大規(guī)模并行計(jì)算機(jī)集群,從而用于在云上訓(xùn)練復(fù)雜模型(目前,Nvidia在該領(lǐng)域占主導(dǎo)地位)。另一方面,Nvidia 最近發(fā)布了其 Jetson Xavier NX 邊緣AI芯片,其算力高達(dá)21TOPS,特別是針對(duì)AI推理。
此外,一些AI芯片新星也很吸睛,如英國(guó)的Graphcore,最近,該公司與微軟合作,以19.5億美元的估值融資1500萬(wàn)美元。他們的旗艦產(chǎn)品 - 智能處理單元(IPU) - 具有極強(qiáng)的性能指標(biāo)和新穎的架構(gòu),例如,使用處理器內(nèi)內(nèi)存將整個(gè) ML 模型放在處理器內(nèi),以最大限度地減少延遲并最大化內(nèi)存帶寬。
另外一家初創(chuàng)企業(yè)Mythic 的體系結(jié)構(gòu)同樣值得關(guān)注,它結(jié)合了硬件技術(shù),如內(nèi)存計(jì)算(無(wú)需構(gòu)建緩存層次結(jié)構(gòu))、數(shù)據(jù)流體系結(jié)構(gòu)(特別適用于基于圖形的應(yīng)用,如推理)和模擬計(jì)算(通過(guò)使用內(nèi)存元素作為可調(diào)諧電阻器計(jì)算直接在內(nèi)存內(nèi)部進(jìn)行神經(jīng)網(wǎng)絡(luò)矩陣操作)。Mythic在融資方面也沒(méi)有落后于 Graphcore — — 2019 年 6 月,軟銀等投資者向其增加了3000萬(wàn)美元的投資。
雖然還不清楚誰(shuí)將最終主導(dǎo)AI芯片市場(chǎng),但從歷史發(fā)展(如CPU和基帶處理器領(lǐng)域)經(jīng)驗(yàn)來(lái)看,IP是取勝關(guān)鍵,誰(shuí)在這方面占據(jù)了先機(jī),就將在競(jìng)爭(zhēng)中處于優(yōu)勢(shì)地位。因此,創(chuàng)新依然是發(fā)展壯大的關(guān)鍵。
新的芯片架構(gòu)和技術(shù)
在創(chuàng)新方面,今年陸續(xù)出現(xiàn)了一些新的邊緣AI芯片架構(gòu),重點(diǎn)針對(duì)邊緣 AI 進(jìn)行了優(yōu)化。而新興的RISC-V在其中扮演著重要的角色。由于是開(kāi)源的,RISC-V指令集體系結(jié)構(gòu)具有各種指令擴(kuò)展,可提高邊緣AI的性能,并降低功耗。基于這些,RISC-V在邊緣側(cè)應(yīng)用對(duì)Arm發(fā)起了挑戰(zhàn)。
今年10月,Nvidia提議收購(gòu)Arm,再次引起了Arm與RISC-V之爭(zhēng)的話題。對(duì)此,F(xiàn)acebook首席人工智能科學(xué)家Yann LeCun在法國(guó)研究實(shí)驗(yàn)室CEA-Leti的創(chuàng)新日上發(fā)言說(shuō),應(yīng)該向RISC-V轉(zhuǎn)移,用于為邊緣AI應(yīng)用運(yùn)行神經(jīng)網(wǎng)絡(luò)。
他說(shuō):“Nvidia收購(gòu)Arm這一變化讓人感到不安,這讓人們更多地看到了RISC-V的發(fā)展?jié)摿Γ琑ISC-V處理器的價(jià)格非常便宜,不到10美元,許多來(lái)自中國(guó),它們將變得無(wú)處不在。“
”邊緣AI是一個(gè)超級(jí)重要的話題,“Yann LeCun說(shuō):”在未來(lái)兩到三年內(nèi),它意味著盡可能降低功耗,修剪神經(jīng)網(wǎng)絡(luò),優(yōu)化權(quán)重,關(guān)閉系統(tǒng)中未使用的部分。在未來(lái)兩到三年內(nèi),使用這種AI芯片的AR設(shè)備將陸續(xù)出現(xiàn)。“
他還提到:“十年后,在自旋電子學(xué)方面是否會(huì)有一些突破,或者任何允許模擬計(jì)算而無(wú)需硬件多路復(fù)用?我們能否想出類似的東西,在不進(jìn)行硬件多路復(fù)用的情況下,大大縮小單個(gè)芯片的設(shè)備尺寸,這是一個(gè)很大的挑戰(zhàn)。“
Leti 首席執(zhí)行官 Emmanual Sabonnadiere 表示:”公司正在為下一代芯片開(kāi)發(fā) 1nm 和 2nm 技術(shù),我堅(jiān)信我們可以不同的方式,使用傳感器、神經(jīng)網(wǎng)絡(luò)和控制器來(lái)實(shí)現(xiàn)這種硬件。我們正在努力制定國(guó)家計(jì)劃,邊緣AI旨在阻止數(shù)據(jù)泛濫并保護(hù)隱私。“
Leti 也是全歐洲神經(jīng)網(wǎng)絡(luò)計(jì)劃的一份子,該計(jì)劃正在研究神經(jīng)網(wǎng)絡(luò)芯片的新平臺(tái)。
CEA-Leti的副首席執(zhí)行官兼首席技術(shù)長(zhǎng)讓·雷內(nèi)·萊奎佩斯(Jean Rene Lequeypes)表示:“現(xiàn)在,我們已有 2000 多人在努力研究下一代AI技術(shù)。位于貝爾焦姆的伊梅克、德國(guó)的弗勞恩霍夫和萊蒂正在開(kāi)發(fā)一個(gè)邊緣AI平臺(tái),除此之外,我們還在格勒諾布爾的因里亞(Inria)工作,以研發(fā)Facebook和硅谷大公司需要的下一代技術(shù)和產(chǎn)品。“
挑戰(zhàn)在于集成所有不同的元素,而無(wú)需使用 5nm制程及以下所需的EUV光刻機(jī)。
Lequeypes 說(shuō):”我們希望獲得 1000TOPS/mW 的終極性能,這是一個(gè)非常大的挑戰(zhàn),以及如何處理信息存儲(chǔ),以及如何集成這些存儲(chǔ)器而無(wú)需使用EUV。“
邊緣AI芯片的低功耗突破
以上,提到了高性能和低功耗,在邊緣側(cè),對(duì)低功耗的要求非常高,在某種意義上講,它比性能更為重要。這是當(dāng)下邊緣AI芯片研究的一個(gè)重點(diǎn)。
比利時(shí)的 Imec 利用一種新技術(shù)開(kāi)發(fā)了一種測(cè)試芯片,這種技術(shù)可顯著降低機(jī)器學(xué)習(xí)邊緣 AI 系統(tǒng)的功耗。
模擬內(nèi)存計(jì)算(AiMC)架構(gòu)使用經(jīng)過(guò)修改的內(nèi)存單元在網(wǎng)絡(luò)邊緣處理經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù),其功率效率為 2900TOPS/W。
“我們建立了一個(gè)特殊的計(jì)算單元,通過(guò)減少數(shù)字傳輸來(lái)節(jié)省能耗,”imec機(jī)器學(xué)習(xí)項(xiàng)目主管迪得里克·維克斯特說(shuō)。“根據(jù)脈沖寬度,在繼續(xù)進(jìn)行數(shù)字計(jì)算之前,可以得到ADC上權(quán)重的求和,”他說(shuō)。
“在這個(gè)芯片中,我們使用3級(jí)權(quán)重。權(quán)重可以是 -1、0 或 1,我們使用兩個(gè) SRAM 單元來(lái)存儲(chǔ)此權(quán)重級(jí)別。計(jì)算單元是一個(gè)模擬電路,在兩個(gè)SRAM單元上有幾個(gè)額外的晶體管,這會(huì)產(chǎn)生與存儲(chǔ)的3級(jí)權(quán)重和激活信號(hào)(DAC 的輸出)的乘法成正比的模擬信號(hào)。因此,嚴(yán)格地說(shuō),3 級(jí)權(quán)重以數(shù)字方式存儲(chǔ),但所有計(jì)算都是在模擬域中完成的。“
”模擬推理加速器(AnIA)的成功流片標(biāo)志著向AiMC驗(yàn)證邁出了重要一步,“他補(bǔ)充說(shuō):”參考設(shè)計(jì)不僅表明模擬內(nèi)存計(jì)算在實(shí)踐中是可行的,而且表明它們比數(shù)字加速器實(shí)現(xiàn)了10到100倍的能效。從我們的角度來(lái)看,這是機(jī)器學(xué)習(xí)程序中的一個(gè)里程碑,表明模擬計(jì)算可以具有與數(shù)字計(jì)算相同的精度。“
AnIA測(cè)試芯片已采用格芯(GF)位于德國(guó)德累斯頓的22nm FD-SOI低功耗工藝平臺(tái),芯片面積為 4平方毫米,具有 1024 個(gè)輸入和 512 個(gè)輸出信號(hào),其性能與當(dāng)今的GPU類似。它顯示的精度與數(shù)字實(shí)現(xiàn)相同,達(dá)到1%,但能效為 2900TOPS/W。低功耗和低成本的結(jié)合為嵌入式硬件中的邊緣AI圖像識(shí)別和傳感提供了機(jī)會(huì)。
GF計(jì)算和有線基礎(chǔ)設(shè)施產(chǎn)品管理副總裁 Hiren Majmudar 表示:”在AI領(lǐng)域,模擬計(jì)算是一種很有發(fā)展前景的前沿技術(shù),因?yàn)樗试S減少數(shù)據(jù)移動(dòng),這將成為主流。“
Majmudar說(shuō):“此測(cè)試芯片向業(yè)界展示了22FDX是如何顯著降低機(jī)器學(xué)習(xí)應(yīng)用芯片功耗的。我們獲得了與GPU相同的性能,但具有更高的能效。“
目前,新的 AiMC 功能正在德國(guó)德累斯頓Fab 1的先進(jìn)300mm生產(chǎn)線上進(jìn)行開(kāi)發(fā)。
預(yù)計(jì)模擬計(jì)算AI芯片將在今年年底或明年初投入生產(chǎn),并在2022年晚些時(shí)候進(jìn)入大眾市場(chǎng),甚至可能更早。
GF使用了經(jīng)過(guò)修改的SRAM單元,也可采用其他內(nèi)存技術(shù),如MRAM,閃存,DRAM等。
在低功耗AI芯片方面,Socionext開(kāi)發(fā)了一個(gè)原型芯片,它結(jié)合了新開(kāi)發(fā)的量化深度神經(jīng)網(wǎng)絡(luò)(DNN)技術(shù),為小型和低功耗邊緣計(jì)算設(shè)備實(shí)現(xiàn)了先進(jìn)的AI處理能力。該原型是日本新能源和工業(yè)技術(shù)開(kāi)發(fā)組織(NEDO)委托的”低功耗AI-Edge LSI技術(shù)開(kāi)發(fā)“項(xiàng)目的一部分。
Socionext開(kāi)發(fā)了一種基于”量化DNN技術(shù)“的專有架構(gòu),以減少深度學(xué)習(xí)所需的參數(shù)和激活位。結(jié)果是提高了 AI 處理的性能,同時(shí)降低了功耗。該體系結(jié)構(gòu)除了傳統(tǒng)的 8 位之外,還集成了 1 位(二進(jìn)制)和 2 位(三位)的位縮減,以及該公司的原始參數(shù)壓縮技術(shù),大大減少了計(jì)算數(shù)據(jù)量。
此外,該公司還開(kāi)發(fā)了一種新型的片上存儲(chǔ)技術(shù),可提供高效的數(shù)據(jù)傳輸。
這些新技術(shù)集成在原型AI芯片中,據(jù)報(bào)道,它的功耗不到5W。該公司稱,這比傳統(tǒng)的通用GPU效率高10倍。
另外一家初創(chuàng)AI公司Sima.ai研發(fā)了名為MLSoC的芯片,這是一個(gè)針對(duì)計(jì)算機(jī)視覺(jué)的卷積神經(jīng)網(wǎng)絡(luò)平臺(tái)。該芯片原計(jì)劃在2020年底流片,采用16nm制程。該公司的目標(biāo)是處理每秒最高幀/瓦。
該公司稱,該芯片將在5W時(shí)提供50TOPS的算力,在20W時(shí)提供200TOPS的算力。
當(dāng)被問(wèn)及如何與英特爾-Mobileye和Nvidia等老牌企業(yè)競(jìng)爭(zhēng)時(shí),Sima.ai的高層表示,降低功耗是關(guān)鍵,因?yàn)榭蛻粝M谀芎氖芟薜那闆r下擴(kuò)展其工作負(fù)載。
待解決的問(wèn)題
目前,邊緣AI芯片技術(shù)和市場(chǎng)都不成熟,處于群雄逐鹿的階段。此時(shí),各種規(guī)范還沒(méi)成型,存在著一些問(wèn)題和隱患,如系統(tǒng)偏差和AI倫理道德問(wèn)題。
亞馬遜AI和機(jī)器學(xué)習(xí)相關(guān)人士表示,即使有最好的意圖,數(shù)據(jù)集中也可能存在偏差,并引入具有業(yè)務(wù)、道德和監(jiān)管模型中。這意味著模型管理員必須了解系統(tǒng)中潛在的偏差來(lái)源。
對(duì)于簡(jiǎn)單且易于理解的算法,破解模型、檢查訓(xùn)練期間學(xué)到的參數(shù),以及確定它主要使用哪些功能相當(dāng)容易。
然而,隨著模型變得越來(lái)越復(fù)雜,這種分析變得不可能。許多公司和組織可能需要 ML 模型才能解釋,然后才能在生產(chǎn)中使用。此外,當(dāng) ML 模型用作相應(yīng)決策的一部分時(shí),某些規(guī)則可能需要解釋,而關(guān)閉循環(huán)時(shí),可解釋性也有助于檢測(cè)偏差。
關(guān)鍵是將這些偏差監(jiān)視和緩解工具集成到邊緣 AI 工作流中,以便開(kāi)發(fā)人員可以使用它們。
隨著AI的發(fā)展,其倫理道德問(wèn)題開(kāi)始浮出水面,涉及到以下原則:人類自主性、可解釋性、持續(xù)關(guān)注和警惕性、隱私和安全設(shè)計(jì)。
恩智浦在一份聲明中表示:”作為AI領(lǐng)域的創(chuàng)新者,我們致力于應(yīng)用道德原則。消費(fèi)者依靠AI來(lái)承擔(dān)更多責(zé)任和決策,尤其是在人們希望其設(shè)備透明、公平、安全地運(yùn)行時(shí),安全性是關(guān)鍵。通過(guò)將這些道德原則構(gòu)建到能夠感知、解釋和分析邊緣數(shù)據(jù)的設(shè)備中,就可以啟用以合乎道德方式采取行動(dòng)的AI了。
責(zé)任編輯:lq
-
cpu
+關(guān)注
關(guān)注
68文章
10873瀏覽量
212038 -
人工智能
+關(guān)注
關(guān)注
1791文章
47352瀏覽量
238791 -
AI芯片
+關(guān)注
關(guān)注
17文章
1889瀏覽量
35074
原文標(biāo)題:亂戰(zhàn)中的AI芯片,創(chuàng)新與隱患誰(shuí)更突出?
文章出處:【微信號(hào):半導(dǎo)體科技評(píng)論,微信公眾號(hào):半導(dǎo)體科技評(píng)論】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論