電子發(fā)燒友網(wǎng)報(bào)道(文/李彎彎)如今隨著技術(shù)發(fā)展,計(jì)算任務(wù)越來越復(fù)雜,而在馮諾依曼架構(gòu)中,數(shù)據(jù)需要在存儲、內(nèi)存、緩存、計(jì)算單元中不斷搬運(yùn),造成大部分時(shí)間、帶寬、緩存、功耗都消耗在數(shù)據(jù)搬運(yùn)上,而不是計(jì)算上,因此存儲墻成了一個(gè)越來越嚴(yán)重的問題。
存內(nèi)計(jì)算,故名思義就是把計(jì)算單元嵌入到內(nèi)存當(dāng)中,理想中是可以完美解決存儲墻的問題,近幾年,三星、SK海力士、臺積電、英特爾、美光、阿里等半導(dǎo)體領(lǐng)域巨頭都在積極研發(fā),許多新興企業(yè)也陸續(xù)加入進(jìn)來,并取得了不錯(cuò)進(jìn)展。
面對打得火熱的存內(nèi)計(jì)算,也有人認(rèn)為,存內(nèi)計(jì)算可能行不通,有幾個(gè)方面的原因:一是AI算法模型的容量比較大,而這個(gè)在存儲器里面做計(jì)算,成本會非常高;二是受限于存儲芯片的工藝,比如說密度要做到很高,良品率要比較高,工藝就比較難以做到。
那么存內(nèi)計(jì)算到底可不可行?存內(nèi)計(jì)算未來的市場機(jī)會點(diǎn)在哪里?蘋芯科技CEO楊越在接受電子發(fā)燒友采訪時(shí),針對在存儲器內(nèi)做計(jì)算成本不會太高,存儲芯片工藝能不能行,存內(nèi)計(jì)算的主要的應(yīng)用場景方向,做了詳細(xì)的分享和解答。
存內(nèi)計(jì)算到底可不可行
針對“AI算法模型的容量比較大,而這個(gè)在存儲器里面做計(jì)算,成本會非常高”的疑問,楊越解釋道,有人認(rèn)為在存儲器里面做計(jì)算,成本會高,是因?yàn)樗麄冋J(rèn)為要容下非常多網(wǎng)絡(luò)參數(shù),就需要把存儲器做得非常大,存儲器做大就意味著成本高。
針對這個(gè)問題,楊越表示目前已經(jīng)有很多方法可以解決。
第一,在算法模型上進(jìn)行解決,即將網(wǎng)絡(luò)模型輕量化,比如知識蒸餾,簡單來說就是減少算法模型中的參數(shù)的存儲需求,目前已經(jīng)有很多非常成熟的方法,比如CNN壓縮,就是屬于這一類。
蘋芯科技以S200為基礎(chǔ)搭建的功能演示平臺,在這個(gè)演示系統(tǒng)里,就采用了其中一種基于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索NAS的方法來得到輕量化的模型,而且能完成非常高的識別率,可以達(dá)到99%的關(guān)鍵字識別功能。S200是蘋芯首款可商用的存內(nèi)計(jì)算芯片,以S200為基礎(chǔ)搭建功能演示平臺,目的是演示在28nm工藝節(jié)點(diǎn)上的存內(nèi)計(jì)算可以跑通端對端的神經(jīng)網(wǎng)絡(luò)。
第二,從可擴(kuò)展的架構(gòu)設(shè)計(jì)上著手。楊越表示我們可以試圖打破將整個(gè)算法模型必須同時(shí)全部加載到內(nèi)存中之后,才可以開始計(jì)算的固化假設(shè)。相應(yīng)地,一個(gè)好的存算架構(gòu)是可以支持以計(jì)算負(fù)載為主或以存儲負(fù)載為主的不同任務(wù),從而形成一個(gè)基于存內(nèi)計(jì)算的向上適配能力強(qiáng)的算力平臺。
第三,可以通過使用新型存儲器解決這個(gè)問題,包括磁性存儲器MRAM和憶阻器RRAM,相比于SRAM來說,MRAM和RRAM都有更高的存儲密度,所以從存儲單元介質(zhì)本身就可以做到更大,這樣可以達(dá)到存儲更多計(jì)算參數(shù)的目的。
可以看到,從這三個(gè)方面著手,都可以達(dá)到解決AI算法模型太大,存儲器要放下這么多數(shù)據(jù),需要把存儲器做得很大,從而帶來成本高的問題。
針對存儲芯片的工藝可能帶來限制的問題,楊越談到,蘋芯科技主要是基于SRAM的存內(nèi)計(jì)算,目前SRAM的工藝已經(jīng)非常成熟,就存儲器器件本身來說,市面上已經(jīng)有7nm、5nm的產(chǎn)品,成熟工藝的良率很有保證。
“另外,對于新型存儲器MRAM和RRAM,頭部代工廠也已經(jīng)有22nm甚至更高制程的量產(chǎn)線。”楊越說,所以在他看來,存內(nèi)計(jì)算技術(shù)可以跟隨新型存儲器器件本身的技術(shù)逐步共同走向成熟。
另外需要提到的一點(diǎn)是,新型存儲器MRAM和RRAM雖然可以解決容量不大這個(gè)問題,但是作為一個(gè)新的產(chǎn)品類型,還存在一些挑戰(zhàn),比如在可靠性,耐用性上存在一些挑戰(zhàn)。不過楊越預(yù)計(jì)在近期未來新型存儲就會達(dá)到商業(yè)成熟化的程度。
蘋芯科技雖然成立時(shí)間不長,但是團(tuán)隊(duì)在創(chuàng)業(yè)前期就已經(jīng)有很長時(shí)間的積累,存內(nèi)計(jì)算是一項(xiàng)技術(shù)壁壘非常高的工程,而蘋芯科技在包括從底層內(nèi)存器件的物理特性的理解,到上層芯片架構(gòu)的設(shè)計(jì),再到最后產(chǎn)品落地成本的控制上都有足夠的積累,在各個(gè)技術(shù)棧都有自己的IP,蘋芯科技也是第一個(gè)擁有工業(yè)級28nm SRAM存內(nèi)計(jì)算加速單元DEMO的團(tuán)隊(duì),并首次利用RRAM存內(nèi)計(jì)算完成基于LeNet的CIFAR10的識別任務(wù)。
蘋芯科技下一代芯片S300已從代工廠回片,據(jù)楊越介紹,目前工程團(tuán)隊(duì),正在進(jìn)行相應(yīng)的測試和展示工作,相較于S200,S300具有更強(qiáng)大的計(jì)算能力,可以兼容更多網(wǎng)絡(luò)模型,從而支持更豐富的邊緣端應(yīng)用場景。
存內(nèi)計(jì)算的機(jī)會點(diǎn)在哪里
我們知道,存內(nèi)計(jì)算有多種不同的技術(shù)路線,每個(gè)技術(shù)路線各有特點(diǎn),比如Flash的優(yōu)點(diǎn)是密度比較高,DRAM成本會比較低,磁性存儲器MRAM、憶阻器RRAM除了存儲密度比較高之外,功耗也比較低,楊越說:“這兩類新型存儲器MRAM和RRAM代表著存內(nèi)計(jì)算的未來。”不過因?yàn)槭切录夹g(shù),就如上文所言,在工藝成熟度和商業(yè)化上還需要一些耐心。
蘋芯科技采用的是SRAM+MRAM和RRAM混合技術(shù)路線。楊越解釋說:“之所以選擇這樣的技術(shù)路線,背后的原因是,SRAM作為讀寫速度最快的內(nèi)存介質(zhì),具備很多優(yōu)勢,比如,它可以向更先進(jìn)的制程節(jié)點(diǎn)兼容,具備高能效比的計(jì)算優(yōu)勢,同時(shí)它又不存在其他非易失性存儲所具備的耐久性問題,更重要的是,基于SRAM的設(shè)計(jì)方案,可以支持純數(shù)字化設(shè)計(jì),從而能夠解決很多應(yīng)用場景所關(guān)心的精度問題。”
蘋芯選擇新型存儲器,一是因?yàn)樗哂懈咝阅芴旎ò澹沁@也有利于團(tuán)隊(duì)核心成員更好地發(fā)揮過往的技術(shù)積累和工程經(jīng)驗(yàn)。
存內(nèi)計(jì)算未來的應(yīng)用個(gè)機(jī)會點(diǎn)在哪里呢?現(xiàn)在很多具有AI計(jì)算功能的芯片,包括GPU、FPGA以及NPU、SOC等,都是基于傳統(tǒng)的馮諾伊曼架構(gòu)設(shè)計(jì)的,會受到存儲墻、功耗墻的約束,這就導(dǎo)致他們在絕對計(jì)算上很強(qiáng),但在整個(gè)計(jì)算效率上存在天花板。
而存內(nèi)計(jì)算就可以彌補(bǔ)這些問題,短期來看,存內(nèi)計(jì)算的主要市場機(jī)會主要會出現(xiàn)在端側(cè)的產(chǎn)品上,因?yàn)榇鎯?nèi)計(jì)算的技術(shù)優(yōu)勢,能夠提供比較高的計(jì)算效率和比較低的功耗,比如可穿戴設(shè)備、智能家居等是非常適合存內(nèi)計(jì)算的應(yīng)用方向。
長期來看,隨著新型存儲器工藝的成熟,它不但會給低功耗的市場帶來機(jī)會,同時(shí)會把計(jì)算能力提升2-3個(gè)量級,讓存內(nèi)計(jì)算的應(yīng)用擴(kuò)展到更多場景中,比如在一些用電量受限,但對絕對算力仍然有要求的場景層面,存內(nèi)計(jì)算就可以給客戶帶來差異化的選擇機(jī)會。
小結(jié)
如Gardner曲線的解讀,任何新興技術(shù)在發(fā)展初期都會經(jīng)歷一些起伏,尤其像存內(nèi)計(jì)算這種在底層上有巨大突破的技術(shù),從最初的熱捧,到發(fā)展期的理性,到成長期的企穩(wěn)上升,再到最后產(chǎn)品商業(yè)化。扎實(shí)的技術(shù)背景和可靠的工程化能力,是存內(nèi)計(jì)算企業(yè)立足市場并獲得客戶認(rèn)可的重要基礎(chǔ)。我們期待著更多更好的技術(shù)與產(chǎn)品,為智能化場景描繪出更美好的未來。
-
數(shù)據(jù)
+關(guān)注
關(guān)注
8文章
7104瀏覽量
89298 -
計(jì)算
+關(guān)注
關(guān)注
2文章
451瀏覽量
38840 -
AI算法
+關(guān)注
關(guān)注
0文章
252瀏覽量
12297
發(fā)布評論請先 登錄
相關(guān)推薦
評論