電子發燒友網報道(文/李彎彎)隨著技術的發展,現在計算的任務越來越復雜,需要的數據也越來越多,而在馮諾依曼架構中,數據需要在存儲、內存、緩存、計算單元中不斷搬運,造成大部分時間、帶寬、緩存、功耗都消耗在數據搬運上,而不是計算上,因此內存墻都成了一個越來越嚴重的問題。
這種問題在人工智能計算中尤為明顯,知存科技創始人兼CEO王紹迪近日在某論壇分享到:“這種數據搬運消耗的功耗超過95%以上,帶寬也會達到80%以上,比如片上緩存,1MB的SRAM和8KB的SRAM在數據搬運上消耗的功耗相差10倍。”因此業界都在思考減少內存墻問題。
存算一體有效解決內存墻問題
存算一體主要有近存計算和存內計算。近存計算可以理解為通過先進封裝拉近存儲、內存和計算單元的距離,比如SRAM,在馮諾依曼架構中,很多時候SRAM用作緩存,多核共同使用,這樣緩存到每個核都有一定距離,數據搬運、訪問時間、功耗都會增加,王紹迪介紹:“近緩存計算把SRAM與計算單元合在一起,這個SRAM只供本地計算單元使用,數據訪問時間和帶寬都有很大提升。”
存內計算比近存計算更高效,同時也更難以實現,存內計算一般是使用存儲的參數去完成計算,比如SRAM存內計算,Flash存內計算、以及RRAM存內計算。存內計算實際上是一個計算的模塊,而不再是存儲的模塊,實踐的方式是用存儲的參數去完成運算,從存儲器中讀出的數據是運算的結果,而不是存儲的數據。
在馮諾依曼架構中,不管是做加法運算還是乘法運算,都需要把數據從存儲架構中讀出來,包括緩存、內存、以及片外的存儲,最終將數據讀到計算單元中完成運算。從緩存中讀取數據,要消耗運算幾倍、幾十倍、甚至幾百倍的功耗,從內存讀取數據,搬運功耗是運算的近千倍,從外部的存儲讀取,達到上萬倍。
因此在數據量很大的計算中,馮諾依曼架構的效率就會非常低,而存內計算,存儲器中存儲了參數,被處理的數據作為輸入信號,被處理的信號流過存儲器中所有的參數,從存儲器中輸出的數據就是運算的結果。王紹迪表示,“存內計算的優勢在于,能夠將存儲器中眾多的存儲單元轉化為運算單元,這樣能計算的并行度就會大幅提高,從原來幾十、幾百個并行,到存內計算幾百萬、幾千萬、甚至幾億個乘加法的并行度,運算效率很高。”
除了可以大規模并行運算,還可以很大程度節省數據帶寬。簡單來說,一個傳統的存儲器,多行多列,一次至多激活一行,讀取出一行的數據,而要把多行數據讀取出來,需要進行多個存儲器周期,分別激活每一行,讀出每一行的數據。而存內計算可以同時把輸入數據給多行,同時多行的輸入數據與每一行的參數做乘法運算,在列的方向直接把運算的結果讀取出來,它是同時多行多列并行激活的方法。
現在的存內計算可以做到千行千列同時開啟,使用效率比傳統存儲器提高近千倍,王紹迪談到:“整體來看,包括輸入輸出,存內計算運算效率一般會有幾十倍的提升,而且提升倍數還一直在增加,存內計算的發展速度很快,最近處于早期的快速發展階段,每年都有數倍性能的提升。”
知存科技WTM2101智能解決方案
知存科技目前在存內計算領域較為領先,公司成立于2017年底,目前已經推出兩款存算一體芯片,其中WTM1001已經批量量產,WTM2101處于小批量階段,知存科技目前已經完成五輪融資。
WTM2101是一款尺寸很小的SOC芯片,包括一個1.8MB存內計算的Flash,該存儲模塊除了用于存內計算,也可以用于普通的存儲。王紹迪介紹:“這款芯片的封裝很小,可以用在可穿戴設備中,目前計算的功耗非常低,比如如果做連續100個詞到300個詞的識別,功耗可以控制在1mA以內,其中100個詞可以功耗可以到60微安。該芯片在運行語音識別、語音增強、物體識別、智能健康,以及其他的一些AI算法上,可以把算力和效率提升20倍到50倍。”
另外WTM2101首次用了獨有的專利HPU,它是一個混合計算單元,實際上是把數字計算和模擬計算結合在一起,因為模擬計算有精度上限,為了提高精度,加了一個稀疏的計算單元,可以把存內計算的精度進一步提高,最高提高4比特。
存內計算未來的發展趨勢
隨著存內計算的發展,未來的應用場景也會越來越廣,當前存內計算主要應用在端側,一是受精度的限制,8比特,二是受容量,在幾兆的級別,三是算力,基本在0.1T到1T的范圍。
不過未來一兩年將會發展到邊側,精度會提高到12比特,容量會達到16兆到64兆,算力也可以提升到最大32T,這樣可以覆蓋很多邊緣側的應用需求。未來還會向云端發展,存內計算精度會達到到16比特,容量會超過1000M,算力會達到256T到1024T。
存內計算在云側、邊側、端側,存內計算的優勢各不相同,在端側,存內計算在功耗的限制下可以提供大的算力,在邊緣側,在功耗、體積限制下也有很強的算力,在云端,可以提供更低成本的解決方案。
存內計算現在處于一個很快的發展階段,未來幾年,每年都會有很快的迭代速度。早期,產業界對存內計算的關注不多,投入也很少,最近存內計算逐漸得到越來越多的關注,王紹迪認為,未來五年存內計算都會在處在非常快速的發展階段,在各種各樣的場景中,進行規模化的落地應用。
-
存儲
+關注
關注
13文章
4337瀏覽量
85992 -
內存
+關注
關注
8文章
3040瀏覽量
74171 -
AI
+關注
關注
87文章
31262瀏覽量
269619 -
人工智能
+關注
關注
1792文章
47497瀏覽量
239194 -
知存科技
+關注
關注
0文章
59瀏覽量
4062 -
存算一體
+關注
關注
0文章
102瀏覽量
4312
發布評論請先 登錄
相關推薦
評論