不知大家是否還記得去年英偉達發布的A100 GPU,作為V100推出三年后的又一大計算卡,其性能較V100提升了20倍,英偉達更是稱其為最大的7nm芯片,面積達到826 mm2。而初創公司Cerebras則在近日發布了第二代Wafer Scale Engine(WSE-2)芯片,奪下了7nm下面積最大芯片的寶座。
WSE-2 芯片/ Cerebras
從2015年到2020年,全球在訓練大型模型上的計算已經到了30萬倍,AI的限制更像是運算能力的限制,而不單單只是應用和創意。驗證一個猜想和訓練一個新模型可能會花上數周乃至數月的時間,Cerebras的WSE-2旨在解決這些影響創新速度的問題。
一塊晶圓 =一個芯片
WSE-2與A100面積大小對比 / Cerebras
WSE-2從上一代的16nm工藝替換為7nm,盡管面積不變,但新制程的密度優勢使其晶體管數量翻倍,達到了26000億,AI核心數更是增加至85萬個。Cerebras是在參數簡介上直接對標英偉達的A100,與826 mm2 的A100相比,46225 mm2的WSE-2是前者的56倍。WSE-2片上內存為40GB,是A100的千倍,內存帶寬更是做到A100的上萬倍。WSE內含85萬個專為AI應用優化的稀疏線性代數計算(SLAC)核心,非常適合神經網絡運算。
Cerebras也指出內存也是計算中重要的一環。就拿上面提到的A100來說,A100只有40MB的L2 cache,卻有著40GB的HBM2內存,但這種圖形處理器的缺點就在于這種顯存往往是片外內存,而且速度太慢,延遲過高。而WSE-2的40GB內存則是均勻分布在AI核心上,且帶寬可以達到20PB/s。
其實早在去年的HotChips大會上,Cerebras就已經透露過這個85萬AI核的新處理器,但由于一些延誤,他們沒法及時在去年發布。Cerebras聯合創始人Andrew Feldman在近期采訪中提到,與客戶合作了一年之后,他們汲取了一些經驗教訓,并將其整合進了新的AI核心中去,因此這一推遲很可能是由于對AI核心微架構的改進。
以往一個晶圓需要切割成多個芯片,經過封裝后再作為處理器上市售賣。而Cerebras的解決方案是晶圓級集成技術,直接利用一個晶圓的最大面積來生產單一芯片,不過考慮到目前矩形芯片依然是效率最高的選擇,自然不可能直接拿整個圓形晶圓來制造芯片,Cerebras也從一塊晶圓中選取了最大的正方形。雖然從12英寸晶圓的面積來看,制造一個WSE-2只用到了2/3的面積,但與芯片的售價相比,哪怕這些邊角料被浪費,損失也只是滄海一粟而已。要知道Cerebras賣給匹茨堡超算中心的兩臺基于WSE-1的系統,可是從中獲利近500萬美元。
基于WSE-2的AI計算平臺
但更強大的芯片放在一個老舊的系統里并非一定能實現全部的性能,反而可能會凸顯出原有系統的瓶頸,比如通信結構、芯片I/O、電源和散熱等等。這就像是拿法拉利的引擎放在大眾車里,也跑不出前者的速度一樣。
CS-2散熱系統 / Cerebras
基于WSE-2、Cerebras的系統以及軟件平臺,Cerebras也推出了新一代深度學習系統CS-2,來突破系統上的限制。這么強大的性能自然需要強大的供電,CS-2采用了9+3的冗余供電配置來驅動WSE-2。但這樣的供電自然也面臨著散熱上的挑戰,Cerebras在CS-2內部運用了一套水冷散熱系統,用水冷來對WSE-2散熱,再由風冷來降低水溫。與此同時,CS-2的空間占用并不大,這個26英寸高的機器僅僅占用15U的機架空間,雖然大于英偉達的HGX A100系統,但考慮到性能的提升,這點空間占用還是可以接受的。
CS-2 系統/ Cerebras
據Cerebras透露,WSE-2和CS-2都將于今年第三季度推出,而CS-2的價格也將從CS-1的2到3百萬美元漲到“幾百萬”美元的不具體數字。
小結
盡管Cerebras的WSE-2是一個性能怪獸,但它的應用面并沒有A100那么廣,更像是面向小眾市場。就拿WSE-1的一些客戶來說,多數在進行一些生物及醫學研究,比如癌癥治療、藥物發現等,且多用于超算中心與國家實驗室,比如上面提到的匹茨堡超算中心和阿貢國家實驗室。而英偉達的A100則可以用于各種AI和HPC應用,這也是Cerebras目前的解決方案沒有突破的,但考慮到Cerebras的定位也不是為了做到全面覆蓋,專注于一個市場反而是Cerebras能做到如此優秀的原因所在。
其實最值得去突破的仍是這種晶圓級集成的技術,固然芯片設計廠商希望從單一晶圓中獲取更多的芯片,獲取更高的利潤,但這種純粹追求性能的芯片反而適合如今不少Power-hungry的應用。話雖如此,實現這類芯片的良率同樣是一大挑戰,并不是每家公司都像Cerebras一樣在WSE-2上實現100%的良率的。
本文由電子發燒友原創,轉載請注明以上來源。如需入群交流,請添加微信elecfans999,投稿爆料采訪需求,請發郵箱huangjingjing@elecfans.com。
-
處理器
+關注
關注
68文章
19381瀏覽量
230454 -
芯片
+關注
關注
456文章
51016瀏覽量
425326
發布評論請先 登錄
相關推薦
評論