電子發(fā)燒友網(wǎng)報道(文/李彎彎)不久前,IBM 研究院推出了一款AI處理器,名為人工智能單元(Artificial Intelligent Unit,AIU),這是IBM首個用于運行和訓(xùn)練深度學(xué)習(xí)模型的完整 SoC。IBM聲稱,其比通用CPU工作更快、更高效。
AIU:32個處理器核心、230億個晶體管
這款A(yù)IU芯片是IBM研究院AI硬件中心投入五年開發(fā)出的結(jié)果,AI硬件中心于2019年啟動,專注于開發(fā)下一代芯片與AI系統(tǒng)。該中心的目標(biāo)是,計劃未來每年將AI硬件效率提升2.5倍。到2029年,將AI模型的訓(xùn)練和運行速度拉高1000倍。
據(jù)IBM介紹,該芯片采用5nm制程工藝,共有32個處理器核心和230億個晶體管,在設(shè)計易用性方面,與普通顯卡相當(dāng),能夠介入任何帶有PCI插槽的計算機或服務(wù)器。AIU芯片,旨在支持多種格式并簡化從圖像識別到自然語言處理的人工智能工作流程。
AIU芯片與傳統(tǒng)用于訓(xùn)練的GPU芯片有何不同?一直以來,深度學(xué)習(xí)模型依賴于CPU加GPU協(xié)處理器的組合進(jìn)行訓(xùn)練與運行。GPU最初是為沉浸圖形圖像而開發(fā),后來人們發(fā)現(xiàn)其在AI領(lǐng)域有著顯著優(yōu)勢,因此GPU在AI訓(xùn)練領(lǐng)域占據(jù)了非常重要的位置。
IBM開發(fā)的AIU并非圖形處理器,它是專為深度學(xué)習(xí)模型加速設(shè)計的,針對矩陣和矢量計算進(jìn)行了優(yōu)化。AIU能夠解決高復(fù)雜計算問題,并以遠(yuǎn)超CPU的速度執(zhí)行數(shù)據(jù)分析。
AIU芯片有何特點呢?過去這些年,AI與深度學(xué)習(xí)模型在各行各業(yè)中快速普及,同時深度學(xué)習(xí)的發(fā)展也給算力資源帶來了巨大的壓力。深度學(xué)習(xí)模型的體量越來越大,包含數(shù)十億甚至數(shù)萬億個參數(shù)。而硬件效率的發(fā)展卻似乎跟不上深度學(xué)習(xí)模型的增長速度。
過去,計算一般集中在高精度64位與32位浮點運算層面。IBM認(rèn)為,有些計算任務(wù)并不需要這樣的精度,于是提出了降低傳統(tǒng)計算精度的新術(shù)語——近似計算。
如何理解呢?IBM認(rèn)為對于常見的深度學(xué)習(xí)任務(wù),其實并不需要那么高的計算精度,就比如說人類大腦,即使沒有高分辨率,也能夠分辨出家人或者小貓。也就是說各種任務(wù),其實都可以通過近似計算來處理。
在AIU芯片的設(shè)計中,近似計算發(fā)揮著重要作用。IBM研究人員設(shè)計的AIU芯片精度低于CPU,而這種較低精度也讓新型AIU硬件加速器獲得了更高的計算密度。IBM使用混合8位浮點(HFP)計算,而非AI訓(xùn)練中常見的32位或16點浮點計算。由于精度較低,因此該芯片的運算執(zhí)行速度可達(dá)到FP16的2倍,同時繼續(xù)保持類似的訓(xùn)練效能。
IBM在AI芯片技術(shù)上的不斷升級
在去年2月的國際固態(tài)電路會議(ISSCC 2021)上,IBM也曾發(fā)布過一款性能優(yōu)異的AI芯片,據(jù)IBM稱它是當(dāng)時全球首款高能效AI芯片,采用7nm制程工藝,可達(dá)到80%以上的訓(xùn)練利用率和60%以上的推理利用率,而通常情況下,GPU的利用率在30%以下。
有對比數(shù)據(jù)顯示,IBM 7nm高能效AI芯片的性能和能效,不同程度地超過了IBM此前推出的14nm芯片、韓國科學(xué)院(KAIST)推出的65nm芯片、平頭哥推出的12nm芯片含光800、NVIDIA推出的7nm芯片A100、聯(lián)發(fā)科推出的7nm芯片。
IBM去年推出的這款7nm AI芯片支持fp8、fp16、fp32、int4、int2混合精度。在fp32和fp8精度下,這款芯片每秒浮點運算次數(shù)分別達(dá)到16TFLOPS和25.6TFLOPS,能效比為3.5TFLOPS/W和1.9TFLOPS。而被業(yè)界高度認(rèn)可的NVIDIA A100 GPU在fp16精度下的能效比為0.78TFLOPS/W,低于IBM這款高能效AI芯片。
IBM在官網(wǎng)中稱,這款A(yù)I芯片之所以能夠兼顧能效和性能,是因為該芯片支持超低精度混合8位浮點格式((HFP8,hybrid FP8)。這是IBM于2019年發(fā)布的一種高度優(yōu)化設(shè)計,允許AI芯片在低精度下完成訓(xùn)練任務(wù)和不同AI模型的推理任務(wù),同時避免任何質(zhì)量損失。
可以看到IBM此次發(fā)布的新款A(yù)IU與去年2月發(fā)布的7nm AI芯片,都采用了IBM此前提出的近似計算。從性能來看,去年推出的那款A(yù)I芯片一定程度上甚至超過了目前業(yè)界訓(xùn)練場景普遍使用的NVIDIA A100 GPU,而今年新推出的AIU無論是在制程工藝、晶體管數(shù)量上都有升級,可想而知性能水平將會更高。
AIU:32個處理器核心、230億個晶體管
這款A(yù)IU芯片是IBM研究院AI硬件中心投入五年開發(fā)出的結(jié)果,AI硬件中心于2019年啟動,專注于開發(fā)下一代芯片與AI系統(tǒng)。該中心的目標(biāo)是,計劃未來每年將AI硬件效率提升2.5倍。到2029年,將AI模型的訓(xùn)練和運行速度拉高1000倍。
據(jù)IBM介紹,該芯片采用5nm制程工藝,共有32個處理器核心和230億個晶體管,在設(shè)計易用性方面,與普通顯卡相當(dāng),能夠介入任何帶有PCI插槽的計算機或服務(wù)器。AIU芯片,旨在支持多種格式并簡化從圖像識別到自然語言處理的人工智能工作流程。
AIU芯片與傳統(tǒng)用于訓(xùn)練的GPU芯片有何不同?一直以來,深度學(xué)習(xí)模型依賴于CPU加GPU協(xié)處理器的組合進(jìn)行訓(xùn)練與運行。GPU最初是為沉浸圖形圖像而開發(fā),后來人們發(fā)現(xiàn)其在AI領(lǐng)域有著顯著優(yōu)勢,因此GPU在AI訓(xùn)練領(lǐng)域占據(jù)了非常重要的位置。
IBM開發(fā)的AIU并非圖形處理器,它是專為深度學(xué)習(xí)模型加速設(shè)計的,針對矩陣和矢量計算進(jìn)行了優(yōu)化。AIU能夠解決高復(fù)雜計算問題,并以遠(yuǎn)超CPU的速度執(zhí)行數(shù)據(jù)分析。
AIU芯片有何特點呢?過去這些年,AI與深度學(xué)習(xí)模型在各行各業(yè)中快速普及,同時深度學(xué)習(xí)的發(fā)展也給算力資源帶來了巨大的壓力。深度學(xué)習(xí)模型的體量越來越大,包含數(shù)十億甚至數(shù)萬億個參數(shù)。而硬件效率的發(fā)展卻似乎跟不上深度學(xué)習(xí)模型的增長速度。
過去,計算一般集中在高精度64位與32位浮點運算層面。IBM認(rèn)為,有些計算任務(wù)并不需要這樣的精度,于是提出了降低傳統(tǒng)計算精度的新術(shù)語——近似計算。
如何理解呢?IBM認(rèn)為對于常見的深度學(xué)習(xí)任務(wù),其實并不需要那么高的計算精度,就比如說人類大腦,即使沒有高分辨率,也能夠分辨出家人或者小貓。也就是說各種任務(wù),其實都可以通過近似計算來處理。
在AIU芯片的設(shè)計中,近似計算發(fā)揮著重要作用。IBM研究人員設(shè)計的AIU芯片精度低于CPU,而這種較低精度也讓新型AIU硬件加速器獲得了更高的計算密度。IBM使用混合8位浮點(HFP)計算,而非AI訓(xùn)練中常見的32位或16點浮點計算。由于精度較低,因此該芯片的運算執(zhí)行速度可達(dá)到FP16的2倍,同時繼續(xù)保持類似的訓(xùn)練效能。
IBM在AI芯片技術(shù)上的不斷升級
在去年2月的國際固態(tài)電路會議(ISSCC 2021)上,IBM也曾發(fā)布過一款性能優(yōu)異的AI芯片,據(jù)IBM稱它是當(dāng)時全球首款高能效AI芯片,采用7nm制程工藝,可達(dá)到80%以上的訓(xùn)練利用率和60%以上的推理利用率,而通常情況下,GPU的利用率在30%以下。
有對比數(shù)據(jù)顯示,IBM 7nm高能效AI芯片的性能和能效,不同程度地超過了IBM此前推出的14nm芯片、韓國科學(xué)院(KAIST)推出的65nm芯片、平頭哥推出的12nm芯片含光800、NVIDIA推出的7nm芯片A100、聯(lián)發(fā)科推出的7nm芯片。
IBM去年推出的這款7nm AI芯片支持fp8、fp16、fp32、int4、int2混合精度。在fp32和fp8精度下,這款芯片每秒浮點運算次數(shù)分別達(dá)到16TFLOPS和25.6TFLOPS,能效比為3.5TFLOPS/W和1.9TFLOPS。而被業(yè)界高度認(rèn)可的NVIDIA A100 GPU在fp16精度下的能效比為0.78TFLOPS/W,低于IBM這款高能效AI芯片。
IBM在官網(wǎng)中稱,這款A(yù)I芯片之所以能夠兼顧能效和性能,是因為該芯片支持超低精度混合8位浮點格式((HFP8,hybrid FP8)。這是IBM于2019年發(fā)布的一種高度優(yōu)化設(shè)計,允許AI芯片在低精度下完成訓(xùn)練任務(wù)和不同AI模型的推理任務(wù),同時避免任何質(zhì)量損失。
可以看到IBM此次發(fā)布的新款A(yù)IU與去年2月發(fā)布的7nm AI芯片,都采用了IBM此前提出的近似計算。從性能來看,去年推出的那款A(yù)I芯片一定程度上甚至超過了目前業(yè)界訓(xùn)練場景普遍使用的NVIDIA A100 GPU,而今年新推出的AIU無論是在制程工藝、晶體管數(shù)量上都有升級,可想而知性能水平將會更高。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。
舉報投訴
-
芯片
+關(guān)注
關(guān)注
456文章
50873瀏覽量
424073 -
IBM
+關(guān)注
關(guān)注
3文章
1757瀏覽量
74713
發(fā)布評論請先 登錄
相關(guān)推薦
IBM與Rapidus在多閾值電壓GAA晶體管技術(shù)的新突破
Rapidus 的 2nm 制程生產(chǎn)流程之中。 IBM 宣稱,當(dāng)制程推進(jìn)到 2nm 階段時,晶體管的結(jié)構(gòu)會從長久以來所采用的 FinFET(鰭式場效應(yīng)
如何測試晶體管的性能 常見晶體管品牌及其優(yōu)勢比較
如何測試晶體管的性能 晶體管是電子電路中的基本組件,其性能測試對于確保電路的可靠性和穩(wěn)定性至關(guān)重要。以下是測試晶體管
臺積電產(chǎn)能爆棚:3nm與5nm工藝供不應(yīng)求
臺積電近期成為了高性能芯片代工領(lǐng)域的明星企業(yè),其產(chǎn)能被各大科技巨頭瘋搶。據(jù)最新消息,臺積電的3nm和5nm工藝產(chǎn)能利用率均達(dá)到了極高水平,其
CMOS晶體管的尺寸規(guī)則
CMOS晶體管尺寸規(guī)則是一個復(fù)雜且關(guān)鍵的設(shè)計領(lǐng)域,它涉及到多個方面的考量,包括晶體管的性能、功耗、面積利用率以及制造工藝等。以下將從CMOS晶體管
NMOS晶體管和PMOS晶體管的區(qū)別
NMOS晶體管和PMOS晶體管是兩種常見的金屬氧化物半導(dǎo)體場效應(yīng)晶體管(MOSFET)類型,它們在多個方面存在顯著的差異。以下將從結(jié)構(gòu)、工作原理、性能特點、應(yīng)用場景等方面詳細(xì)闡述NMO
GaN晶體管和SiC晶體管有什么不同
GaN(氮化鎵)晶體管和SiC(碳化硅)晶體管作為兩種先進(jìn)的功率半導(dǎo)體器件,在電力電子、高頻通信及高溫高壓應(yīng)用等領(lǐng)域展現(xiàn)出了顯著的優(yōu)勢。然而,它們在材料特性、性能表現(xiàn)、應(yīng)用場景以及制造工藝
GaN晶體管的基本結(jié)構(gòu)和性能優(yōu)勢
GaN(氮化鎵)晶體管,特別是GaN HEMT(高電子遷移率晶體管),是近年來在電力電子和高頻通信領(lǐng)域受到廣泛關(guān)注的一種新型功率器件。其結(jié)構(gòu)復(fù)雜而精細(xì),融合了多種材料和工藝,以實現(xiàn)高效、高頻率和高功率密度的
芯片晶體管的深度和寬度有關(guān)系嗎
一、引言 有關(guān)系。隨著集成電路技術(shù)的飛速發(fā)展,芯片晶體管作為電子設(shè)備的核心元件,其性能的優(yōu)化和制造技術(shù)的提升成為了行業(yè)關(guān)注的焦點。在晶體管的眾多設(shè)計參數(shù)中,深度和寬度是兩個至關(guān)重要的因
臺積電升級4nm N4C工藝,優(yōu)化能效與降低成本
在近日舉辦的 2024 年北美技術(shù)研討會上,業(yè)務(wù)發(fā)展副總裁張凱文發(fā)表講話稱:“盡管我們的 5nm 和 4nm 工藝尚未完全成熟,但從 N5 到 N4 的光學(xué)微縮密度已提升 4%,且
蘋果M3芯片的晶體管數(shù)量
蘋果M3芯片的晶體管數(shù)量相當(dāng)可觀,相比前代產(chǎn)品有了顯著的提升。這款芯片搭載了高達(dá)250億個晶體管,比M2
蘋果M3芯片有多少晶體管組成
蘋果M3芯片在晶體管數(shù)量上有了顯著的提升。具體來說,標(biāo)準(zhǔn)版的M3芯片內(nèi)部集成了250億個晶體管,相比前代M2
M3芯片有多少晶體管
M3芯片的晶體管數(shù)量根據(jù)不同的版本有所差異。具體來說,標(biāo)準(zhǔn)版的M3芯片擁有250億個晶體管,這一數(shù)量相比前代產(chǎn)品M2有了顯著的提升,使得M3
評論