經(jīng)常有朋友問，“為什么認為眾核異構(gòu)計算是必然趨勢呢？”。實際上這個問題在業(yè)內(nèi)已經(jīng)是共識了，所以本文希望從更淺顯的角度來解釋這個問題。

首先，需要解釋“為什么當下正處于算力大爆炸時代”

> 越強大的人工智能，需要以越強的算力為基礎(chǔ)。

1）這如同互聯(lián)網(wǎng)時代的爆發(fā)，是建立在龐大的云服務(wù)器集群為前提。這些服務(wù)器向用戶提供視頻/圖片/文字內(nèi)容的海量訪問需求。而人工智能時代，算力建設(shè)成為新基建的基礎(chǔ)建設(shè)。

2）以目前人臉識別、視頻結(jié)構(gòu)化這種深度學習算法舉例，實際上我們已經(jīng)在云端推理和訓(xùn)練投入大量的計算資源，服務(wù)于公共安全、門禁、金融系統(tǒng)等領(lǐng)域，也成為了Intel、AMD和英偉達新的營收增長點。而，正在獲得突破性進展的領(lǐng)域，對算力的需求將更大：例如自動駕駛、醫(yī)藥研發(fā)、量化交易、基因工程、知識圖譜、數(shù)字孿生、工業(yè)軟件、智慧城市等領(lǐng)域。

>算力時代，行業(yè)競爭的決定因素是“算力+算法”。

1）以金融市場博弈為例，以前決定各方成敗的是否擁有“最強的大（人）腦”，10個、100個、還是1000優(yōu)秀交易員。而正在到來的時代是，你方是否擁有最優(yōu)秀的算法+更強的算力，決定了你方能處理的信息維度，數(shù)據(jù)規(guī)模，從而擁有更準確的預(yù)測和最快的決策速度。

2）和傳統(tǒng)的商業(yè)世界一樣，服務(wù)質(zhì)量和速度將決定一個公司的成敗。在未來這些優(yōu)勢將自于“不斷演進的算法”和“更強大的算力基建投入”。一個國家在數(shù)字經(jīng)濟的優(yōu)勢，也將來自于此。

> 算力時代，科研領(lǐng)域競爭的決定因素是“算力+高端科研人才”。

1）這里以Google的Summit超算集群和DeepMind所帶來的科研突破舉例：

a. 攻克生物學界50年來的重大難題——蛋白質(zhì)折疊預(yù)測；

b. 在第一性原理分子動力學中引入機器學習的模擬方法將模擬的時間尺度提高了至少1000倍，體系規(guī)模提升至少100倍（2020年戈登貝爾獎.賈偉樂）；

c.QMCPACK利用Summit，使得研究體系可以包含數(shù)百個原子，為研究更實用的超導(dǎo)體提供極大的幫助；

d. 為“戰(zhàn)勝”癌癥，需要研究基因、生物標記物與環(huán)境之間隱藏(目前未知)的關(guān)系。融合已有的健康數(shù)據(jù)、非結(jié)構(gòu)數(shù)據(jù)如文本型的報告、醫(yī)學影像等，利用機器學習算法，在Summit上對美國的癌癥群體進行更全面的分析；

e. 利用Summit，可以確定人類蛋白和細胞系統(tǒng)的功能、協(xié)同和進化的模式。這些模式可以幫助研究臨床表型、疾病的可見性狀（例如老年癡呆癥、心臟病和成癮）的形成，并為藥物發(fā)現(xiàn)過程提供支持；

f. 利用Summit,FLASH可以進行長達數(shù)千倍時間內(nèi)對多達12倍的元素種類進行高分辨率的模擬。

算力大爆炸，正在為科研領(lǐng)域取得顛覆性成果提供算力保障。反之，如果我們今天的高性能計算水平仍停留在十年前的水平，今天所見的激動人心的技術(shù)突破幾乎是不可能的。

2）以上的例證希望說明兩個問題：第一，國家需要建設(shè)更強大的超算集群，科研人員才有可能在前沿領(lǐng)域取得突破性研究成果。小米加步槍能取得勝利的可能性幾乎為零，由此知識產(chǎn)權(quán)的布局依然將受制于人。第二，以前稱之為超算，今天已經(jīng)稱之為智算，其原因是HPC+AI正在成為新的研究范式，即科學計算融合深度學習算法。

3 ）在軍事領(lǐng)域，我們也看到了多傳感器、多數(shù)據(jù)鏈融合，利用深度學習算法提升戰(zhàn)場智能化水平；還有如密碼學對于通訊的意義；空氣動力學對于大裝備的意義等等。

4）可以遇見，未來在國家重點實驗室、科研院所、985/211高校將迎來智算建設(shè)的新高潮。原因？因為科研人員主要就在這些地方。

> 區(qū)塊鏈、量子霸權(quán)、元宇宙等概念，背后都將是以龐大的算力為依托。

那么，如何獲得更強大的算力呢？

> 一直以來，行業(yè)依托于半導(dǎo)體工藝、制程以及Chiplet最先進的封裝技術(shù)，在時鐘速度、集成密度、片上集成方法可以獲得更高的算力。然而硅基芯片工藝達到3nm后，摩爾定律是否將失效？所以今天大家開始在研究“后摩爾時代”。

> 計算機架構(gòu)的演進，是另外一種重要手段。

1）傳統(tǒng)手法：cache增加，指令集擴展，協(xié)處理器，多核等。例如，為了增加x86的多媒體處理能力，于是有了MMX擴展指令集；為了兼顧功耗、成本和視頻編解碼性能，有了專門的H.264/265協(xié)處理器IP，這里就不再贅述了。

2）專用處理器：CPU在通用計算領(lǐng)域的角色無可替代，目前的主要指令集有x86（Intel、AMD、海光等少數(shù)幾家），arm（有鈔能力的公司都可以買來解決計算芯片設(shè)計的主要問題，鈔票越多能買到越強的IP授權(quán)，指令集授權(quán)則更貴），RISC-V（開源指令集，后起之秀）。但CPU面對一些大規(guī)模、并行運算時已經(jīng)顯得力不從心、成本也劃不來。所以出現(xiàn)了GPU，NPU，DPU這類專用計算處理器，GPU擅長圖像處理，NPU擅長深度學習算法處理，DPU擅長數(shù)據(jù)處理。講到GPU、NPU、DPU這三個名詞，實際上這個體系非常復(fù)雜，無法用類似CPU三種指令集這樣去簡單概述，在這個領(lǐng)域各家芯片的架構(gòu)差異、標稱性能都非常大，用萬馬奔騰比較合適。在這個領(lǐng)域目前最優(yōu)秀者無疑是英偉達，追趕者內(nèi)心的壓力是巨大的。要不是中美貿(mào)易戰(zhàn)的大背景，我想業(yè)者還是投資領(lǐng)域，誰能敢奢望去挑戰(zhàn)？

3）片上的眾核異構(gòu)：CPU單核計算性能提升已經(jīng)越來越不能滿足應(yīng)用對計算性能需求、功耗的控制、成本的控制的需求，所以“片上眾核異構(gòu)”應(yīng)勢興起。這帶來了許多的優(yōu)勢，共享內(nèi)存、各計算單元之間實現(xiàn)更高速的數(shù)據(jù)通訊、均衡的功耗控制。最近熱炒的Apple M1/M1 pro/M1 Max是一個很好的范例。

4）整機的異構(gòu)計算，是以CPU板卡為主，在機箱內(nèi)增加各種專用的計算板卡，以增強服務(wù)器在某些特定領(lǐng)域的計算能力。例如插上GPU板卡增強服務(wù)器的圖像處理能力，插上NPU板卡增加服務(wù)器的深度學習算法的處理能力，插上GPGPU板卡增加科學計算的處理能力，CPU+存儲卡+NPU卡就是我們經(jīng)常聽到的“近存計算”。

如何駕馭和挖掘算力？

我們正在擁有越發(fā)強大和越發(fā)復(fù)雜的計算硬件，另外一邊是復(fù)雜而龐大的高性能計算應(yīng)用軟件體系（科學計算、各種深度學習算法、各種運行框架runtime等），一些是已經(jīng)成熟而知名的軟件，另外一些是正處于青春期的各種算法和創(chuàng)新應(yīng)用。那么，應(yīng)該如何將這兩者能融合起來呢？這個事情是簡單還是復(fù)雜的呢？

1）如果硬件和軟件無法融合，那么硬件性能將被白白浪費掉。比方說你投了5nm的芯片，在計算許多場景時可能還比不過別人28nm時代的速度和效率，更糟糕的情況是出現(xiàn)計算精度不夠，或者完全不支持某些成熟軟件的運行。（計算精度？我的卡可是支持FP32的，這里可能大家有所不知，如果是加減乘除這種四則運算當然不會有什么問題，但如果讓求解三角函數(shù)，反三角函數(shù)，雙曲函數(shù)等，這些都是軟件算法在另外一個層面決定了計算精度和計算速度。||更深一點層面，計算并行優(yōu)化決定了許多算法和工業(yè)軟件是否能運行在GPU、NPU這類專用處理器，沒有這部分工作，這些加速卡將毫無用處。NVIDIA在這方面軟件投入了海量的資金、長期的時間和優(yōu)秀的人才，我國的計算硬件的短板已經(jīng)顯現(xiàn)出來的。

2）如果持續(xù)創(chuàng)新的算法與軟件，無法與已經(jīng)投入的硬件進行適配和融合，那么這些硬件資產(chǎn)的價值將被白白浪費掉了。近一步而言，硬件資產(chǎn)一旦投入，就無法變化。但算法和軟件是高速發(fā)展和發(fā)散性的，如何讓客戶的硬件資產(chǎn)持續(xù)發(fā)揮價值，這需要算力基礎(chǔ)軟件棧進行更長期和持續(xù)的工作。遺憾的是，我看到許多智算/超算平臺的政府規(guī)劃文件，里面并沒有為此去單列預(yù)算出來。從商業(yè)角度而言，硬件商本質(zhì)就是賣硬件的，那么誰將應(yīng)該為此提供長期的費用呢？我們更是低估了這個層面的難度以及持續(xù)投入。

3）如果我們用“云存儲的投資建設(shè)”邏輯來對照“算力的投資建設(shè)”邏輯，這必然會走入誤區(qū)。云存儲是一個相對于簡單業(yè)務(wù)場景，單調(diào)而成熟的技術(shù)體系。“存與不存，硬盤就在哪里！” vs "算與不算，算力就在哪里！” 這背后是完全不同的技術(shù)邏輯。

> 算力基礎(chǔ)軟件棧是“越發(fā)強大和越發(fā)復(fù)雜的計算硬件”與“復(fù)雜而龐大的高性能計算應(yīng)用軟件體系”的技術(shù)橋梁。其主要包括數(shù)學庫、算子庫、科學計算庫、求解器等，還包括AI和異構(gòu)計算框架/或叫引擎，編程語言/編譯器。我國由于歷史原因，以前缺乏對處理器領(lǐng)域的投資，所以這個層面的基礎(chǔ)軟件技術(shù)積累幾乎為零，人才儲備也幾乎為零。形象地說，計算大芯片是一棟大廈的地基，那么算力基礎(chǔ)軟件棧是先進計算的第一層，是大堂，是服務(wù)中心所在。

“2022年3月30日，國際計算機協(xié)會（ACM）宣布Jack Dongarra為2021年ACM 圖靈獎獲得者，以表彰他在數(shù)值算法和庫方面的開創(chuàng)性貢獻，這些貢獻使高性能計算軟件在四十多年里能夠跟上硬件的指數(shù)式改進。”

> 軟件生態(tài)的意義。生態(tài)的意義主要在于兩方面，一是，讓應(yīng)用開發(fā)者不需要過多考慮硬件平臺的差異性，便捷地使用算力，專注于研究自己所需要解決的問題；二是，讓應(yīng)用開發(fā)者形成的軟件資產(chǎn)，可以直接部署和運行在各種異構(gòu)計算的平臺。圍繞算力時代，整個行業(yè)仍有很遠的路要走，巨頭也只是提前了一點在積極布局，例如Intel的OneAPI，AMD的Rocm，NVIDIA的CUDA等等。作為國產(chǎn)自主可控的發(fā)展理念，我們?nèi)杂袡C會去追趕并超越，我們應(yīng)該如何應(yīng)對呢？

結(jié)束語：這個行業(yè)里，因為各種原因故意忽略/隱瞞基礎(chǔ)計算軟件棧的難度和價值，這其實并不利于整個計算產(chǎn)業(yè)鏈的健全和健康發(fā)展。