什么是超異構計算？如何駕馭超異構計算？

算力爆炸的時代，復雜計算充滿挑戰，對硬件靈活可編程性要求也越來越高。計算架構走到異構的今天，矛盾也凸顯——單一處理器無法兼顧性能和靈活性。

而超大規模計算集群和復雜系統讓超異構計算成為了可能，何出此言？超異構計算又到底是什么？從芯片龍頭企業的產品布局上我們能發現什么？傳統的計算架構發展又遭遇哪些瓶頸？

在12月6日芯智庫【相約芯期二】第27期的“汽車芯片智能駕艙在線研討會”上，上海矩向科技CEO黃朝波帶來主題為“從英偉達 Thor，看大芯片發展趨勢”的演講。 ? 以下是黃朝波的分享： ? 我給大家分享的是“從英偉達Thor，看大芯片的發展趨勢”，當然它有更專業點的名字叫“超異構計算，新一代計算架構”。 ? 我的介紹大概分為5個部分，第一部分對一些沒有計算機相關基礎的讀者做一些基本的介紹；第二部分探討下計算架構面臨的挑戰；第三部分就是介紹超異構相關的趨勢案例，里面主要包含了英偉達和高通的案例；第四部分討論下為什么現在會出現這個概念，而不是過去或者以后；最后部分介紹下我們認為未來會出現單芯片的整體解決方案，也就是我們稱之為超異構處理器。 ? ? 01? ?算力提升不僅是芯片? ? ? 先簡單介紹下馮·諾依曼架構。我們一切系統的運行是可以歸一到計算的，計算系統是由輸入、計算和輸出三部分組成，這個架構就是馮·諾依曼架構，非常的簡單?，F在行業內有很多號稱打破馮·諾依曼架構的系統，但背后邏輯都是遵照馮·諾依曼架構的指導思想，嚴格來說不存在打破的說法。 ?

? 然后是摩爾定律。基于CPU的摩爾定律真的已經到了極限，雖然說我們現在晶體管的提升也是慢慢到了一個極限，但是如果我們把摩爾定律當做一個KPI的話，那么對行業來說它又是一個非常重要的路線圖，大家需要持續不斷地提升性能，所以說對于計算性能的追求其實是永無止境的。 ? 另外，再簡單介紹下軟件和硬件。首先，指令是軟件和硬件之間的媒介，那么指令的復雜度決定了這個軟硬件的解耦程度。ISA（指令集架構）之下，CPU、GPU等各種處理器是硬件；ISA之上，各種程序、數據集、文件等是軟件。 ?

? 按照指令的復雜度，典型的處理器平臺大致分為CPU、協處理器、GPU、FPGA、DSA、ASIC。從左往右，單位計算越來越復雜，性能越來越好，而靈活性越來越低。任務在CPU運行，則定義為軟件運行；任務在協處理器、GPU、FPGA、DSA或ASIC運行，則定義為硬件加速運行。 ? 我們現在是一個萬物互聯的時代，從云端的集中式超大規模服務器，然后到邊緣端的小規模數據中心，再到終端的各種豐富多彩的設備，那么整個萬物互聯大概來說就分為這三個層次。 ? 通常來說，終端是歸于我們現實世界的一個接入層，它是整個大系統的一個I/O，然后負責現實世界和虛擬世界的交互，那么云端是最終任務的處理，邊緣端通常來說是作為云端的一個代理，為終端去提供服務的，因此我們可以根據云邊端將計算節點分類。 ? 終端我們把它分為四類：IoT節點、IoT設備、智能終端、超級終端。云端分為三類：服務器、服務、用戶業務運行環境。邊緣分為兩類：代理運行平臺、近云端及近終端運行環境。 ?

? 我們最終要宏觀地去提升這些設備共同的算力，不能簡單地只提升一個設備的性能，那是沒有意義的。因為每一個設備如果只是一個孤島的話，這些東西沒法連成一個大的資源池是沒有意義的，所以基于此，我們把這些統一起來，我們把微觀層次作為單芯片性能，宏觀層次就是整體的算力利用率。 ?

? 這樣的話，想提升算力，它僅僅是提升芯片的性能肯定是不夠的，那就需要各方面全方位的優化。我們可以簡單地把它作為一個公式，實際總算力與單芯片性能、數量、利用率相關，特別是后面兩個參數，我們做芯片的可能不太關注，但這兩塊的作用又很關鍵。 ? ?

02? ?計算架構面臨的挑戰? ? ? 計算架構最開始是單核處理器，然后走向了多核，計算從串行走向了并行。 ? 再往后走，我們從同構并行到了異構并行，異構并行通常分為三類：基于GPU、基于FPGA、基于DSA。 ? 這些異構并行都需要外掛一個CPU來控制，所以本質上異構并行就是CPU+XPU的形態，像最典型的就是GPU服務器。GPU并行計算性能效率比CPU高，并且場景覆蓋較多，CUDA生態成熟。但性能效率比ASIC/DSA仍有很大差距；對一些輕量級異構加速場景，獨立GPU顯得太重。 ? 復雜計算，通俗易懂的講，就是需要支持虛擬化，支持多租戶多系統運行的這些計算場景。在云計算、邊緣計算以及一些超級終端的復雜計算場景，對靈活性的要求遠高于對性能的要求。 ? 也就是說通常情況下，如果CPU能夠滿足性能要求，大家一定是不希望用各種加速器。但對算力的需求不斷增加，有時候不得不通過各種異構加速方式進行性能優化。實踐證明，在復雜計算場景，提升性能的同時，不能損失通用靈活性。 ? 最后我們總結一下異構計算存在的問題。系統越復雜，需要選擇越靈活的處理器；性能挑戰越大，需要選擇越偏向定制的加速處理器。 ? 本質矛盾是：單一處理器無法兼顧性能和靈活性；即使我們拼盡全力平衡，也只“治標不治本”。 ? CPU+XPU異構計算中的XPU，決定了整個系統的性能/靈活性特征。GPU靈活性較好，但性能效率不夠極致；DSA性能好，但靈活性差，難以適應復雜計算場景對靈活性的要求；FPGA功耗和成本高，需要一些定制開發，落地案例不多；ASIC功能完全固定，難以適應靈活多變的復雜計算場景。 ? 這就是目前的一個現狀。還有另外一個原因就在于計算孤島的問題。異構計算面向某個領域或場景，領域之間的交互困難。服務器物理空間有限，無法多個物理加速卡，需要把這些加速方案整合。整合，不是簡單的拼湊，而是要架構重構。 ?

? 此外，我們所說的云網邊端融合也面臨著挑戰。云網邊端，算力需求不斷提高，系統復雜度不斷提高，對硬件的靈活可編程性要求也越來越高。微服務可自適應地在云、網、邊、端運行，需要云數據中心內部，以及跨云邊端的硬件平臺一致性。需要芯片、系統、框架和庫、以及上層應用的多方協同。 ? ?

03? 什么是超異構計算？ ? ?

那么下一步，我們認為是持續往前走向超異構，為什么這件事情能夠存在？ ? 我們認為有幾個原因使得超異構成為可能。那么首先一點就是超大規模的計算集群，其次是復雜宏系統，是由分層分塊的組件(系統)組成。單服務器的宏系統復雜度，以及超大規模的云和邊緣計算，使得“二八定律”在系統中普遍存在：把相對確定的任務沉淀到基礎設施層，相對彈性的沉淀到彈性加速部分，其他繼續放在CPU（CPU兜底）。 ?

? 把更多的異構計算整合重構，各類型處理器間充分的、靈活的數據交互，形成超異構計算。未來就會有三個和三個以上類型的處理引擎，共同組成超異構并行。 ? 接下來我們介紹一些案例，首先是英特爾提出的超異構相關概念。當它提出來之后，并沒有給出來完整的一個產品，反而是在超異構概念周邊做了很多工作，最終我覺得會有很完整的東西出來。 ? 2019年，英特爾提出超異構計算相關概念：XPU是架構組合，包括CPU、GPU、FPGA 和其他加速器；OneAPI是開源的跨平臺編程框架，底層是不同的XPU處理器，通過OneAPI提供一致性編程接口，使得應用跨平臺復用。 ? 就是說我任何一個應用，我既可以在CPU運行，又可以在GPU運行，又可以在專用的ASIC上運行，通過OneAPI就可以跨不同的處理器平臺，就可以自適應的去在平臺上也有不同的計算資源。 ? 再說說英特爾的IPU，英特爾IPU跟現在市面上比較火爆的DPU是一個概念。 ?

? 我們對英特爾的超異構計算進行一個總結，那它有CPU、GPU、FGPA，以及DSA和ASIC所組成的IPU，并且有了這個跨平臺，也就是它所謂的XPU戰略和oneAPI框架，最終把它整合成一個大芯片， ?

（上圖為Atlan架構示意圖，Atlan和Thor同架構） ? 我們再來看英偉達Thor，這里很關鍵，為什么是數據中心架構？它所使用CPU、GPU、DPU跟數據中心里面用的架構一模一樣，區別僅僅在于規格的不同，比方說數據中心可能有50個核，在終端可能用到30個核。 ? 超級終端與傳統終端最大的區別在于：支持虛擬化，支持多系統運行，支持微服務。手機、平板、個人電腦等傳統AP是一個系統：部署好OS，上面運行各種應用，軟件附屬于硬件而存在。自動駕駛等超級終端，需要通過虛擬化將硬件切分成不同規格，供不同形態的多個系統運行，并且各個系統之間需要做到環境、應用、數據、性能、故障、安全等方面的隔離。 ? 再然后看一下英偉達在數據中心的布局，NVIDIA Grace Hopper超級芯片是CPU+GPU，NVIDIA計劃從Bluefield DPU四代起，把DPU和GPU兩者集成單芯片。Chiplet技術逐漸成熟，未來趨勢是CPU+GPU+DPU的超異構芯片。 ? 為什么顯而易見？這里面有英偉達自己的一個說法，我把這個進行了一個總結。首先，計算和網絡不斷融合：計算面臨很多挑戰，需要網絡的協同；網絡設備也是計算機，加入計算集群，成為計算的一部分。 ?

? 數據在網絡中流動，計算節點依靠數據流動來驅動計算。所有系統的本質是數據處理，那么所有的設備就都是DPU。以DPU為基礎，不斷融合CPU和GPU的功能，DPU會逐漸演化成數據中心統一的超異構處理器。 ?

? 我們再來看高通。高通在手機端是很厲害的存在，往汽車域控制上發展也會有先天優勢，但如果以最終的超級單芯片來講，相對于英偉達還是有點劣勢的。 ? ?

04? 如何駕馭超異構計算？ ? ?

接下來討論下，為什么現在才提超異構這個概念。這里面其實有很多原因，我們總結了大概4個部分，第一個首先是業務需求驅動，現在軟件新應用層出不窮，兩年一個新熱點；并且，已有的熱點技術仍在快速演進。

? 第二點，元宇宙是繼互聯網和移動互聯網之后的下一個互聯網形態，元宇宙需要源源不斷的“算力能源”。要想實現元宇宙級別的體驗，需將算力提升1000倍。受限于算力瓶頸，許多元宇宙的美好設想難以落地：沉浸感所需的16K效果，需要280.7Gbps帶寬。目前的算力基礎設施，還難以達到這么高數據量的傳輸、處理和存儲；宏觀AI算力需要數量級提升：①支撐單個數字人的AI算力需求急速增長；②元宇宙快速發展，數字人的數量猛增。 ? 第三點，就是工藝在進步，那么這里有一個非常有優勢的技術。Chiplet使得在單芯片層次，可以構建規模數量級提升的超大系統。系統越大，超異構的優勢越明顯。 ? 第四點，異構編程很難，超異構編程更是難上加難。該如何更好的駕馭超異構？我們給出的解決方案是軟硬件融合。軟硬件融合從以下幾個方面入手： ? 性能和靈活性。單引擎平衡，多引擎兼顧。 可編程及易用性。利用系統的特征，軟件無縫卸載， 實現“軟件定義一切，硬件加速一切”。 產品的彈性。滿足用戶需求，還需要滿足不同用戶差異化的需求，以及用戶需求的快速迭代。 ? 通過軟硬件融合，實現大芯片的通用性（靈活性、可編程性、易用性以及彈性等特征的集合）： 覆蓋更多的用戶、更多的場景和更長期的迭代； 適配復雜宏系統的快速變化； 實現芯片的大規模落地。 ? ? 05? ?超異構計算的未來? ? ? 最后我們介紹一下，最終落地的到底是個什么東西？ ? 在這里我們需要說一下，圖靈獎獲得者John H.和David P. 2017年提出“計算機體系結構的黃金年代”，給出的解決方案是特定領域架構DSA。 ?