2023年1月7日，中國信息通信研究院聯合開放數據中心委員會發布了《DPU發展分析報告（2022年）》。

DPU 將成為下一代芯片技術競爭的高地。作為數據中心繼 CPU 和GPU之后的"第三顆主力芯片"，DPU的演進也經歷了從眾核CPUNP、FPGA+CPU到ASIC+CPU的多個發展階段或者技術演進。

基于CPU/NP、FPGA+CPU的硬件架構分別具備軟件可編程和硬件可編程的靈活優勢，在DPU發展的初期尤其受到互聯網云廠商大廠自研方案的青睞，在快速迭代和靈活定制方面有比較明顯的收益。

然而，隨著網絡帶寬的快速增長，網絡接入帶寬迅速從10G、25G演進到了100G、200G之后，基于CPU/NP和FPGA+CPU這類硬件架構的DPU除了在性能上難以為繼以外，在成本和功耗上則有更大的挑戰。基于ASIC+CPU的硬件架構則是結合了ASIC和CPU二者的優勢，即將通用處理器的可編程靈活性與專用的加速引擎相結合，正在成為最新的產品趨勢。

業界的頭部廠商NVIDIA、Intel和AMD（收購Pensando）的DPU架構都采用了這種架構路線。

從DPU 芯片的實現角度看，以 ASIC+CPU 的硬件架構為例，CPU的研發更多的是以系統級芯片的方式集成第三方成熟的CPU多核IP，不同DPU廠商的核心競爭壁壘在于專用加速引擎的硬件實現上。由于DPU是數據中心中所有服務器的流量入口，并以處理報文的方式處理數據，在網絡芯片領域積累更多的廠商將更有優勢。

（一）RDMA高速網絡技術1、RDMA的技術背景

傳統TCP/IP協議棧在處理報文轉發的過程當中，從用戶態到內核協議棧再經過網卡轉發出去這個過程中，要觸發多次CPU的上下文切換，發生多次的內存拷貝，由于多次數據拷貝，轉發延時一直較高，隨著網絡帶寬的提升，傳統內核處理報文的方式已經無法滿足更高帶寬，更低延時的業務需求。

RDMA 是一種遠程直接內存訪問技術，它將數據直接從一臺計算機的內存傳輸到另一臺計算機的內存，數據從一端主機的內存通過DMA方式從網卡轉發出去，到另一端通過網卡DMA直接寫入另一端主機的內存，整個數據傳輸過程無須操作系統以及CPU參與，這種CPU/內核協議棧的bypass技術通過硬件網卡實現，可以滿足未來網絡對高帶寬、低延時的需求，并進一步釋放CPU的計算資源。?RDMA技術具有以下特點：

CPU卸載：用戶態應用程序通過調用IB verbs接口直接訪問遠程主機的內存，可以對遠程內存執行讀取、寫入、原子操作等多種操作，而且無須兩端主機CPU參與。

內核旁路：RDMA采用基于verbs的編程方式，不同于socket編程方式，需要用戶態與內核態的切換，應用程序可以直接在用戶態調用RDMA的verbs接口，消除上下文切換帶來的額外開銷，并實現了額內核系統旁路。

零拷貝：本端應用程序內存數據通過網卡DMA直接發送到遠端網卡，遠端網卡通過DMA方式直接寫入對端內存，整個過程中消除了傳統TCP/IP傳輸方式的多次內存拷貝的過程，實現內存零拷貝，進一步降低整個網絡延時。

為了達到RDMA在高性能和低延時上的技術優勢，RDMA有高的技術門檻，需要端到端的擁塞控制來避免擁塞和降低網絡延時。實現端到端的高性能RDMA網絡需要考慮：

1）網絡收斂比。進行數據中心網絡架構設計時，從成本和收益兩方面來考慮，多數會采取非對稱帶寬設計，即上下行鏈路帶寬不一致，交換機的收斂比簡單說就是總的輸入帶寬除以總的輸出帶寬；

2）ECMP等價哈希均衡。當前數據中心網絡多采用Fabric架構，并采用ECMP來構建多條等價負載均衡的鏈路，通過設置擾動因子，采用 HASH 選擇一條鏈路來轉發是簡單的，但這個過程中卻沒有考慮到所選鏈路本身是否有擁塞。ECMP并沒有擁塞感知的機制，只是將流分散到不同的鏈路上轉發，對于已經產生擁塞的鏈路來說，很可能加劇鏈路的擁塞；

3）Incast流量模型，Incast是多打一的通信模式，在數據中心云化的大趨勢下這種通信模式常常發生，尤其是那些以Scale-Out方式實現的分布式存儲和計算應用，包括EBS云存儲、AI集群、高性能數據庫、Hadoop、MapReduce、HDFS等；

4）無損網絡交換機的流量控制、QoS和擁塞控制機制以及相應的水線設置，能夠讓RDMA得到規模部署且廣泛應用的就需要RDMA的擁塞控制算法支撐。在Fabric網絡復雜、多路徑的場景下，伴隨著多打一、突發等情況的出現，是擁塞控制算法讓RDMA的高性能得以充分展現，為RDMA的高性能保駕護航。

端到端擁塞控制算法的基本原理是依托擁塞節點交換機對出向?報文的 ECN標記，目的端通過ECN標記處理反饋 CNP使得源端進行速率調節，從而達到解決擁塞的目的。

隨著RDMA技術的普及，不同的云廠商用戶結合不同的業務場景和網絡環境提出了多種擁塞控制算法，比較有代表的算法有被業界?大規模驗證過的DCOCN算法，阿里提出的HPCC算法，以及谷歌提?出的TIMELY和Swift算法等。不同的用戶或者業務場景有不同擁塞控制算法的需求。因此，DPU芯片需要支持多種擁塞控制算法，或者能夠一步到位支持擁塞控制算法的可編程能力。

2、RDMA的應用價值

RDMA對比傳統TCP傳輸方式在提升吞吐，降低CPU占用、降低延時方面均有明顯的優勢。后摩爾時期尤其是在網絡進入100G甚至200G以上的帶寬情況下，傳統TCP協議棧內核轉發完全無法滿足性能要求，隨著網絡技術的演進，高吞吐、低延時的RDMA技術將承擔基礎的網絡傳輸功能，進一步提升數據中心整體算力。

RDMA 憑借其高吞吐、低延時、CPU旁路、適應性廣、技術成熟等特點，已經成為數據中心基礎服務的一個重要組成部分，承載著多種不同的業務類型，并且隨著網絡技術以及應用的發展，RDMA的應用將進一步擴大。

（二）數據面轉發技術

隨著網絡流量的指數增長，基于硬件數據面轉發技術越來越受到關注，在傳統交換機和路由器上已經成熟應用的數據面轉發技術也被應用到了DPU領域。在數據面硬件轉發技術中，基本的硬件處理架構有兩種：基于NP的run-to-completion（RTC）架構和pipeline架構。

1、基于NP的RTC轉發架構

通用RTC（Real-Time Clock）處理器轉發模型，報文進入后，經過調度分發器后，被分配到一個報文處理引擎上處理。RTC是一種非搶占機制，當報文進入該處理引擎后，根據轉發需求進行處理，直到處理結束退出。

在RTC架構中，每個處理器上都是標準的馮諾依曼架構，包括：程序計數器（PC）、指令存儲器、譯碼器、寄存器堆、邏輯運算單元（ALU），其中指令存儲器多個核之間共享。通常報文處理流程通過C語言或微碼編程后，會被編譯成一系列的指令執行。由于轉發需求和報文長度不同，每個報文在處理器內部的處理時間差異很大。

2、Pipeline轉發架構

Pipeline架構中，整個處理流程被拆分成多個不同的處理階段，對應到不同的步驟，每一級轉發處理可以做成專用的硬件處理單元。當第一個報文執行完第一個步驟，進入第二個步驟時，第二個報文可以進入流水線中的第一個步驟進行處理。

根據業務需求，將轉發流程拆分成多個處理步驟，每個步驟中只執行特定的邏輯處理，主要應用在數據中心交換機上，比如：Broadcom TD系列。

Match-Action Pipeline架構也是一種業界常用的pipeline架構為，與固化Pipeline架構相比，每個步驟中可根據業務生成靈活的查表信息，根據查表結果，對報文進行相應的邏輯處理，如下圖所示。

在性能上，固化Pipeline架構近乎定制化ASIC，相比于可編程Pipeline架構，吞吐更高，時延更低，邏輯處理單元復雜度更低?與可編程Pipeline相比，固化Pipeline，不支持可編程和新的業務添加。而可編程MA架構可以保留一部分靈活可拓展性，在資源允許的情況下，支持新業務拓展。

3、Pipeline vs RTC

Pipeline 和 RTC 作為兩個主流轉發架構，RTC架構在轉發業務中表項出豐富的靈活性，但隨著網絡流量的不斷增加，Pipeline架構表現出相對優勢：

在性能方面，1）在相同處理性能下，RTC架構中通常采用多核多線程，來提高轉發性能，由于多線程面積占比較高（每個線程獨立維護相應的寄存器信息），報文進入處理器的調度和多核報文調度轉發邏輯資源面積較大，導致芯片面積和功耗通常為Pipeline架構的數倍。2）由于多核處理器訪問內存，導致帶寬壓力較大。為提高轉發性能，內存會被復制多份，降低內存訪問沖突，導致內存占用率很高。

時延方面，在Pipeline架構下，不同步驟中的memory資源靜態分配，報文在轉發過程中執行的指令信息提前預知。和 RTC 架構相比，能夠大大降低由于讀寫/查表沖突帶來的時延，通常 pipeline架構對報文的處理時延是 RTC 架構的數十分之一。

從功耗、性能、面積的角度考慮，DPU跟隨網絡流量需求變化（業務需求不斷豐富、網絡時延敏感、功耗要求更低），基于可編程Pipeline的硬件架構更符合DPU加速硬件報文轉發的發展方向。

（三）網絡可編程技術

在以算力為中心的時代，網絡邊緣設備已經從柜頂交換機延展到DPU，DPU已經成為數據中心內部網絡連接計算、存儲的新的接入節?點，面對不斷變化的網絡業務需求和自定義網絡擴展能力的需要，支持網絡可編程技術成為DPU應用于新一代數字基礎設施的關鍵技術因素。

DPU上網絡可編程技術主要包括控制平面網絡可編程技術和數據平面網絡可編程技術，其中控制平面網絡可編程技術主要應用于DPU 內部的通用系統級芯片上，而數據平面網絡可編程技術則主要應用在硬件加速器部分。

目前DPU數據平面網絡可編程技術主要包括基于快速流表和基于P4流水線兩種常見技術。

（四）開放網絡及DPU軟件生態

由于DPU芯片的發展還處于早期階段，DPU的軟件生態也處于萌芽狀態。目前，市場上主流的開放網絡及 DPU 軟件生態主要有Linux 基金會宣布的開放可編程基礎設施——OPI項目、由 Intel 驅動主導的 IPDK 框架、Nvidia DPU的開源軟件開發框架 DOCA、開放數據中心委員會開展的無損網絡項目等。

DPU 作為數據中心基礎設施的一顆重要芯片，擁有一個社區驅動的、基于標準的開放生態系統，以開放的形式定義DPU標準可編程基礎設施生態，對DPU的長期發展至關重要。

一個富有生命力的DPU的軟件生態需要具備條件為提供一個基于開放社區的DPU軟件堆棧以及用戶驅動，且與供應商無關的軟件框架和架構。支持既有的DPU開源應用程序生態系統，包括DPDK，OVS，SPDK 等已經在用戶側有廣泛應用的開源應用軟件。

基于以上標準我們對現有的DPU軟件生態做比較，SONiC是由用戶驅動的開放網絡平臺項目。SONiC是由微軟于2016年發起，其所有軟件功能模塊都來自開源生態。如下圖所示，SONiC通過將SAI 接口作為統一的硬件管理接口，由各廠商在SAI接口之下實現對應硬件驅動，通過這樣的方式屏蔽不同廠商硬件之間的驅動差異，使 SONiC軟件可以運行在各種硬件設備中，形成白盒交換機統一的軟件生態。

在P4 可編程和DPU的支持方面，SONiC先是通過PINS（P4 Integrated Network Stack）在 SDN 市場白盒交換機中落地了最佳實踐，得到了產業界的廣泛支持；之后又推出了 SONiC DASH （Disaggregated API for SONiC Hosts）版本，將SONiC在 SDN 交換機市場的最佳實踐引入到主機側，實現了主機端與網絡白盒交換機統一的開放網絡生態，為DPU順利加入數字基礎設施的SDN網絡域打下了基礎。
審核編輯：陳陳