2022年上半年 NVIDIA DOCA 1.3版本發(fā)布，對于開發(fā)者們更好地使用DPU，尤其是新一代的英偉達(dá)BlueField DPU進(jìn)行簡單靈活的軟件開發(fā)，有著更好的幫助。7月5日，英偉達(dá)的相關(guān)技術(shù)專家和首屆NVIDIA DPU中國黑客松優(yōu)秀開發(fā)者一起線上作了精彩的分享。

DOCA是 Data-Center-Infrastructur e-On-A-Chip-Architectur e的縮寫，也就是“線上數(shù)據(jù)中心基礎(chǔ)設(shè)施體系結(jié)構(gòu)”。它是一個為BlueField DPU量身定做的軟件開發(fā)平臺，主要的目的是為開發(fā)者打造一個全面開放的開發(fā)平臺，支持廣大開發(fā)者可以在BlueField DPU上進(jìn)行簡單靈活的軟件開發(fā)，讓開發(fā)者可以快速地創(chuàng)建BlueField DPU，加速高性能的一些應(yīng)用程序和服務(wù)。DOCA是依托于面向未來的API驅(qū)動的思維模式來構(gòu)建的，可以讓BlueField DPU硬件加速變得更加易用，從而實現(xiàn)非凡的數(shù)據(jù)中心的性能、效率，還有安全性。DOCA使開發(fā)者能夠利用行業(yè)標(biāo)準(zhǔn)的API，在BlueField DPU上做快速的創(chuàng)建 應(yīng)用程序和服務(wù)，類似于我們GPU上的CUDA，它能夠解鎖數(shù)據(jù)中心里的 創(chuàng)新功能， 并且能夠更好地向下一代或者未來新一代BlueField DPU來做兼容性和進(jìn)一步的持續(xù)支持。DOCA可以加快應(yīng)用程序和服務(wù)的上市時間，讓合作伙伴和客戶在各自競爭領(lǐng)域里獲得成功。并基于BlueField DPU服務(wù)場景發(fā)揮關(guān)鍵的靈魂作用，可以釋放DPU的潛力。

英偉達(dá)網(wǎng)絡(luò)技術(shù)專家崔巖先介紹了NVIDIA DOCA 的前幾代軟件版本的歷史來源。

最早的DOCA 1.0是在2020年GTC秋季大會上，與BlueField-2 DPU一同發(fā)布的，后面持續(xù)演進(jìn)到DOCA 1.1版本，更加完善了整個DOCA軟件棧，提供了DOCA SDK、運(yùn)行時、以及DOCA 服務(wù)。到了DOCA1.2版本，也就是在1.3之前使用的版本，在這個版本上更加加強(qiáng)了在零信任 分布式安全解決方案上的支持，直到我們這次5月份新發(fā)布的DOCA 1.3，它提供了121個新的API開發(fā)接口，也提供了一些全新和增強(qiáng)的功能，包括優(yōu)化數(shù)據(jù)流插入的DOCA Flow庫、 通信通道庫、 正則表達(dá)式庫、 我們App Shield SDK、 基于OVN的IPSec 加密的完全卸載，以及新增的一些DOCA服務(wù)，比如HBN，就是我們在DPU上實現(xiàn)了三層的路由功能。

從DOCA軟件開發(fā)套件來看，它主要是為了來創(chuàng)建和構(gòu)建應(yīng)用程序所需的所有組件，包括驅(qū)動程序、抽象的API庫、 各種開發(fā)工具、參考源代碼、示例程序和開發(fā)所需相關(guān)的文檔，現(xiàn)在到了DOCA 1.3版本，它已經(jīng)是比較完善的軟件棧，開發(fā)者可以輕松地基于這個軟件棧在本地 BlueField DPU 上或X86的開發(fā)容器中 搭建開發(fā)環(huán)境，來快速地開發(fā)自己想要實現(xiàn)的應(yīng)有程序或服務(wù)。

DOCA框架能夠給開發(fā)者提供一個一致的開發(fā)體驗，既可以統(tǒng)一訪問BlueField DPU上各種硬件資源，從而簡化網(wǎng)絡(luò)存儲安全和基礎(chǔ)設(shè)施管理服務(wù)相關(guān)的開發(fā)，開發(fā)者也不用擔(dān)心開發(fā)環(huán)境的 構(gòu)建和 部署復(fù)雜程度，基本上DOCA是個即插即用 的方式，可以讓開發(fā)者很容易地來使用這個軟件棧。

同時，還為開發(fā)者提供了基于底層API抽象封裝的高級API庫，這樣對于開發(fā)者來講，可以大大地節(jié)省他的開發(fā)時間，更早或更快地來使大的開發(fā)應(yīng)用投入到市場，獲得更大的投資收益。當(dāng)然，DOCA還提供了相應(yīng)的容器化的DOCA服務(wù)，可以在BlueField DPU上直接進(jìn)行部署，來提供相應(yīng)的應(yīng)用和解決方案。客戶不需要在DOCA服務(wù)上再做進(jìn)一步的開發(fā)。

在線上分享會，專家崔巖特別著重介紹了三個DOCA 1.3上的新功能或增強(qiáng)功能。

第一個要介紹的是正則表達(dá)式庫，這個正則表達(dá)式也稱為Regular Expression（RegEx），是許多腳本語言使用標(biāo)準(zhǔn)模式匹配的工具，有了它可以創(chuàng)建與文本模式匹配的一些過濾器，而不僅是單個單詞或短語的匹配。正則表達(dá)式是專為高吞吐量、低延時、深度包檢測的應(yīng)用程序而設(shè)計，這些應(yīng)用程序需要數(shù)據(jù)包，可以進(jìn)行負(fù)載 檢測和 異常 監(jiān)測，通過正則表達(dá)式模式匹配字符串來實現(xiàn)相應(yīng)的應(yīng)用功能。這個正則表達(dá)式還可以做一個安全遙測的功能，可以在DOCA1.3上更好地提供一些安全方面的應(yīng)用，比如 應(yīng)用 識別、 入侵防御的系統(tǒng)、 URL的過濾、 文件的掃描、 深度數(shù)據(jù)包檢測，以及App Shield的內(nèi)存掃描。這些都會用到正則表達(dá)式庫的相應(yīng)功能，能為這些安全軟件開發(fā)提供底層的API支持。

第二個需要強(qiáng)調(diào)的或者需要介紹的，是我們基于OVN的數(shù)據(jù)路徑加密功能。在我們之前的1.2版本 能將主機(jī)內(nèi)的IPsec相應(yīng)的功能卸載到DPU之上，構(gòu)建 IPsec的控制平面，在vSwitch 控制平面上實現(xiàn) IPsec加密和解密。新的增強(qiáng)版本上，我們把這個功能相當(dāng)于擴(kuò)展到整個OVN范疇之內(nèi)，不同主機(jī)之間都可以用這個IPsec的方式來創(chuàng)建不同的通道，進(jìn)行數(shù)據(jù)的加密，保證數(shù)據(jù)在不同主機(jī)之間傳遞的時候，它是一個加密的狀態(tài)。當(dāng)這個數(shù)據(jù)達(dá)到某個主機(jī)時，DPU會把它解密成明文，把這些明文數(shù)據(jù)再傳遞給主機(jī)側(cè)來為 業(yè)務(wù)應(yīng)用 提供數(shù)據(jù)。這是OVN數(shù)據(jù)路徑加密的，在DOCA1.3上的一個新增功能。

最后一個要介紹的是DOCA基于主機(jī)的網(wǎng)絡(luò)，我們簡稱為“HBN”。這個功能是在NVIDIA BlueField DPU上基于主機(jī)的網(wǎng)絡(luò)上可以進(jìn)行管理和監(jiān)控同一節(jié)點上虛擬機(jī)和容器之間的流量，也就是說我們在一個服務(wù)器主機(jī)上可能創(chuàng)建了多個虛擬機(jī)或多個容器，在它們之間會有一些數(shù)據(jù)流量，不僅是轉(zhuǎn)發(fā)二層數(shù)據(jù)流量，還要實現(xiàn)三層 路由 功能，我們也把它實現(xiàn)在了BlueField的DPU之上，通過基于主機(jī)網(wǎng)絡(luò)的DOCA服務(wù)。而且它還可以做加密和解密，進(jìn)行節(jié)點流量的監(jiān)控，同時也會把一些原來是依賴以TOR交換機(jī)上面的功能也在DPU上面得到了實現(xiàn)，這種方式會徹底改變客戶構(gòu)建和思考整個數(shù)據(jù)中心網(wǎng)絡(luò)構(gòu)建的方式。

隨著BlueField DPU智能化程度的提高，在整個網(wǎng)絡(luò)里把功能都會集中在BlueField DPU之上去做相應(yīng)的實現(xiàn)，這樣就會降低對TOR交換機(jī)的相關(guān)要求，BlueField DPU還可以 提供一個隔離的環(huán)境，這樣可以做更好的安全性的部署。

歸根到底，基于主機(jī)的網(wǎng)絡(luò)HBN它是一個DOCA的服務(wù)，像我前面介紹的那樣，它實際不需要客戶再在上面做過多的開發(fā)，直接就可以通過容器的方式可以直接在BlueField DPU上面做部署，通過作為BGP的路由器來使用，可以做主機(jī)內(nèi)的虛擬機(jī)或容器之間的三層數(shù)據(jù)轉(zhuǎn)發(fā)路由，也可以對主機(jī)外相應(yīng)的其他節(jié)點上的數(shù)據(jù)進(jìn)行三層轉(zhuǎn)發(fā)，使二層網(wǎng)絡(luò)和三層網(wǎng)絡(luò)都得以擴(kuò)展。當(dāng)然，也會擴(kuò)展到云計算里多租戶的環(huán)境之下。

在整個BlueField DPU上實現(xiàn)了這些動態(tài)的路由協(xié)議之后，可以大大地加速整個網(wǎng)絡(luò)數(shù)據(jù)流量處理性能，同時BlueField DPU還可以提供相應(yīng)的安全保障，這是HBN會給BlueField DPU和未來客戶在數(shù)據(jù)中心網(wǎng)絡(luò)部署的時候會帶來全新的方式。

分享會上首屆NVIDIA DPU中國黑客松亞軍團(tuán)隊、優(yōu)秀開發(fā)者代表胡效赫也很高興地分享了他及其團(tuán)隊 使用DOCA 的開發(fā)經(jīng)驗與心得。

胡效赫是一位來自高校的DPU開發(fā)者，其黑客松參賽團(tuán)隊是由一位博士后和兩位博士生組成的，研究方向是云計算和分布式系統(tǒng)。“從2020年NVIDIA發(fā)布BlueField DPU開始，我們就在關(guān)注相關(guān)的學(xué)術(shù)界和業(yè)界的信息。今年通過微信上的活動推送，我們得知并有機(jī)會參與了首屆NVIDIA DPU中國黑客松，并獲得了亞軍。”

在開發(fā)過程中通過專家的指導(dǎo)充分地了解了DPU的硬件特性，DOCA良好的可編程性讓開發(fā)者可以快速實現(xiàn)并驗證創(chuàng)新的想法。同時開發(fā)者也可以對DOCA的API進(jìn)行深度、定制化開發(fā)，實現(xiàn)更好的性能和更豐富的功能。

胡效赫介紹說：“我們開發(fā)團(tuán)隊提出了DeepTrace項目，面向DPU驅(qū)動的基礎(chǔ)設(shè)施的網(wǎng)包級函數(shù)粒度業(yè)務(wù)可觀測性。我們以DOCA提供的網(wǎng)流及粗粒度可觀測性為基礎(chǔ)，對應(yīng)的是DOCA中的Netflow API庫，結(jié)合DPU的高性能網(wǎng)絡(luò)處理功能，對應(yīng)的是DPU的ASAP2網(wǎng)包分類引擎，以及DOCA中的Flow API庫，以及數(shù)據(jù)平面和控制平面的可編程能力，將可觀測性的力度提升至網(wǎng)包級，并精確到每個函數(shù)功能。同時，我們也做到了幾乎可以忽略不計的性能損耗。”

“通過DOCA和項目開發(fā)來具體介紹我們是如何創(chuàng)新地設(shè)計DeepTrace項目的。業(yè)務(wù)流量首先經(jīng)過DeepTrace預(yù)選器，再經(jīng)由原始的GPU程序進(jìn)行處理，在D PU程序中會調(diào)用DeepTrace的觸發(fā)器來實現(xiàn)相應(yīng)點位的觀測，然后被觀測的數(shù)據(jù)會被匯總收集至分析器，通過數(shù)據(jù)的重組和分析得到相應(yīng)的結(jié)果，比如得到異常流量的檢測以及業(yè)務(wù)問題的定位等。基于DOCA開發(fā)DeepTrace的整體編程模式和在CPU上進(jìn)行DPDK網(wǎng)絡(luò)功能的開發(fā)功能類似，這種模式提高了我們的開發(fā)效率。”

“具體來看，其中觸發(fā)器部分的挑戰(zhàn)是如何以最小的代價收集鏈?zhǔn)胶瘮?shù)和網(wǎng)包的信息，我們采用的方案是以統(tǒng)一化、輕量化的函數(shù)內(nèi)觸發(fā)器實現(xiàn)，具體在開發(fā)過程中，我們將DOCA的NetFlow庫修改為網(wǎng)包粒度，而需要觀測的函數(shù)以API的形式調(diào)用觸發(fā)器即可。”

“在預(yù)選器部分的挑戰(zhàn)是如何處理大規(guī)模原始流量，并在函數(shù)鏈中記錄網(wǎng)包。我們采用的方案是通過硬件卸載的預(yù)選器進(jìn)行標(biāo)記和過濾。具體在開發(fā)過程中我們調(diào)用DOCA的Flow庫配置所需預(yù)選的顆粒 規(guī)則即可實現(xiàn)，因為預(yù)選功能實際由硬件卸載完成。所以，方案帶來的性能損耗幾乎可以忽略不計劃。在分析器部分，我們由運(yùn)行在ARM控制平面的開源開放工程實現(xiàn)。”
對于DOCA 開發(fā)者免費使用 卓越中心的DOCA開發(fā)環(huán)境的開放時間和規(guī)則，主辦方也在線上作了解釋。具體可以參考以下的兩張PPT截圖，供NVIDIA的DPU開發(fā)者參考。

卓越中心的運(yùn)營方仍然還是之前所授權(quán)的兩家公司：麗臺信息和信弘智能科技。

NVIDIA網(wǎng)絡(luò)與AI產(chǎn)品的最新進(jìn)展，元宇宙最火的硬件平臺原來是它！

NVIDIA網(wǎng)絡(luò)市場總監(jiān)孟慶也在分享會上順便介紹了一下公司網(wǎng)絡(luò)產(chǎn)品最新進(jìn)展，包括在眾多開源聯(lián)盟參與標(biāo)準(zhǔn)建設(shè)、開放網(wǎng)絡(luò)軟件等方面的進(jìn)展，以及NVIDIA成為Linux基金會OPI項目創(chuàng)始成員等。

也提到了NVIDIA在全球Top 500超級計算機(jī)互連中占主導(dǎo)地位的成就，如上圖所示。有197個 Top 500強(qiáng)系統(tǒng)中采用了NVIDIA InfiniBand 網(wǎng)絡(luò)。

孟慶還介紹了Spectrum-4 400Gbps 端到端以太網(wǎng)平臺，其中包括 Spectrum-4 交換機(jī)、ConnectX-7智能網(wǎng)卡、BlueField-3 DPU及相關(guān)軟件可以有力支撐炙手可熱的元宇宙(Omniverse) 。“在數(shù)字孿生里，Omniverse標(biāo)準(zhǔn)的OVX SuperPod，我們采用的方案必須得是Spectrum-4 400G這套網(wǎng)絡(luò)平臺這樣才能更好的實現(xiàn)您所需的數(shù)字孿生，由數(shù)字人-數(shù)字機(jī)器-物理世界做相應(yīng)的互聯(lián)，”孟慶說。