在過(guò)去的 15 年中，越來(lái)越多的企業(yè)將其傳統(tǒng)的 IT 應(yīng)用程序從本地遷移到公共云。這場(chǎng)革命的第一階段，你可以稱(chēng)之為“企業(yè)云轉(zhuǎn)型”，它讓企業(yè)從云的規(guī)模、專(zhuān)業(yè)知識(shí)和靈活性中獲益。這場(chǎng)革命的第二階段“邊緣人工智能云轉(zhuǎn)型”正在發(fā)生，它是由物聯(lián)網(wǎng)、 5G 、邊緣計(jì)算和人工智能共同推動(dòng)的。它為新的 邊緣 AI 服務(wù)打開(kāi)了一個(gè)可能的世界，將改變?cè)S多行業(yè)。企業(yè)和政府將通過(guò)提供一系列新服務(wù)來(lái)獲得 邊緣 AI 的價(jià)值，包括智能城市、自主汽車(chē)、工業(yè) 4 .0 、智能零售和遠(yuǎn)程醫(yī)療。

在一個(gè)數(shù)千億設(shè)備產(chǎn)生可操作數(shù)據(jù)的世界里，網(wǎng)絡(luò)架構(gòu)需要一個(gè)范式的轉(zhuǎn)變。 5G 的興起帶來(lái)了更高的數(shù)據(jù)速度和執(zhí)行網(wǎng)絡(luò)切片的能力，這使得網(wǎng)絡(luò)即服務(wù)能夠提供各種邊緣應(yīng)用和服務(wù)。由于許多邊緣服務(wù)依賴(lài)于超低延遲鏈路，它們不適合在集中位置處理所有數(shù)據(jù)的傳統(tǒng)云 IT 方法。因此，邊緣計(jì)算的興起，在這種計(jì)算中，數(shù)據(jù)的處理更接近產(chǎn)生數(shù)據(jù)的設(shè)備和使用它的最終用戶(hù)或消費(fèi)者。邊緣計(jì)算優(yōu)化了帶寬利用率，減少了延遲，并確保了這些新服務(wù)更大的隱私性。這場(chǎng)革命的新階段是由人工智能推動(dòng)的，人工智能推動(dòng)了邊緣數(shù)據(jù)中心的創(chuàng)新，從傳感器的原始數(shù)據(jù)中產(chǎn)生價(jià)值，從而獲得實(shí)時(shí)見(jiàn)解。因此，這些未來(lái)的應(yīng)用被稱(chēng)為邊緣人工智能服務(wù)。

NVIDIA 與 馬維尼爾 合作，為 智能視頻分析（ IVA ） 構(gòu)建了一個(gè)加速且高效的 Edge AI 解決方案。 IVA 應(yīng)用框架，如 NVIDIA 大都市 可以理解攝像機(jī)和傳感器生成的大量數(shù)據(jù)。它們通過(guò)提供智能交通和停車(chē)系統(tǒng)為智能城市提供動(dòng)力，或使工業(yè)自動(dòng)化的進(jìn)步提高生產(chǎn)力和減少浪費(fèi)。

圖 1 。 Mavenir-NVIDIA 端到端 IVA 解決方案支持智能城市、無(wú)摩擦零售、工廠樓層光學(xué)檢測(cè)等。

NVIDIA -Mavenir 高效加速 IVA 解決方案

NVIDIA 和 Mavenir 合作開(kāi)發(fā)了一個(gè) edge-AI 用例，該用例專(zhuān)注于城市地區(qū)或工業(yè)園區(qū)的實(shí)時(shí)目標(biāo)檢測(cè)。該解決方案用于檢測(cè)感興趣的對(duì)象，支持諸如監(jiān)控機(jī)場(chǎng)停車(chē)場(chǎng)智能停車(chē)場(chǎng)、防止郵件被盜或協(xié)調(diào)機(jī)器人車(chē)輛等應(yīng)用程序。

如圖 1 所示， NVIDIA 和 Mavenir 的端到端解決方案將 5G 連接攝像頭生成的視頻流通過(guò) Mavenir 的 5G 核心用戶(hù)平面功能（ UPF ）路由至 NVIDIA Metropolis 平臺(tái)。所有這些都運(yùn)行在一個(gè)超級(jí)融合的 2RUNVIDIA EGX 邊緣服務(wù)器上。這些分解的基礎(chǔ)設(shè)施組件組合在一起，為公共和私人 5G 客戶(hù)提供一個(gè)加速和高效的 AI 驅(qū)動(dòng)的邊緣 IVA 解決方案。

包流：包生命中的一天

圖 2 。分組通過(guò)加速有效 IVA 解決方案的不同組件。

如圖 2 所示，攝像機(jī)將視頻輸入平臺(tái)。這些攝像機(jī)提供的視頻幀包通過(guò) Uu 連接流到模擬的 RAN 。 RAN 通過(guò) N3 連接將數(shù)據(jù)包路由到 Mavenir 5G UPF 的 GPRS 隧道協(xié)議（ GTP ）隧道中。 NVIDIA 連接 X-6 Dx SmartNICs 卸載并加速 UPF 的數(shù)據(jù)包處理，繼續(xù)通過(guò) N6 連接將數(shù)據(jù)包從 GTP 隧道路由到 EGX 邊緣服務(wù)器 。可用于分析數(shù)據(jù)的附加數(shù)據(jù)分析和數(shù)據(jù)處理平臺(tái)。

每臺(tái)攝像機(jī)以 720p 的分辨率和 4Mbps 的帶寬傳輸。該用例有 160 個(gè)攝像頭，因此每個(gè)網(wǎng)絡(luò)片的總帶寬為 640 Mbps 。系統(tǒng)的有效利用成為提供高效且經(jīng)濟(jì)可行的解決方案的關(guān)鍵。

UPF 在 5G 核心中的關(guān)鍵作用

這種聯(lián)合解決方案的關(guān)鍵要素之一就是 5G 核心。我們?cè)谶@個(gè)聯(lián)合解決方案中特別強(qiáng)調(diào)的一個(gè)方面是如何使用硬件卸載來(lái)加速 5G 系統(tǒng)的各個(gè)部分。具體來(lái)說(shuō)，我們可以演示卸載 Mavenir UPF 元素以提供最高效的服務(wù)和吞吐量的好處。

圖 3 。 3GPP 5G 架構(gòu)。

如圖 3 所示， UPF 是 3GPP 5G 核心規(guī)范中的關(guān)鍵組件。它可以被認(rèn)為是 5G 網(wǎng)絡(luò)的主干。 UPF 在 RAN / MEC 和數(shù)據(jù)網(wǎng)絡(luò)之間提供連接，確保數(shù)據(jù)在系統(tǒng)中的有效傳輸。

UPF 由 5G 核心的會(huì)話(huà)管理功能（ SMF ）組件管理。 SMF 根據(jù)定義的業(yè)務(wù)規(guī)則定義了通過(guò) UPF 移動(dòng)數(shù)據(jù)包的規(guī)則。因此， UPF 的角色之一是解析來(lái)自傳入數(shù)據(jù)包的會(huì)話(huà)或用戶(hù)信息，并將其與 SMF 定義的規(guī)則相匹配。

通過(guò) 5G （ 3GPP 協(xié)議中指定為 N3 和 N9 ）的連接基于 GTP 。 UPF 處理數(shù)據(jù)包通過(guò) GTP 隧道時(shí)的解封裝和封裝。此外， UPF 處理包路由和轉(zhuǎn)發(fā)、包檢查、服務(wù)質(zhì)量（ QoS ）實(shí)施和網(wǎng)絡(luò)地址轉(zhuǎn)換（ NAT ）。作為其工作的一部分， UPF 管理數(shù)據(jù)包的接收端擴(kuò)展（ RSS ），其中數(shù)據(jù)包被負(fù)載平衡并定向到 UPF 服務(wù)器內(nèi)的不同核心進(jìn)行處理。

這種不同的角色為使用硬件卸載加速 UPF 性能提供了多種機(jī)會(huì)。

圖 4 。數(shù)據(jù)包轉(zhuǎn)發(fā)的硬件卸載過(guò)程。

傳統(tǒng)上，傳統(tǒng)的虛擬網(wǎng)絡(luò)功能（ vnf ）運(yùn)行在通用的 CPU 上。雖然靈活，但它們?cè)诳缮炜s性和對(duì)不同工作負(fù)載的響應(yīng)方面受到限制。 NVIDIA 網(wǎng)絡(luò)技術(shù)使用物理硬件，如智能網(wǎng)卡和 DPU ，以高速執(zhí)行數(shù)據(jù)包處理任務(wù)。重點(diǎn)是管理 NIC 表中的流規(guī)則，將傳入的數(shù)據(jù)包與預(yù)定義的規(guī)則相匹配。 NVIDIA ASAP2是一項(xiàng)旗艦開(kāi)源技術(shù)，實(shí)現(xiàn)了云、虛擬化和裸機(jī)環(huán)境的加速交換和數(shù)據(jù)包處理。

硬件比軟件更有效地執(zhí)行卸載功能。因此，可以以較高的吞吐量和較低的延遲執(zhí)行操作。此外，卸載可以釋放 CPU 來(lái)處理其他任務(wù)，而不是進(jìn)行數(shù)據(jù)包處理。

盡快2將 UPF 功能卸載到硬件

圖 5 。沒(méi)有硬件加速的 UPF 管道流。

在圖中，通過(guò)非 UPN3 接口接收來(lái)自 GNO 的數(shù)據(jù)包。然后， UPF 服務(wù)器中的調(diào)度線(xiàn)程或核心負(fù)責(zé) RSS 。調(diào)度器接收包并將其定向到多個(gè)工作線(xiàn)程或虛擬核心中的一個(gè)。這些核心然后處理剩余的 UPF 管道：

由訂戶(hù)的 IP 地址標(biāo)識(shí)的特定于訂戶(hù)的規(guī)則的初始匹配

GTP 封裝/解封（基于通過(guò) GTP 隧道的數(shù)據(jù)流）提取特定的訂戶(hù) IP 地址

基于 SMF 規(guī)則的會(huì)話(huà)數(shù)據(jù)提取與處理

執(zhí)行以業(yè)務(wù)為中心的任務(wù)，如 QoS 和數(shù)據(jù)包計(jì)費(fèi)和計(jì)數(shù)

在將要發(fā)送到數(shù)據(jù)網(wǎng)絡(luò)或 5G 系統(tǒng)中的下一跳的數(shù)據(jù)包排隊(duì)之前，重寫(xiě) NAT 的數(shù)據(jù)包頭。

這個(gè)過(guò)程是 CPU 密集型和低效的。我們可以演示通過(guò)管道進(jìn)行包處理并在 smartNIC 而不是在 CPU 中執(zhí)行它的優(yōu)勢(shì)。目前與 Mavenir 的合作已經(jīng)分兩個(gè)階段演示了這種卸載。

圖 6 。部分加速流水線(xiàn)硬件。

圖 6 顯示了第一個(gè)卸載階段的重點(diǎn)是包分類(lèi)、流標(biāo)記、 GTP encap / decap 和 RSS 。

當(dāng)數(shù)據(jù)包從 GNodeB 接收時(shí)， NIC 對(duì) IPv4 和會(huì)話(huà)頭執(zhí)行規(guī)則匹配。這樣， NIC 理解會(huì)話(huà)上下文并執(zhí)行 RSS 功能，相應(yīng)地將數(shù)據(jù)包發(fā)送給工作線(xiàn)程。這種卸載會(huì)立即釋放調(diào)度程序核心來(lái)執(zhí)行其他任務(wù)。

在第二個(gè)更高級(jí)的階段， UPF 管道的其他組件被卸載到 NIC 。此過(guò)程包括流標(biāo)記，以維護(hù)在一個(gè)數(shù)據(jù)包與多個(gè)表匹配時(shí)要保留在會(huì)話(huà)中的匹配上下文。

在 NIC 執(zhí)行初始規(guī)則匹配之后，它將執(zhí)行 GTP encap / decap ，并在將數(shù)據(jù)包發(fā)送到工作核心之前標(biāo)記數(shù)據(jù)包以進(jìn)行流標(biāo)記。

與第一階段卸載一樣，調(diào)度器核心被釋放。還有更多的好處。 GTP encap / decap 開(kāi)銷(xiāo)減少， UPF 軟件匹配所需的一些 CPU 搜索周期也減少了。此外， FlowTag 標(biāo)記通過(guò)創(chuàng)建具有親和力的 RSS 大大提高了 UPF 處理。當(dāng)系統(tǒng)識(shí)別出一個(gè)包時(shí)，它可以將它發(fā)送到特定的線(xiàn)程進(jìn)行處理，而不是僅僅充當(dāng)工作線(xiàn)程 – 和核心關(guān)聯(lián)感知的負(fù)載平衡器。

未來(lái)的發(fā)展將把 UPF 管道的附加功能轉(zhuǎn)移到硬件上，從而提高系統(tǒng)的效率。

5GC UPF 卸載的性能優(yōu)勢(shì)

測(cè)試系統(tǒng)顯示了將 UPF 功能卸載到 smartNIC 的明顯優(yōu)勢(shì)。測(cè)試是通過(guò)視頻流通過(guò) RAN 進(jìn)入 UPF ，被推向邊緣 AI 。

圖 7 。 UPF 性能結(jié)果（無(wú)硬件卸載）。

Mavenir UPF 軟件配置為使用 32 個(gè)虛擬快速路徑核心運(yùn)行。圖 7 顯示，作為基線(xiàn)測(cè)試，視頻流通過(guò) UPF 而無(wú)需任何硬件卸載。該測(cè)試顯示 32 個(gè)快速路徑核心的最大吞吐量達(dá)到 524 Gbps。

關(guān)于作者

Ash Bhalgat 是 NVIDIA 網(wǎng)絡(luò)業(yè)務(wù)部門(mén)的云和電信市場(chǎng)開(kāi)發(fā)高級(jí)總監(jiān)。他領(lǐng)導(dǎo)云和電信解決方案、技術(shù)營(yíng)銷(xiāo)和合作伙伴生態(tài)系統(tǒng)業(yè)務(wù)開(kāi)發(fā)，以推動(dòng)網(wǎng)絡(luò)投資組合收入和市場(chǎng)份額增長(zhǎng)。

審核編輯：郭婷