云原生數(shù)據(jù)庫 TDSQL-C （原 CynosDB，TDSQL for Cloud Native Database） 是騰訊云自研的新一代高性能高可用的企業(yè)級分布式云數(shù)據(jù)庫， TDSQL-C 使用 NVIDIA UCX RDMA 優(yōu)化了關(guān)鍵路徑系統(tǒng)性能，實(shí)現(xiàn)了超百萬級 QPS 的高吞吐，128TB 海量分布式智能存儲，保障了數(shù)據(jù)安全可靠。

云原生數(shù)據(jù)庫 TDSQL-C 實(shí)現(xiàn)高性能面臨挑戰(zhàn)

TDSQL-C 采用計算存儲分離的架構(gòu)，可以快速進(jìn)行節(jié)點(diǎn)的擴(kuò)容，節(jié)點(diǎn)的遷移，但其引入的網(wǎng)絡(luò)開銷對實(shí)現(xiàn)高性能提出了更高的挑戰(zhàn)。因此需要采用軟件優(yōu)化與新硬件相結(jié)合，通過基于 SPDK 和 UCX RDMA 的零拷貝技術(shù)，減少了操作系統(tǒng)上下文切換以及數(shù)據(jù)在用戶態(tài)和內(nèi)核態(tài)之間拷貝引起的性能損耗，進(jìn)一步優(yōu)化關(guān)鍵路徑的系統(tǒng)性能，降低請求延遲。

傳統(tǒng)的 TCP/IP 網(wǎng)絡(luò)，存在以下幾個缺點(diǎn)：應(yīng)用的 buffer 發(fā)送到對端，需要經(jīng)過多次拷貝，對端收到數(shù)據(jù)到接收到應(yīng)用的接收 buffer，也需要多次拷貝；應(yīng)用的 buffer 拷貝到 TCP/IP 的 buffer，需要從用戶態(tài)進(jìn)入到內(nèi)核態(tài)，會有上下文切換；網(wǎng)絡(luò)協(xié)議棧完全由 CPU 執(zhí)行，耗費(fèi) CPU。

NVIDIA RDMA 網(wǎng)絡(luò)方案＋ConnectX 系列網(wǎng)卡

“軟硬” 兼施，賦能數(shù)據(jù)庫業(yè)務(wù)持續(xù)發(fā)展

充分利用軟硬件資源做系統(tǒng)級別 Scale Out、Scale Up、 RDMA 等 Kernel ByPass 的低延時網(wǎng)絡(luò)基礎(chǔ)。以底層高性能硬件能力作為支柱，給騰訊云數(shù)據(jù)庫業(yè)務(wù)發(fā)展提供持續(xù)不斷的系統(tǒng)源動力。

根據(jù)業(yè)務(wù)部門需求和服務(wù)器新產(chǎn)品導(dǎo)入團(tuán)隊多年來在 RDMA 技術(shù)上的沉淀， 推薦使用搭載 NVIDIA ConnectX 系列網(wǎng)卡的服務(wù)器，使用 NVIDIA RDMA 網(wǎng)絡(luò)方案來對數(shù)據(jù)庫場景進(jìn)行專項優(yōu)化，充分利用 RDMA 天然的性能優(yōu)勢：

RDMA 技術(shù)是用戶空間進(jìn)程繞過內(nèi)核直接調(diào)用 RDMA 網(wǎng)卡，實(shí)現(xiàn)和遠(yuǎn)端進(jìn)程的高效快速通訊。RDMA 伴生于 InfiniBand 網(wǎng)絡(luò)技術(shù)，由 IBTA 組織對其進(jìn)行標(biāo)準(zhǔn)化定義和維護(hù)。RDMA 技術(shù)優(yōu)勢可以解決 TCP 傳輸方式中的各種缺點(diǎn)：

整個數(shù)據(jù)傳輸過程內(nèi)存零拷貝。

網(wǎng)絡(luò)傳輸完全卸載到網(wǎng)卡硬件，不占用 CPU 資源。

使用 RDMA 技術(shù)可以 100% 利用網(wǎng)絡(luò)帶寬。

整個數(shù)據(jù)傳輸過程由硬件完成，降低了系統(tǒng)延時。

NVIDIA RDMA 網(wǎng)絡(luò)方案

助力遠(yuǎn)端計算和存儲網(wǎng)絡(luò)優(yōu)化

NVIDIA RDMA 網(wǎng)絡(luò)方案搭在硬件上使遠(yuǎn)端計算和存儲網(wǎng)絡(luò)的優(yōu)化效果達(dá)到最優(yōu)。

在 RDMA 與 TCP 性能的關(guān)鍵指標(biāo)的對比測試中，RDMA 體現(xiàn)了其優(yōu)勢。例如從oplog msg 性能數(shù)據(jù)上看，RDMA 測延遲比 TCP 降低 71.7%，吞吐提高 43.2%；在 page 性能數(shù)據(jù)方面（page 大小為16KB），RDMA 測延遲比 TCP 降低 70.3%，吞吐提高 52.3%。

騰訊云數(shù)據(jù)庫是騰訊服務(wù)的基礎(chǔ)架構(gòu)，網(wǎng)絡(luò)的延遲和帶寬對于性能至關(guān)重要， RDMA 技術(shù)的 Kernel Bypass 和 CPU Offload 可以帶來極低的延遲和極高的帶寬。在 NVIDIA 網(wǎng)絡(luò)產(chǎn)品上部署的推薦系統(tǒng)將為騰訊用戶提供業(yè)界一流的性能，使用戶充分享受 RDMA 帶來的技術(shù)紅利。

—— 騰訊云數(shù)據(jù)庫TDSQL-C負(fù)責(zé)人

李志陽

NVIDIA 作為 RDMA 技術(shù)的推動者和領(lǐng)跑者，很高興看到這項技術(shù)在騰訊得到越來越廣泛的應(yīng)用，并正在從傳統(tǒng)的 HPC/AI 業(yè)務(wù)拓展到高性能存儲和數(shù)據(jù)庫領(lǐng)域。UCX 的使用大幅度提高了 RDMA 應(yīng)用的開發(fā)效率和吞吐率，并且使得 RoCE 跟客戶應(yīng)用能迅速整合，從而幫助客戶更快走向市場，并提供差異化的云產(chǎn)品和服務(wù)。

—— NVIDIA 副總裁

Vadim Balahovski

原文標(biāo)題：NVIDIA RDMA 網(wǎng)絡(luò)助力騰訊云數(shù)據(jù)庫突破性能瓶頸

文章出處：【微信公眾號：NVIDIA英偉達(dá)】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。