為了實(shí)現(xiàn)可擴(kuò)展的數(shù)據(jù)中心性能， NVIDIA GPU 已成為必備產(chǎn)品。

NVIDIA GPU 由數(shù)千個(gè)計(jì)算核支持的并行處理能力對(duì)于加速不同行業(yè)的各種應(yīng)用至關(guān)重要。目前，跨多個(gè)行業(yè)的計(jì)算密集型應(yīng)用程序使用 GPU ：

高性能計(jì)算，如航空航天、生物科學(xué)研究或天氣預(yù)報(bào)

使用 AI 改進(jìn)搜索、推薦、語(yǔ)言翻譯或交通（如自動(dòng)駕駛）的消費(fèi)者應(yīng)用程序

醫(yī)療保健，如增強(qiáng)型醫(yī)療成像

財(cái)務(wù)，如欺詐檢測(cè)

娛樂，如視覺效果

此范圍內(nèi)的不同應(yīng)用程序可能有不同的計(jì)算要求。訓(xùn)練巨型人工智能模型，其中 GPU 批處理并行處理數(shù)百個(gè)數(shù)據(jù)樣本，使 GPU 在訓(xùn)練過程中得到充分利用。然而，許多其他應(yīng)用程序類型可能只需要 GPU 計(jì)算的一小部分，從而導(dǎo)致大量計(jì)算能力的利用不足。

在這種情況下，為每個(gè)工作負(fù)載提供適當(dāng)大小的 GPU 加速是提高利用率和降低部署運(yùn)營(yíng)成本的關(guān)鍵，無(wú)論是在本地還是在云中。

為了解決 Kubernetes （ K8s ）集群中 GPU 利用率的挑戰(zhàn)， NVIDIA 提供了多種 GPU 并發(fā)和共享機(jī)制，以適應(yīng)廣泛的用例。最新添加的是新的 GPU 時(shí)間切片 API ，現(xiàn)在在 Kubernetes 中廣泛可用，具有 NVIDIA K8s 設(shè)備插件 0.12.0 和 NVIDIA GPU 操作符 1.11 。它們共同支持多個(gè) GPU 加速工作負(fù)載的時(shí)間分割，并在單個(gè) NVIDIA GPU 上運(yùn)行。

在深入研究這一新功能之前，這里有一些關(guān)于您應(yīng)該考慮共享 GPU 的用例的背景知識(shí)，并概述了所有可用的技術(shù)。

何時(shí)共享 NVIDIA GPU

以下是共享 GPU 資源以提高利用率的一些示例工作負(fù)載：

低批量推理服務(wù) ，它只能在 GPU 上處理一個(gè)輸入樣本

高性能計(jì)算（ HPC ）應(yīng)用 ，例如模擬光子傳播，在 CPU （讀取和處理輸入）和 GPU （執(zhí)行計(jì)算）之間平衡計(jì)算。由于 CPU 核心性能的瓶頸，一些 HPC 應(yīng)用程序可能無(wú)法在 GPU 部分實(shí)現(xiàn)高吞吐量。

ML 模型探索的交互式開發(fā) 使用 Jupyter 筆記本電腦

基于 Spark 的數(shù)據(jù)分析應(yīng)用程序 ，其中一些任務(wù)或最小的工作單元同時(shí)運(yùn)行，并受益于更好的 GPU 利用率

可視化或脫機(jī)渲染應(yīng)用程序 這可能是突發(fā)性的

希望使用任何可用的 GPU 進(jìn)行測(cè)試的 連續(xù)集成/連續(xù)交付（ CICD ）管道

在本文中，我們將探討在 Kubernetes 集群中共享 NVIDIA GPU 訪問權(quán)限的各種技術(shù)，包括如何使用這些技術(shù)以及在選擇正確方法時(shí)需要考慮的權(quán)衡。

GPU 并發(fā)機(jī)制

NVIDIA GPU 硬件結(jié)合 CUDA 編程模型，提供了許多不同的并發(fā)機(jī)制，以提高 GPU 的利用率。這些機(jī)制包括從編程模型 API （應(yīng)用程序需要更改代碼以利用并發(fā)）到系統(tǒng)軟件和硬件分區(qū)（包括虛擬化），這對(duì)應(yīng)用程序是透明的（圖 1 ）。

圖 1 GPU 并發(fā)機(jī)制

CUDA 流

CUDA 的異步模型意味著您可以使用 CUDA 流，通過單個(gè) CUDA 上下文（類似于 GPU 端的主機(jī)進(jìn)程）并發(fā)執(zhí)行許多操作。

流是一種軟件抽象，它表示一系列命令，這些命令可能是按順序執(zhí)行的計(jì)算內(nèi)核、內(nèi)存拷貝等的組合。在兩個(gè)不同流中啟動(dòng)的工作可以同時(shí)執(zhí)行，從而實(shí)現(xiàn)粗粒度并行。應(yīng)用程序可以使用 CUDA 流和 優(yōu)先級(jí) 流管理并行性。

CUDA 流最大化了推理服務(wù)的 GPU 利用率，例如，通過使用流并行運(yùn)行多個(gè)模型。您可以縮放相同的模型，也可以提供不同的模型。有關(guān)更多信息，請(qǐng)參閱 異步并發(fā)執(zhí)行 。

與 streams 的權(quán)衡是，這些 API 只能在單個(gè)應(yīng)用程序中使用，因此提供了有限的硬件隔離，因?yàn)樗匈Y源都是共享的，并且可以在各種流之間進(jìn)行錯(cuò)誤隔離。

時(shí)間分片

在處理多個(gè) CUDA 應(yīng)用程序時(shí)，每個(gè)應(yīng)用程序都可能沒有充分利用 GPU 的資源，您可以使用簡(jiǎn)單的超額訂閱策略來(lái)利用 GPU 的時(shí)間切片調(diào)度器。從 Pascal 體系結(jié)構(gòu)開始， compute preemption 支持這一點(diǎn)。這種技術(shù)有時(shí)被稱為暫時(shí) GPU 共享，在不同的 CUDA 應(yīng)用程序之間切換上下文確實(shí)會(huì)帶來(lái)成本，但一些未充分利用的應(yīng)用程序仍然可以從該策略中受益。

由于 CUDA 11.1 （ R455 +驅(qū)動(dòng)程序）， CUDA 應(yīng)用程序的時(shí)間片持續(xù)時(shí)間可通過nvidia-smi實(shí)用程序：

$ nvidia-smi compute-policy --help Compute Policy -- Control and list compute policies. Usage: nvidia-smi compute-policy [options] Options include: [-i | --id]: GPU device ID's. Provide comma separated values for more than one device [-l | --list]: List all compute policies [ | --set-timeslice]: Set timeslice config for a GPU: 0=DEFAULT, 1=SHORT, 2=MEDIUM, 3=LONG [-h | --help]: Display help information

當(dāng)許多不同的應(yīng)用程序在 GPU 上進(jìn)行時(shí)間切片時(shí)，時(shí)間切片的折衷是增加延遲、抖動(dòng)和潛在的內(nèi)存不足（ OOM ）情況。這一機(jī)制是我們?cè)诒疚牡诙糠种攸c(diǎn)關(guān)注的。

CUDA 多進(jìn)程服務(wù)

您可以進(jìn)一步使用前面描述的超額預(yù)訂策略 CUDA MPS 。 當(dāng)每個(gè)進(jìn)程太小而無(wú)法使 GPU 的計(jì)算資源飽和時(shí)， MPS 允許來(lái)自不同進(jìn)程（通常是 MPI 列）的 CUDA 內(nèi)核在 GPU 上并發(fā)處理。與時(shí)間切片不同， MPS 允許來(lái)自不同進(jìn)程的 CUDA 內(nèi)核在 GPU 上并行執(zhí)行。

CUDA 的較新版本（自 CUDA 11.4 +以來(lái)）增加了更多細(xì)粒度資源調(diào)配，能夠指定 MPS 客戶端可分配內(nèi)存量（CUDA_MPS_PINNED_DEVICE_MEM_LIMIT）和可用計(jì)算量（CUDA_MPS_ACTIVE_THREAD_PERCENTAGE）的限制。有關(guān)這些調(diào)諧旋鈕用法的更多信息，請(qǐng)參閱 Volta MPS 執(zhí)行資源調(diào)配 。

與 MPS 的權(quán)衡是錯(cuò)誤隔離、內(nèi)存保護(hù)和服務(wù)質(zhì)量（ QoS ）的限制。所有 MPS 客戶端仍然共享 GPU 硬件資源。你今天可以通過 Kubernetes （庫(kù)伯內(nèi)特斯）訪問 CUDA 議員，但 NVIDIA 計(jì)劃在未來(lái)幾個(gè)月改善對(duì)議員的支持。

多實(shí)例 GPU （ MIG ）

迄今為止討論的機(jī)制要么依賴于使用 CUDA 編程模型 API （如 CUDA 流）對(duì)應(yīng)用程序的更改，要么依賴于 CUDA 系統(tǒng)軟件（如時(shí)間切片或 MPS ）。

使用 MIG ，基于 NVIDIA 安培體系結(jié)構(gòu)的 GPU ，例如 NVIDIA A100 ，可以為 CUDA 應(yīng)用程序安全劃分多達(dá)七個(gè)獨(dú)立的 GPU 實(shí)例，為多個(gè)應(yīng)用程序提供專用的 GPU 資源。這些包括流式多處理器（ SMs ）和 GPU 引擎，如復(fù)制引擎或解碼器，為不同的客戶端（如進(jìn)程、容器或虛擬機(jī)（ VM ））提供定義的 QoS 和故障隔離。

當(dāng)對(duì) GPU 進(jìn)行分區(qū)時(shí)，可以在單個(gè) MIG 實(shí)例中使用之前的 CUDA 流、 CUDA MPS 和時(shí)間切片機(jī)制。

有關(guān)更多信息，請(qǐng)參閱 MIG 用戶指南 和 MIG 支持 Kubernetes 。

使用 vGPU 實(shí)現(xiàn)虛擬化

NVIDIA vGPU 使具有完全輸入輸出內(nèi)存管理單元（ IOMMU ）保護(hù)的虛擬機(jī)能夠同時(shí)直接訪問單個(gè)物理 GPU 。除了安全性之外， NVIDIA v GPU 還帶來(lái)了其他好處，如通過實(shí)時(shí)虛擬機(jī)遷移進(jìn)行虛擬機(jī)管理，能夠運(yùn)行混合的 VDI 和計(jì)算工作負(fù)載，以及與許多行業(yè)虛擬機(jī)監(jiān)控程序的集成。

在支持 MIG 的 GPU 上，每個(gè) GPU 分區(qū)都作為 VM 的單根 I / O 虛擬化（ SR-IOV ）虛擬功能公開。所有虛擬機(jī)都可以并行運(yùn)行，而不是分時(shí)間運(yùn)行（在不支持 MIG 的 GPU 上）。

表 1 總結(jié)了這些技術(shù)，包括何時(shí)考慮這些并發(fā)機(jī)制。

在這種背景下，本文的其余部分將重點(diǎn)介紹使用 Kubernetes 中新的時(shí)間切片 API 超額訂閱 GPU 。

Kubernetes 中的時(shí)間切片支持

NVIDIA GPU 是 推廣為 通過 設(shè)備插件框架 作為 Kubernetes 中的可調(diào)度資源。然而，此框架僅允許將設(shè)備（包括 GPU （作為nvidia.com/gpu）作為整數(shù)資源進(jìn)行廣告，因此不允許過度訂閱。在本節(jié)中，我們將討論一種使用時(shí)間切片在 Kubernetes 中超額訂閱 GPU 的新方法。

在討論新的 API 之前，我們將介紹一種新的機(jī)制，用于使用配置文件配置 NVIDIA Kubernetes 設(shè)備插件。

新配置文件支持

Kubernetes 設(shè)備插件提供了許多配置選項(xiàng)，這些選項(xiàng)可以設(shè)置為命令行選項(xiàng)或環(huán)境變量，例如設(shè)置 MIG 策略、設(shè)備枚舉等。類似地， gpu-feature-discovery （ GFD ）使用類似的選項(xiàng)來(lái)生成標(biāo)簽來(lái)描述 GPU 節(jié)點(diǎn)。

隨著配置選項(xiàng)變得越來(lái)越復(fù)雜，您可以使用配置文件將這些選項(xiàng)表示為 Kubernetes 設(shè)備插件和 GFD ，然后將其部署為configmap對(duì)象，并在啟動(dòng)期間應(yīng)用于插件和 GFD 吊艙。

配置選項(xiàng)在 YAML 文件中表示。在以下示例中，您將各種選項(xiàng)記錄在名為dp-example-config.yaml的文件中，該文件是在/tmp下創(chuàng)建的。

$ cat << EOF > /tmp/dp-example-config.yaml
version: v1
flags: migStrategy: "none" failOnInitError: true nvidiaDriverRoot: "/" plugin: passDeviceSpecs: false deviceListStrategy: "envvar" deviceIDStrategy: "uuid" gfd: oneshot: false noTimestamp: false outputFile: /etc/kubernetes/node-feature-discovery/features.d/gfd sleepInterval: 60s
EOF

然后，通過指定配置文件的位置并使用gfd.enabled=true選項(xiàng)啟動(dòng) GFD 來(lái)啟動(dòng) Kubernetes 設(shè)備插件：

$ helm install nvdp nvdp/nvidia-device-plugin \ --version=0.12.2 \ --namespace nvidia-device-plugin \ --create-namespace \ --set gfd.enabled=true \ --set-file config.map.config=/tmp/dp-example-config.yaml

動(dòng)態(tài)配置更改

默認(rèn)情況下，該配置應(yīng)用于所有節(jié)點(diǎn)上的所有 GPU 。 Kubernetes 設(shè)備插件允許指定多個(gè)配置文件。通過覆蓋節(jié)點(diǎn)上的標(biāo)簽，可以逐個(gè)節(jié)點(diǎn)覆蓋配置。

Kubernetes 設(shè)備插件使用一個(gè) sidecar 容器來(lái)檢測(cè)所需節(jié)點(diǎn)配置中的更改，并重新加載設(shè)備插件，以便新配置能夠生效。在以下示例中，您為設(shè)備插件創(chuàng)建了兩種配置：一種默認(rèn)配置應(yīng)用于所有節(jié)點(diǎn)，另一種配置可根據(jù)需要應(yīng)用于 100 個(gè) GPU 節(jié)點(diǎn)。

$ helm install nvdp nvdp/nvidia-device-plugin \ --version=0.12.2 \ --namespace nvidia-device-plugin \ --create-namespace \ --set gfd.enabled=true \ --set-file config.map.default=/tmp/dp-example-config-default.yaml \ --set-file config.map.a100-80gb-config=/tmp/dp-example-config-a100.yaml

然后，只要覆蓋節(jié)點(diǎn)標(biāo)簽， Kubernetes 設(shè)備插件就可以對(duì)配置進(jìn)行動(dòng)態(tài)更改，如果需要，可以在每個(gè)節(jié)點(diǎn)的基礎(chǔ)上進(jìn)行配置：

$ kubectl label node \ --overwrite \ --selector=nvidia.com/gpu.product=A100-SXM4-80GB \ nvidia.com/device-plugin.config=a100-80gb-config

時(shí)間切片 API

為了支持 GPU 的時(shí)間切片，可以使用以下字段擴(kuò)展配置文件的定義：

version: v1
sharing: timeSlicing: renameByDefault:  failRequestsGreaterThanOne:  resources: - name:  replicas:  ...

也就是說，對(duì)于sharing.timeSlicing.resources下的每個(gè)命名資源，現(xiàn)在可以為該資源類型指定多個(gè)副本。

此外，如果renameByDefault=true，則每個(gè)資源都會(huì)在名稱下播發(fā)《reZEDZ_insteadofismpl_E H1-31。

對(duì)于向后兼容性，failRequestsGreaterThanOne標(biāo)志默認(rèn)為 false 。它控制 POD 是否可以請(qǐng)求多個(gè) GPU 資源。一個(gè)以上的 GPU 請(qǐng)求并不意味著 pod 會(huì)按比例獲得更多的時(shí)間片，因?yàn)?GPU 調(diào)度器當(dāng)前為 GPU 上運(yùn)行的所有進(jìn)程提供相等的時(shí)間份額。

failRequestsGreaterThanOne標(biāo)志配置插件的行為，將一個(gè) GPU 的請(qǐng)求視為訪問請(qǐng)求，而不是獨(dú)占資源請(qǐng)求。

創(chuàng)建新的超額訂閱資源時(shí)， Kubernetes 設(shè)備插件會(huì)將這些資源分配給請(qǐng)求的作業(yè)。當(dāng)兩個(gè)或多個(gè)作業(yè)落在同一 GPU 上時(shí)，這些作業(yè)會(huì)自動(dòng)使用 GPU 的時(shí)間切片機(jī)制。該插件不提供任何其他額外的隔離好處。

GFD 應(yīng)用的標(biāo)簽

對(duì)于 GFD ，應(yīng)用的標(biāo)簽取決于renameByDefault=true。無(wú)論renameByDefault的設(shè)置如何，始終應(yīng)用以下標(biāo)簽：

nvidia.com/.replicas = 

但是，當(dāng)renameByDefault=false時(shí)，nvidia.com/《resource-name》.product標(biāo)簽也會(huì)添加以下后綴：

nvidia.com/gpu.product = -SHARED

使用這些標(biāo)簽，您可以選擇共享或非共享 GPU ，就像您傳統(tǒng)上選擇一個(gè) GPU 模型而不是另一個(gè)模型一樣。也就是說，SHARED注釋確保可以使用nodeSelector對(duì)象將吊艙吸引到在其上共享 GPU 的節(jié)點(diǎn)。此外， POD 可以確保它們降落在使用新副本標(biāo)簽將 GPU 劃分為所需比例的節(jié)點(diǎn)上。

超額認(rèn)購(gòu)示例

下面是一個(gè)使用時(shí)間切片 API 過度訂閱 GPU 資源的完整示例。在本例中，您將遍歷 Kubernetes 設(shè)備插件和 GFD 的其他配置設(shè)置，以設(shè)置 GPU 超額訂閱并使用指定的資源啟動(dòng)工作負(fù)載。

考慮以下配置文件：

version: v1
sharing: timeSlicing: resources: - name: nvidia.com/gpu replicas: 5 ...

如果將此配置應(yīng)用于具有八個(gè) GPU 的節(jié)點(diǎn)，則插件現(xiàn)在將向 Kubernetes 播發(fā) 40 個(gè)nvidia.com/gpu資源，而不是八個(gè)。如果設(shè)置了renameByDefault： true選項(xiàng)，則將播發(fā) 40 個(gè)nvidia.com/gpu.shared 資源，而不是 8 個(gè)nvidia.com/gpu資源。

您可以在以下示例配置中啟用時(shí)間切片。在本例中，超額認(rèn)購(gòu) GPU 2 倍：

$ cat << EOF > /tmp/dp-example-config.yaml
version: v1
flags: migStrategy: "none" failOnInitError: true nvidiaDriverRoot: "/" plugin: passDeviceSpecs: false deviceListStrategy: "envvar" deviceIDStrategy: "uuid" gfd: oneshot: false noTimestamp: false outputFile: /etc/kubernetes/node-feature-discovery/features.d/gfd sleepInterval: 60s
sharing: timeSlicing: resources: - name: nvidia.com/gpu replicas: 2
EOF

設(shè)置舵圖存儲(chǔ)庫(kù)：

$ helm repo add nvdp https://nvidia.github.io/k8s-device-plugin \ && helm repo update

現(xiàn)在，通過指定前面創(chuàng)建的配置文件的位置來(lái)部署 Kubernetes 設(shè)備插件：

$ helm install nvdp nvdp/nvidia-device-plugin \ --version=0.12.2 \ --namespace nvidia-device-plugin \ --create-namespace \ --set gfd.enabled=true \ --set-file config.map.config=/tmp/dp-example-config.yaml

由于節(jié)點(diǎn)只有一個(gè)物理 GPU ，您現(xiàn)在可以看到設(shè)備插件發(fā)布了兩個(gè)可分配的 GPU ：

$ kubectl describe node
...
Capacity: cpu: 4 ephemeral-storage: 32461564Ki hugepages-1Gi: 0 hugepages-2Mi: 0 memory: 16084408Ki nvidia.com/gpu: 2 pods: 110
Allocatable: cpu: 4 ephemeral-storage: 29916577333 hugepages-1Gi: 0 hugepages-2Mi: 0 memory: 15982008Ki nvidia.com/gpu: 2 pods: 110

接下來(lái)，部署兩個(gè)應(yīng)用程序（在本例中為 FP16 CUDA GEMM 工作負(fù)載），每個(gè)應(yīng)用程序都請(qǐng)求一個(gè) GPU 。觀察到應(yīng)用程序上下文在 GPU 上切換，因此在 T4 上僅實(shí)現(xiàn)大約一半的 FP16 峰值帶寬。

$ cat << EOF | kubectl create -f -
apiVersion: v1
kind: Pod
metadata: name: dcgmproftester-1
spec: restartPolicy: "Never" containers: - name: dcgmproftester11 image: nvidia/samples:dcgmproftester-2.0.10-cuda11.0-ubuntu18.04 args: ["--no-dcgm-validation", "-t 1004", "-d 30"] resources: limits: nvidia.com/gpu: 1 securityContext: capabilities: add: ["SYS_ADMIN"] --- apiVersion: v1
kind: Pod
metadata: name: dcgmproftester-2
spec: restartPolicy: "Never" containers: - name: dcgmproftester11 image: nvidia/samples:dcgmproftester-2.0.10-cuda11.0-ubuntu18.04 args: ["--no-dcgm-validation", "-t 1004", "-d 30"] resources: limits: nvidia.com/gpu: 1 securityContext: capabilities: add: ["SYS_ADMIN"]
EOF

現(xiàn)在，您可以看到在單個(gè)物理 GPU 上部署和運(yùn)行的兩個(gè)容器，如果沒有新的時(shí)間切片 API ，這在 Kubernetes 是不可能的：

$ kubectl get pods -A
NAMESPACE NAME READY STATUS RESTARTS AGE
default dcgmproftester-1 1/1 Running 0 45s
default dcgmproftester-2 1/1 Running 0 45s
kube-system calico-kube-controllers-6fcb5c5bcf-cl5h5 1/1 Running 3 32d

您可以在主機(jī)上使用nvidia-smi，通過 GPU 上的插件和上下文開關(guān)，查看兩個(gè)容器在相同的物理 GPU 上的調(diào)度：

$ nvidia-smi -L
GPU 0: Tesla T4 (UUID: GPU-491287c9-bc95-b926-a488-9503064e72a1) $ nvidia-smi
...... +-----------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=============================================================================|
| 0 N/A N/A 466420 C /usr/bin/dcgmproftester11 315MiB |
| 0 N/A N/A 466421 C /usr/bin/dcgmproftester11 315MiB |
+-----------------------------------------------------------------------------+

總結(jié)

開始利用 新的 GPU 超額訂閱支持 今天在庫(kù)伯內(nèi)特斯。 Kubernetes 設(shè)備插件新版本的 Helm 圖表使您可以輕松地立即開始使用該功能。

短期路線圖包括與 NVIDIA GPU 運(yùn)算符 這樣，您就可以訪問該功能，無(wú)論是使用 Red Hat 的 OpenShift 、 VMware Tanzu ，還是使用 NVIDIA LaunchPad 上的 NVIDIA 云本機(jī)核心 等調(diào)配環(huán)境。 NVIDIA 還致力于改進(jìn) Kubernetes 設(shè)備插件中對(duì) CUDA MPS 的支持，以便您可以利用 Kubernetes 中的其他 GPU 并發(fā)機(jī)制。

關(guān)于作者

Kevin Klues 是 NVIDIA 原始云團(tuán)隊(duì)的首席軟件工程師。自加入 NVIDIA 以來(lái)， Kevin 一直參與多項(xiàng)技術(shù)的設(shè)計(jì)和實(shí)施，包括 Kubernetes 拓?fù)涔芾砥鳌?NVIDIA 的 Kubernetes 設(shè)備插件和 MIG 的容器/ Kubernetes 堆棧。

Kyrylo Perelygin 自 2013 年加入 NVIDIA 后，一直致力于 CUDA 的多進(jìn)程服務(wù)和新的合作團(tuán)隊(duì)等功能。 Kyrylo 畢業(yè)于 EPITECH ，獲得學(xué)士學(xué)位，并獲得 CSULB 碩士學(xué)位。

Pramod Ramarao 是 NVIDIA 加速計(jì)算的產(chǎn)品經(jīng)理。他領(lǐng)導(dǎo) CUDA 平臺(tái)和數(shù)據(jù)中心軟件的產(chǎn)品管理，包括容器技術(shù)。

審核編輯：郭婷