在 Kubernetes 中使用 GPU 可靠地配置服務器可能很快變得復雜，因為必須安裝和管理多個組件才能使用 GPU。 GPU 運營商基于運營商框架，簡化了 GPU 服務器的初始部署和管理。 NVIDIA ， Red Hat 和社區中的其他人合作創建了 GPU 運營商。

要在 Kubernetes 群集中配置 GPU 工作節點，需要以下 NVIDIA 軟件組件：

NVIDIA driver

NVIDIA 容器工具包

Kubernetes 設備插件

Monitoring

這些組件應該在 GPU 資源可用于集群之前進行配置，并在集群操作期間進行管理。

GPU 操作員通過將所有組件封裝起來，簡化了組件的初始部署和管理。它使用標準的 kubernetes api 來自動化和管理這些組件，包括版本控制和升級。 GPU 操作符是完全開源的。它在 NGC 上提供，并且是 NVIDIA EGX Stack和 Red Hat OpenShift 的一部分。

最新的 GPU 操作員版本 1 . 6 和 1 . 7 包括幾個新功能：

支持使用 NVIDIA 安培體系結構產品自動配置 MIG 幾何圖形

支持預安裝的 NVIDIA 驅動程序和 NVIDIA 容器工具包

更新了對 Red Hat OpenShift 4 . 7 的支持

更新了 GPU 驅動程序版本，包括對 NVIDIA A40 、 A30 和 A10 的支持

使用 Containerd 支持 RuntimeClass

多實例 GPU 支持

多實例 GPU （ MIG ）擴展了每個 NVIDIA A100 TensorCoreGPU 的性能和價值。 MIG 可以將 A100 或 A30 GPU 劃分為多達七個實例（ A100 ）或四個實例（ A30 ），每個實例都用自己的高帶寬內存、緩存和計算核心完全隔離。

如果沒有 MIG ，在同一 GPU 上運行的不同作業（如不同的 AI 推斷請求）將爭奪相同的資源（如內存帶寬）。使用 MIG ，作業在不同的實例上同時運行，每個實例都有專用的計算、內存和內存帶寬資源。這將產生可預測的性能、服務質量和最大 GPU 利用率。因為同時作業可以操作， MIG 是邊緣計算用例的理想選擇。

GPU Operator 1 . 7 添加了一個名為 NVIDIA MIG Kubernetes Manager， 的新組件，它作為守護程序運行，管理每個節點上的 MIG 模式和 MIG 配置更改。您可以在節點上應用 MIG 配置，方法是添加一個指示要應用的預定義配置名稱的標簽。應用 MIG 配置后， GPU 運算符自動驗證是否按預期應用了 MIG 更改。

預裝驅動程序和容器工具包

GPU Operator 1 . 7 現在支持有選擇地安裝 NVIDIA 驅動程序和容器工具包（容器配置）組件。這個新特性為預安裝驅動程序或 nvidia-docker2 包的環境提供了極大的靈活性。這些環境現在可以使用 GPU 操作符簡化對其他軟件組件的管理，如設備插件、 GPU 功能發現插件、用于監視的 DCGM 導出器或用于 Kubernetes 的 MIG 管理器。

只預裝驅動程序的 Install 命令：

 helm install --wait --generate-name \
  nvidia/gpu-operator \
  --set driver.enabled=false 

預裝驅動程序和nvidia-docker2的 Install 命令：

 helm install --wait --generate-name \
  nvidia/gpu-operator \
  --set driver.enabled=false
  --set toolkit.enabled=false 

增加了對 Red Hat OpenShift 的支持

我們繼續支持 Red Hat OpenShift ，

GPU Operator 1 . 6 和 1 . 7 支持最新的 Red Hat OpenShift 4 . 7 版本。

GPU 運算符 1 . 5 支持 Red Hat OpenShift 4 . 6 。

GPU 操作符 1 . 4 和 1 . 3 分別支持 Red Hat OpenShift 4 . 5 和 4 . 4 。

GPU 操作員是經過 OpenShift 認證的操作員。通過 OpenShift web 控制臺，只需單擊幾下鼠標即可安裝并開始使用 GPU 操作符。作為一名經過認證的操作員，使用 NVIDIA GPU s 和 Red Hat OpenShift 非常容易。

GPU 對 NVIDIA A40 、 A30 和 A10 的驅動程序支持

我們更新了 GPU 驅動程序版本，包括對 NVIDIA A40 、 A30 和 A10 的支持。

NVIDIA A40

NVIDIA A40 提供了設計師、工程師、藝術家和科學家所需的基于數據中心的解決方案，以應對當今的挑戰。 A40 基于 NVIDIA 安培架構，結合了最新一代 RT 核、張量核和 CUDA 核。它有 48 GB 的圖形內存，用于前所未有的圖形、渲染、計算和人工智能性能。從功能強大的虛擬工作站到專用的渲染和計算節點， A40 旨在處理來自數據中心的最苛刻的可視化計算工作負載。

NVIDIA A30

NVIDIA A30 張量核 GPU 是用于人工智能推理和企業工作負載的最通用的主流計算機 GPU 。具有 MIG 的 Tensor 內核與 165W 低功耗外殼中的快速內存帶寬結合在一起，所有這些都采用 PCIe 外形，是主流服務器的理想選擇。

A30 是為大規模人工智能推理而構建的，它還可以使用 TF32 快速重新訓練人工智能模型，并使用 FP64 張量核加速高性能計算的應用。 NVIDIA 安培體系結構張量內核和 MIG 的結合在不同的工作負載上提供了安全的加速，所有這些都由一個多功能的 GPU 提供動力，實現了彈性數據中心。多功能 A30 計算能力為主流企業提供最大價值。

NVIDIA A10

NVIDIA A10 張量核 GPU 是具有人工智能的主流媒體和圖形的理想 GPU 。第二代 RT 核和第三代 Tensor 核通過強大的 AI 豐富了圖形和視頻應用程序。 NVIDIA A10 為密集服務器提供了一個寬、全高、全長 PCIe 外形尺寸和 150W 電源外殼。

NVIDIA A10 Tensor Core GPU 專為具有強大 AI 功能的圖形、媒體和云游戲應用程序而設計，可提供豐富的媒體體驗。與 NVIDIA T4 張量內核 GPU 相比，它提供了高達 4k 的云游戲，圖形性能是 NVIDIA T4 張量內核的 2 . 5 倍，推理性能是 GPU 的 3 倍以上。

對 Containerd 的 RuntimeClass 支持

RuntimeClass 為您提供了選擇每個 Pod 的容器運行時配置，然后為每個節點上的所有 Pod 應用默認運行時配置的靈活性。通過這種支持，您可以為運行 GPU – 加速工作負載的 pod 指定特定的運行時配置，并為通用工作負載選擇其他運行時。

GPU Operator v1 . 7 . 0 現在支持在安裝過程中將默認運行時選擇為 containerd 時自動創建 nvidia RuntimeClass 。 運行使用 GPU 的應用程序時，可以顯式指定此 RuntimeClass 名稱。

 apiVersion: node.k8s.io/v1beta1
 handler: nvidia
 kind: RuntimeClass
 metadata:
 labels:
  app.kubernetes.io/component: gpu-operator

name: nvidia 關于作者

Troy Estes 是 NVIDIA Edge 和企業計算解決方案的產品營銷經理。在加入 Edge & Enterprise 業務部門之前，特洛伊曾在自主汽車業務部門和 NVIDIA 電網產品集團從事營銷活動和支持產品 GTM 。

Erik Bohnhorst 是 NVIDIA 的高級產品經理，專注于云本地技術，為 edge 和數據中心構建一流的解決方案。 Erik 于 2014 年加入 NVIDIA ，以解決方案架構師的身份幫助客戶構建世界一流的虛擬化遠程工作站。埃里克領導技術營銷團隊，直到他加入了 EGX 團隊。

審核編輯：郭婷