本文將介紹以下三部分內容：第一：Kubeflow的應用；第二：基于 Kubeflow 的開發；第三：Momenta深度學習數據流。

ubeflow的應用

為什么要用 Kubeflow？

在一些 GPU 集群較小的機構（例如實驗室、科研機構等）中，他們一般只有幾臺多卡 GPU。實驗人員可能會將一臺機器或兩臺機器用于安裝各種環境以及 GPU 的驅動，同時使用 Caffe 或 TensorFlow 等工具做模型訓練。這種場景較為簡單，但會帶來一個問題，即人員需要花大量精力管理這幾臺機器的環境。

為了解決這個問題，降低用戶的部署成本，技術人員可以引入容器技術，用 nvidia-docker允許容器使用 GPU，將 TensorFlow、PyTorch 以及 Caffe 封裝到 Docker 鏡像中，用 nvidia-docker 在物理機上面運行訓練任務。

但是以上只是小規模 GPU 集群中的解決方法，一旦集群規模擴大，實驗人員就不得不需要解決這些問題：如何合理地分配 GPU 資源？如果讓每位用戶直接在每臺機器上獲取資源？技術人員如何進行資源管理、環境維護？2017 年年底發行的 Kubeflow 很好地解決了這些難題，它將訓練任務裝到容器中，利用 Kubernetes 對 CPU、GPU 等資源進行充分管理。

什么是 Kubeflow？

Kubeflow 可以看作是 Kubernetes + TensorFlow 的成果。它是一個基于 Kubernetes 的機器學習工具項目，支持眾多訓練框架，包括 TensorFlow、PyTorch、Caffe2、MxNet 等。

Kubeflow 社區在半年多的時間內收集了 4000 多個 stars，發展非常迅速。同時，眾多國內公司也助力了 Kubeflow 的發展，貢獻了很多項目。例如才云貢獻的 tf - operator 項目，Momenta 貢獻的 caffe2 - operator 項目。新浪、京東和拼多多也在嘗試使用 Kubeflow 解決問題。

在 Kubernetes里部署 Kubeflow的方法有很多，常規方法是用 ksonnet 或單獨用 kubectl 手動部署各個 Operator 以及相應的服務。個人用戶也可以很方便地體驗用 Kubeflow 輕松部署一套用于訓練模型的環境。

# CNN_JOB_NAME=mycnnjob # VERSION=v0.2-branch # ks registry add kubeflow-git github.com/kubeflow/kubeflow/tree/${VERSION}/kubeflow # ks pkg install kubeflow-git/examples # ks generate tf-job-simple ${CNN_JOB_NAME} --name=${CNN_JOB_NAME} # ks apply ${KF_ENV} -c ${CNN_JOB_NAME}

以上是直接從 Kubeflow 官網上獲取的一個示例。以往在部署環境時，實驗人員需要預裝很多東西用于模型訓練，但如果使用 Kubeflow，他們就可以很簡單地跑一個已知數、已知模型。如果在其中加入一些參數，程序就可以跑整個 Kubeflow 的任務（僅以 TensorFlow 為例）。

# arena submit tf --name=tf-git --gpus=1 --image=tensorflow/tensorflow:1.5.0-devel-gpu --syncMode=git --syncSource=https://github.com/cheyang/tensorflow-sample-code.git --env=GIT_SYNC_USERNAME=yourname --env=GIT_SYNC_PASSWORD=yourpwd "python code/tensorflow-sample-code/tfjob/docker/mnist/main.py” # arena list NAME STATUS TRAINER AGE NODE tf-git RUNNING tfjob 0s 192.168.1.120

在這個實例中，arena 是另外一套基于 Kubeflow 的封裝，相當于簡化版本的命令行。arena 能幫助算法研發人員減少對 kubectl 的使用，通過命令行指定各種算法參數以及要運行的腳本，直接運行 arena submit 來提交訓練任務。

基于 Kubeflow的開發

為了滿足不同場景需求，目前 Kubeflow 已經擁有許多解決方案，但它們大多比較簡單。如果訓練數據集較大，需求較復雜，開發任務將會涉及很多塊 GPU的使用（例如用 128 塊 GPU 訓練很多天）。

接下來，我們嘗試搭設一個深度學習實驗平臺。這里需要注意的是，我們定義的是 “實驗平臺”，因為 Momenta 的算法研究人員在調參、看論文時需要測試各種各樣的網絡。對他們而言，深度學習實驗平臺非常重要，而且要滿足多種需求。

第一：實驗平臺需要多機多卡調度。比如研發人員有調度 128 塊卡的需求，如果卡不足，就需要等待調度；

第二：多租戶。在多用戶的環境下共用相同的系統或程序組件，且仍可確保各用戶間數據的隔離性；

第三：多訓練框架支持。比如 Caffe、TensorFlow、PyTorch 等；其他的還有日志收集、監控信息收集（如 GPU 的使用率）等。

考慮到以上需求，我們設計了一個訓練平臺架構，如上圖所示。我們在 Kubernetes 前面加了一個帶狀態的 apigateway，它包含用戶信息、狀態管理、后期審計等功能。架構還包括 caffe2 - operator、mpi - operator和TensorFlow 的 Operator，主要是為了能夠統一管理訓練任務的生命周期。此外，該架構還支持運用 kube - batch 實現多機多卡的調度期。圖中的假設比較簡單，每個 Pod都是一個單獨的機器。

如何實現多臺機器間的通訊也是框架的重點。該設計分為兩套環境：

線下的環境使用 Infiniband，借助高速的 RDMA 網絡就能很好地解決延遲問題，并提供非常高的帶寬；

線上的環境使用 25Gb/s 的以太網，其相對于 Infiniband 延遲過高，所以在多機通訊的過程中，需要包一個聚合再下發，才能解決延遲問題。

底層的數據存儲也需要使用分布式數據存儲以及圖像緩存，基于 Momenta 的數據的特征（不需要對圖片進行修改），用戶可以在客戶端加上一些緩存。比如在客戶端安裝高速 SSD，使用開源的 fscache 把數據緩存到 SSD 上，保證整個訓練過程中數據的高速傳輸。用相對比較便宜的 SSD確保昂貴的 GPU的充分使用，這是 Momenta 整套訓練平臺的架構的最大優勢之一。

對具有一定操作經驗的用戶而言，他們更喜歡以命令行的方式操作，習慣用 HPC 領域的 slurm 作為操作工具。為了兼容 slurm 的命令行，Momenta 形成了一套類似 slurm 管理命令行的操作方式。同時，平臺也提供 Web 端的操作方式。

上圖是一個任務提交的案例，包括以下幾點：

定義了幾個節點；

每個節點需要幾個 GPU；

基于哪些的框架（如 TensorFlow、PyTorch 及 Caffe2 等）；

當前的工作任務。

我們之所以做出這樣的設計，一個原因是為了兼容舊的使用習慣，讓老用戶能夠無縫遷移。另一個原因是重新設計一套交互方式的時間成本太高，基礎架構開發人員需要花很長時間才能了解平臺用戶在進行深度學習研發的操作行為和操作意圖。

Momenta深度學習數據流

在實現自動駕駛的過程中，深度學習算法在訓練模型時需要大量圖像數據作為支撐。Momenta 平臺可以處理自動駕駛領域的數據流。

數據篩選

上圖是車輛識別的（電動車）的一個典型。目前，Momenta在電動車識別上準確率較高。在人工智能數據流中，數據篩選有以下作用：

降低成本：無需重復標注即可識別素材，降低標注成本。

提高模型訓練效率：去除無效素材，提取包含識別目標的素材，提高訓練效率；

提高模型訓練邊際效用：通過對極端情況（corner case）的數據進行針對性訓練，有效地提高模型性能。

數據標注

經過一輪篩選后，部分圖片會需要人工標注。Momenta 開發的在線遠程眾包數據標注系統允許可視化操作，即便不懂代碼的眾包人員也能遠程完成各類標注任務。數據標注的作用主要是提供更多帶標注的圖像數據，提供包含更多識別目標的素材，最終提高模型訓練精度。

模型訓練

上圖是模型訓練的流程圖：

數據導入：支持多種數據類型，支持多批次數據合并，支持多種組合規則；

模型訓練：多機多卡并發訓練，共享式集群、支持多人多任務同時進行，支持多種主流訓練框架，所有任務由 Kubernetes 自動調度完成；

模型驗證：訓練所得模型自動在驗證集上進行驗證，通過驗證的模型將進入模型倉庫供后續流程使用；

與傳統方式相比，Momenta 采用的共享集群調度讓用戶（內部的算法研發人員）可以編寫任務描述和訓練腳本，而管理員通過網頁界面進行集群管理和工作調度。極大地節省人工成本，提高資源利用率，實現集中性管理，提高安全性。

結語

Kubeflow基于Kubernetes 和 TensorFlow ，提供了一個數據科學工具箱和部署平臺。它具有很多優點，如 DevOps 和 CICD 的支持、多核心支持等。但它的缺點也很明顯，就是組件較多，協調較差。

如何利用 Kubeflow 更好地做二次開發？這是當下的一個熱點問題，也是 Momenta致力于解決的一大問題，是我們圍繞不同級別自動駕駛方案和一級供應商展開合作時首先要解決的一個必要問題。為了見證自動駕駛汽車的落地，為了共同打造更好的人工智能自動駕駛產品，歡迎有想法的小伙伴與我共同探討基于 Kubeflow 的深度學習。