GPU是我們常用器件，采用GPU，才使得圖形顯示成為可能。在上期文章中，小編對GPU的加速原理等知識有所闡述。為增進大家對GPU的認識，本文將基于兩點介紹GPU：1.選擇GPU服務器需要考慮哪些情況，2.如何提升GPU存儲性能。如果你對GPU具有興趣，不妨繼續往下閱讀哦。

一、如何選擇GPU服務器

當GPU型號選定后，再考慮用什么樣GPU的服務器。這時我們需要考慮以下幾種情況：

第一、在邊緣服務器上需要根據量來選擇T4或者P4等相應的服務器，同時也要考慮服務器的使用場景，比如火車站卡口、機場卡口或者公安卡口等;在中心端做Inference時可能需要V100的服務器，需要考慮吞吐量以及使用場景、數量等。

第二、需要考慮客戶本身使用人群和IT運維能力，對于BAT這類大公司來說，他們自己的運營能力比較強，這時會選擇通用的PCI-e服務器;而對于一些IT運維能力不那么強的客戶，他們更關注數字以及數據標注等，我們稱這類人為數據科學家，選擇GPU服務器的標準也會有所不同。

第三、需要考慮配套軟件和服務的價值。

第四、要考慮整體GPU集群系統的成熟程度以及工程效率，比如像DGX這種GPU一體化的超級計算機，它有非常成熟的從底端的操作系統驅動Docker到其他部分都是固定且優化過的，這時效率就比較高。

二、如何提升GPU存儲性能

要獲得最佳的GPU存儲性能，就需要根據業務目標對基礎架構進行微調。這里有三種方法可供考慮。

1.大規模調整性能

AI部署的快速增長和ML訓練數據集的大小增加了計算基礎架構的負擔，STFC（The Science and Technology Facilities Council ）則是這種典型的代表。盡管STFC已添加了高端GPU服務器以提供更高的計算支持，但STFC缺乏在數百個Researchers 中擴展資源所需的企業級存儲功能。

通過在具有RDMA功能的高速網絡（例如Infiniband或融合以太網（RoCE）v2上的RDMA）上實現NVMe-over-Fabrics協議，大型AI / ML用戶組（例如STFC）可以虛擬化NVMe SSD在各種服務器上未使用的存儲資源池，因此它們的性能就像在本地一樣。通過這樣做，可以在一個小時內完成機器學習培訓任務，而以前則需要三到四天。即使具有復雜的模型訓練任務，GPU存儲也不再是瓶頸。

2.在并行文件系統下使用NVMe池化存儲

當AI和ML應用程序涉及從許多GPU服務器訪問大量小文件時，作為存儲基礎架構就必須部署并行分布式文件系統。并行文件系統還使存儲更容易實現大多數AI / ML使用所需的高吞吐量和低延遲。在并行文件系統下具有快速、靈活的池化NVMe存儲，可以改善對元數據的處理，從而實現更高的讀取性能和更低的延遲，從而提高GPU服務器的利用率。

例如，一家超大型技術提供商最近推出了一種AI解決方案，用于預估保險公司使用的車輛碰撞場景。為了開發應用程序背后的AI邏輯，應用程序工作流涉及培訓模型，方法是攝取多達2000萬個小文件數據集，其中每個文件大小在150-700 KB之間。數據提取通常每8小時以100萬個文件的速度或者每個客戶端每秒最多35，000個文件進行。

通過在并行分布式文件系統下使用池化NVMe存儲方法，該技術提供商消除了它遇到的存儲瓶頸，并將存儲性能提高了3-4倍。

3.檢查特定于GPU的“高速公路”

新的數據中心架構正在以統一的方式提高服務器、網絡和存儲的性能。一種類似的方法于2019年秋季首次亮相，它將來自多個供應商的基礎架構元素與GPU優化的網絡和存儲進行集成，以在GPU內存和存儲之間打開直接的數據通道，從而完全繞開CPU。這使數據能夠在GPU、存儲和網絡設備提供的“開放高速公路”上進行傳輸，從而實現了對NVMe企業級卓越性能的無障礙訪問。