隨著數據集的增長和分析神經網絡的復雜化，越來越多的用戶選擇通過NVIDIA GPU加速AI推理。當前，人工智能的應用正從農業領域擴展到X射線領域，而NVIDIA GPU正是AI推理跨行業創新的助燃劑。

人工智能的應用，正從農業領域拓展醫學、X射線等各個領域，原因是因為它們擁有著基于海量數據迅速推斷出精明之選的神奇能力。

隨著數據集的增長和分析神經網絡的復雜化，越來越多的用戶選擇用NVIDIA GPU來加速AI推理。

想要了解它們的實際應用，看看下面這些家喻戶曉的公司產品就能明白。

美國通用的GEResearch在航空、醫療保健、電力和運輸行業中部署了使用GPU加速的AI模型。這些模型實現了工廠檢查自動化，為智能列車的運行提供保障，并能監控電站以及解釋醫學圖像。

這些AI模型被運行在裝載了V100Tensor Core GPU的NVIDIADGX系統上的數據中心服務器上，以及裝載了JetsonAGX Xavier模塊的邊緣計算網絡中。該硬件運行NVIDIA的TensorRT推理引擎及其用于深度學習的CUDA/ cuDNN加速庫，以及用于Jetson模塊的NVIDIAJetPack工具套件。

推理賦能視頻應用程序與合同管理

在消費市場上，全球兩個最受歡迎的移動視頻應用程序均在NVIDIA GPU上運行AI推理。

TikTok及其在中國的前身“抖音”在2019年2月全球下載量達到10億次。字節跳動作為這兩個應用程序的開發者和所有者，每天為4億活躍用戶每天上傳多達5000萬個新視頻。

字節跳動在數千個NVIDIA T4和P4 GPU服務器上運行TensorRT，用戶因此可以搜索并獲得有關精彩視頻的推薦。該公司估計， NVIDIA產品已幫助公司節省了數百萬美元，同時將在線服務的延遲減少了一半。

在商業領域，德勤在其dTrax軟件中使用AI推理來幫助公司管理復雜的合同。例如，當法規發生變化或公司計劃進行大規模收購時，dTrax可以定位并更新長期協議中的關鍵條款。

當前全球有多家公司使用dTrax。該軟件在數據中心的NVIDIA DGX-1系統和云中的AWS P3實例上運行，在2019年獲得了《金融時報》的智能商業獎。

GPU加速推理運行速度

金融服務公司Square的測試結果顯示，一般模型的推理任務在GPU上的運行速度是CPU的兩倍，而在大型模型（例如RoBERTa）上，推理工作的完成速度提升了10倍。

因此，NVIDIA GPU對于其實現將Square Assistant從虛擬調度程序擴展到驅動公司所有產品的對話式AI引擎的目標至關重要。

寶馬集團近期宣布將使用NVIDIA Isaac機器人平臺開發五種新型機器人，以增強其汽車制造廠的物流水平。其中一款由NVIDIA Jetson AGX Xavier支持的機器人可以每秒執行多達32萬億次操作，以執行諸如感知、姿勢估計和路徑規劃之類的計算機視覺任務。

AI推理也在汽車內部發生。中國的小鵬汽車于4月下旬推出了P7純電動轎車，它使用NVIDIA DRIVE AGX Xavier通過推理傳感器的數據以幫助實現3級自動駕駛功能。

過去三年來，NVIDIA數據中心平臺的推理性能提高了近50倍，這在很大程度上要歸功于Tensor Core的引入以及TensorRT中正在進行的軟件優化以及PyTorch和TensorFlow等AI框架的提速。

來自世界各地的醫學專家在2020年GPU技術大會（GTC）上就放射、基因組學、顯微學和其他醫療保健領域的AI應用進行了數十次演講。在一次演講中，美國放射學院主席杰拉爾丁·麥金提（Geraldine McGinty）將AI稱為同時達成提高醫療質量和降低成本的“千載難逢的機會”。

在農業領域，越來越多的初創公司正在使用AI來提高效率。例如，NVIDIA 初創加速計劃會員Rabbit Tractors通過在多功能機器人上使用Jetson Nano模塊，從攝像頭和雷達數據中推斷出需要進行播種、澆水或收獲作物的位置。

還有其他公司也在通過GPU加速推理，其中包括美國運通的欺詐檢測、寶潔的工業檢查以及網絡巨頭的搜索引擎。

AI推理在NVIDIA DGX A100 GPU上的增益高達7倍

GPU推理的潛力在不斷上升，準確性不斷提高。

借助多實例GPU功能，NVIDIA Ampere架構將推理速度提高了7倍。A100 GPU中支持深度神經網絡中稀疏性的新方法有望帶來更多收益。這是在A100 GPU的技術概述中討論的架構的幾個新功能之一。