NVIDIA已經(jīng)宣傳Xavier好幾年了，最近終于披露重要的參數(shù)細(xì)節(jié)。作為有史以來最龐大、最復(fù)雜的片上系統(tǒng)（SOC），Xavier設(shè)計(jì)用于支持各種復(fù)雜的人工智能實(shí)時(shí)推理處理，用于無人機(jī)、機(jī)器人和自動(dòng)駕駛。

雖然特斯拉已經(jīng)選擇設(shè)計(jì)自己的芯片平臺用于自主駕駛，但在看到這個(gè)平臺提供了什么之后，我不敢相信這個(gè)決定是基于NVIDIA DrivePX Pegasus的性能或靈活性不足的。

NVIDIA聲稱Xavier是迄今為止發(fā)明的最復(fù)雜的SOC。它包括大量的專用處理器，用于在視覺系統(tǒng)中必須處理的各種任務(wù)，直到，滿足無人駕駛的車輛。

這些參數(shù)包括：

用于控制和管理的8核定制ARM處理器CAMMEL；

兩個(gè)NVIDIA深度學(xué)習(xí)加速器（DLAs），用于運(yùn)行卷積神經(jīng)網(wǎng)絡(luò)來處理目標(biāo)檢測和識別；

一個(gè)定制的VALTA GPU，面向通用AI模型；

雙可編程視覺加速器，用于非AI計(jì)算機(jī)視覺架構(gòu)，基于雙矢量處理器；

一種用于輸入融合和流媒體的立體光流引擎；

VoltaGPU已經(jīng)被精簡，以適應(yīng)SOC和降低功率，省略了諸如HB2存儲(chǔ)器和32/64位浮點(diǎn)（在AI推理工作中不需要）的特征。此外，SOC包括NVLink端口，以使SOC能夠訪問2個(gè)離散的全功能Volta GPU，用于更苛刻的工作，例如5級完全自動(dòng)駕駛車輛。

作為全球首個(gè)自動(dòng)駕駛處理器，Xavier是迄今為止最復(fù)雜的系統(tǒng)級芯片，擁有超過90億個(gè)晶體管，可以處理海量數(shù)據(jù)。Xavier的 GMSL（千兆多媒體串行鏈路）高速IO將其與迄今為止最大陣列的激光雷達(dá)、雷達(dá)和攝像頭傳感器連接起來。

該系統(tǒng)級芯片內(nèi)置六種處理器：ISP（圖像信號處理器）、VPU（視頻處理單元）、PVA（可編程視覺加速器）、DLA（深度學(xué)習(xí)加速器）、CUDA GPU和CPU，每秒可進(jìn)行近40萬億次運(yùn)算，僅深度學(xué)習(xí)就高達(dá)30萬億次。

這一處理水平比上一代DRIVE PX2參考設(shè)計(jì)要強(qiáng)大10倍。

為什么Nvidia會(huì)在這個(gè)復(fù)雜的芯片上放這么多不同類型的處理器和加速器呢？目前自動(dòng)駕駛所需的軟件和數(shù)據(jù)集仍在開發(fā)中。基于Xavier，NVIDIA已經(jīng)建立了一個(gè)通用的和可擴(kuò)展的架構(gòu)，為快速發(fā)展的市場。

NVIDIA希望確保它支持可能出現(xiàn)的OEM需求的超集，當(dāng)設(shè)計(jì)者構(gòu)建軟件來捕獲、融合和處理來自雷達(dá)、LIDAR和視頻源的傳感器輸入時(shí)，這些需求可能會(huì)出現(xiàn)。

當(dāng)特斯拉解釋為什么要從采用NVIDIA芯片轉(zhuǎn)而使用自己研發(fā)的ASIC時(shí)，使用的性能比較是基于兩代以前的NVIDIA技術(shù)（Maxwell）。

而NVIDIA聲稱，Xavier大約比2016年基于PASCAL的Parker SOC快一個(gè)數(shù)量級。有業(yè)內(nèi)人士猜測，特斯拉之所以“選擇離開”英偉達(dá)，或是可能他不想自己的車和競爭對手“同質(zhì)化”（都采用英偉達(dá)芯片），或是基于Xavier的Drive-PX價(jià)格不低。

接下來，NVIDIA將以至少三個(gè)平臺來布局Xavier SOC：用于無人機(jī)和機(jī)器人的Jetson Xavier，用于諸如L3-4級駕駛輔助的Drive Xavier，以及旗艦Drive Pegasus，具有雙Xavier SOC和2瓦GPU，以支持完全自動(dòng)駕駛的L5級。

顯然，NVIDIA知道如何為視覺處理設(shè)備構(gòu)建高性能和可伸縮的平臺，并且仍然處于非常有利的行業(yè)位置。目前尚不清楚的是，隨著初創(chuàng)企業(yè)、英特爾、谷歌和其他汽車制造商內(nèi)部開發(fā)團(tuán)隊(duì)將他們的AI產(chǎn)品推向市場，NVIDIA在未來幾年將面臨不可見的競爭。

從目前來看，Xavier SOC上披露的新細(xì)節(jié)表明，NVIDIA沒有回避視覺處理系統(tǒng)的艱巨計(jì)算挑戰(zhàn)。它把不同部分分配給特定處理器，包括GPU、矢量處理器和ASIC。

此外，隨著英偉達(dá)圖靈圖形處理單元(GPU)架構(gòu)的推出，該公司“重新發(fā)明了計(jì)算機(jī)圖形學(xué)”。該架構(gòu)將成為未來一系列圖形芯片的基礎(chǔ)，這些芯片將專注于實(shí)時(shí)光線追蹤，或高度真實(shí)、物理精確的圖形。

該架構(gòu)可比上代架構(gòu)快5倍的速度處理圖形。圖靈的新RT Cores（光線追蹤核心）可以加速光線追蹤，而新的Tensor Cores（張量核心）可以用于人工智能推理，這兩種功能首次結(jié)合起來，使實(shí)時(shí)光線追蹤成為可能。

圖靈架構(gòu)還具有Tensor Cores(即人工智能子處理器)，它可以加速深度學(xué)習(xí)訓(xùn)練和推理，每秒可提供500萬億張量操作。這個(gè)性能級別支持AI增強(qiáng)的特性，可用于創(chuàng)建具有強(qiáng)大新功能的應(yīng)用程序。這些包括DLAA （深度學(xué)習(xí)抗鋸齒），這是高質(zhì)量運(yùn)動(dòng)圖像生成的突破，其他應(yīng)用還包括去噪、分辨率縮放和視頻調(diào)速。

顯然，圖靈架構(gòu)這種能力能夠創(chuàng)建真實(shí)感的虛擬環(huán)境，駕駛模擬器將需要虛擬環(huán)境來測試和驗(yàn)證安全自主或輔助駕駛所需的硬件和軟件。

現(xiàn)在，NVIDIA的挑戰(zhàn)是確保它與車輛設(shè)計(jì)團(tuán)隊(duì)保持緊密聯(lián)系，以了解他們的硬件、軟件和定價(jià)（成本）要求。隨著自動(dòng)駕駛開始走向主流，NVIDIA有必要將其早期的技術(shù)領(lǐng)導(dǎo)地位轉(zhuǎn)變?yōu)槭杖牒褪袌龇蓊~的領(lǐng)導(dǎo)地位。

畢竟，在汽車業(yè)務(wù)營收上，NVIDIA和英特爾（后者收購的Mobileye）還不在一個(gè)級別。

英偉達(dá)的表現(xiàn)，似乎在說明一些問題。特別是汽車方面，英偉達(dá)二季度來自企業(yè)行業(yè)的收入增長了13%，達(dá)到1.61億美元（新的數(shù)字紀(jì)錄），這是其連續(xù)三個(gè)季度的第一次兩位數(shù)增長率。

不過，或許更令人興奮的是，英偉達(dá)已經(jīng)開始量產(chǎn)并交代DRIVE Pegasus平臺，同時(shí)戴姆勒和博世也在今年宣布在該平臺上建立自動(dòng)駕駛出租車服務(wù)。

另一個(gè)英偉達(dá)值得期待的產(chǎn)品就是針對自動(dòng)駕駛汽車測試的仿真系統(tǒng)—DRIVE Constellation，這是一款基于兩種不同服務(wù)器的計(jì)算平臺。

第一臺服務(wù)器運(yùn)行英偉達(dá)DRIVE Sim軟件，用以模擬自動(dòng)駕駛汽車的傳感器，如攝像頭、激光雷達(dá)和毫米波雷達(dá)傳感器。

第二臺服務(wù)器則搭載了英偉達(dá)DRIVE Pegasus計(jì)算平臺，可運(yùn)行完整的自動(dòng)駕駛汽車軟件堆棧，并能夠處理模擬數(shù)據(jù)——這些模擬數(shù)據(jù)如同來自路面行駛汽車上的傳感器。

仿真服務(wù)器由英偉達(dá)GPU提供支持，每臺服務(wù)器都會(huì)生成仿真?zhèn)鞲衅鲾?shù)據(jù)流，并將其傳送至DRIVE Pegasus進(jìn)行處理。

據(jù)官方介紹，英偉達(dá)正在打造一個(gè)“硬件在環(huán)”（Hardware in the loop，HiL）。這一“硬件在環(huán)”周期的發(fā)生頻率為每秒30次，可用于驗(yàn)證在Pegasus上運(yùn)行的算法和軟件對仿真車輛進(jìn)行的操作是否正確。

DRIVE Sim軟件可生成照片級逼真的數(shù)據(jù)流，以創(chuàng)建大量不同的測試環(huán)境。它能夠模擬諸如暴雨和暴風(fēng)雪等不同天氣狀況；一天中不同時(shí)間內(nèi)的光線變化，或是夜間受限的視野；以及所有不同類型的路面和地形。

在模擬過程中可設(shè)置各種危險(xiǎn)情況，來測試自動(dòng)駕駛汽車的反應(yīng)能力，以確定其不會(huì)對任何人的安全造成威脅。

通過模擬器，自動(dòng)駕駛行業(yè)的從業(yè)者們可以通過GPU來生成傳感器數(shù)據(jù)，然后反哺到Drive PX平臺上，再進(jìn)行模擬測試，通過上百萬英里的測試定制的場景和極端案例，可以提高算法的魯棒性——幫助自動(dòng)駕駛行業(yè)加速研發(fā)進(jìn)程以及減少研發(fā)成本。

根據(jù)專家的說法，一個(gè)由100輛汽車組成的車隊(duì)，就算每日24小時(shí)連續(xù)不斷地測試，跑完110億英里也至少需要500年。

像Waymo這樣的公司之所以能在現(xiàn)實(shí)世界中每天行駛10000英里的測試?yán)锍蹋谔摂M環(huán)境中每天能夠行駛1000萬英里，就是這個(gè)原因的。

盡管Waymo采用的并非英偉達(dá)的仿真測試系統(tǒng)，但鑒于英偉達(dá)目前有超過370家汽車行業(yè)合作伙伴，DRIVE Constellation就非常值得期待。

當(dāng)然，所有這些測試都會(huì)產(chǎn)生大量的數(shù)據(jù)，而這些數(shù)據(jù)目前大多數(shù)公司都沒有做好準(zhǔn)備。但NVIDIA正在提供解決方案，以幫助在這個(gè)快速成長的行業(yè)。