在 GTC 2022 秋季大會上，NVIDIA 汽車部門營銷經理 Katie Burke Washabaugh，面向想要了解自動駕駛汽車、并有志于投身自動駕駛行業的觀眾，介紹了自動駕駛汽車的相關技術以及發展前景。小編對此次分享的精華內容進行了匯總和整理。

在上篇，我們回顧了自動駕駛汽車的發展歷史，介紹了自動駕駛汽車的工作原理。得益于 AI 技術的突破，自動駕駛汽車飛速發展，運算速度也從 2007 年的 230 FLOPS 躍升至 2022 年的 254 TOPS，向軟件定義汽車發展。現在，讓我們從汽車到后臺的數據中心，了解自動駕駛汽車如何學習、識別現實世界中的物體并做出反應。

訓練＋仿真，自動駕駛“學海無涯”

海量數據支撐 AI 訓練架構

深度學習讓汽車能夠像人類一樣與世界互動。基于數據中心和超級計算技術，汽車能夠通過 AI 訓練基礎架構來進行訓練、學習。

在正式上路前，自動駕駛汽車需要在數據中心進行大量駕駛數據的訓練。開發人員將基于這些數據，進行反復訓練和驗證，從而確保在自動駕駛汽車上運行的深度神經網絡能夠準確地感知相關信息。然后，這些網絡會進行大量仿真測試，以確保自動駕駛車輛能在現實世界中正常運行。

接下來，讓我們深入了解自動駕駛算法的開發過程。

第一步，從數據采集入手。單個測試車輛運行 6 小時會產生 32TB 數據，當測試對象擴展為每天都會行駛 6 小時的 50 輛車時，這一數字將飆升為 1.6PB。這些數據，需要傳輸、編碼和存儲，然后才能進行進一步的處理。

第二步，對數據進行梳理。開發者必須對這些數據進行篩選，他們需要逐幀瀏覽數據，從中選取對于訓練來說較為實用的實例。這里說的“實用”，指的是該幀所包含的數據為深度神經網絡從未接觸過的新數據，或是在當前訓練數據中較為缺乏的數據。通常，實用數據約占總采集數據的 10%，這個過程非常耗時。

第三步，數據標記。當數據篩選完畢后，必須對篩選出的數據進行標記，即對圖像的每個組成部分進行識別與標記。這樣，當深度神經網絡基于該數據進行訓練時，可以正確識別出相應的組成部分。此外，在驗證過程中，還能通過這些標記對神經網絡進行仔細檢查，確保該網絡能夠正確識別行人等。

第四步，訓練。完成預處理流程后，即可開始訓練深度神經網絡。在此過程中，開發者需要長時間運行這些網絡來處理海量圖像，以便能夠在任何照明條件、天氣條件、地理位置下，均能準確可靠地識別出相關交通標志。

第五步，回放。訓練完成后，這些網絡會通過“回放”流程接受驗證。開發者會回放駕駛數據，以檢查這些網絡的準確性。

第六步，仿真。最后，在仿真環境中，運行包含所有神經網絡的軟件，了解它在實際駕駛環境中的表現，并將它運用于實際公路駕駛中。

可以看到，這個流程非常復雜。不管是從前期的數據采集、打標、清理，還是到后期的算法驗證、測試，以及中間各種功能模型的訓練和開發，不同的階段，會涉及到不同的復雜的工具和框架。對于自動駕駛算法設計者來說，端到端無縫流暢的開發環境，將大大提高研發效率。

仿真技術豐富場景模擬

了解完訓練，那么仿真過程究竟是如何運作的呢？

上文也提到，深度神經網絡必須能夠應對各種天氣、道路或光線條件。由于真實駕駛可能需要很長時間才能覆蓋所有可能發生的情況，因此無法通過真實駕駛來進行針對性的測試，這個時候，我們就需要仿真。

NVIDIA 構建了一個高保真仿真試驗場，用于測試這些罕見的場景，也就是所謂的“邊緣案例”或 “長尾場景”，例如，一只鹿在清晨從車前跑過、從天而降的一棵樹、從卡車上掉下來的雞等等，簡單來說，就是人們希望自動駕駛汽車能夠安全應對的各種千奇百怪的情況。

將實際道路測試與仿真技術結合，是未來部署自動駕駛汽車的關鍵所在。NVIDIA 將通過 DRIVE Sim 實現這一點。DRIVE Sim 采用物理準確的高保真仿真技術，通過安全、可擴展且經濟高效的方式，推動自動駕駛汽車上路。DRIVE Sim 運用 RTX、Omniverse 和 AI 等 NVIDIA 的核心技術，打造基于云的強大計算平臺，可以生成一系列尋常或罕見的現實世界場景，從而滿足自動駕駛全面驗證的需求。除了利用從現實世界中收集的數據，DRIVE Sim 還可以生成預先標記的合成數據集，用戶可以繞過整個預處理流程，根據需求定制測試場景，填補當前開發流程中的空白。

上文介紹了許多關于仿真的內容，以下是兩段視頻，幫助大家了解實際操作。

持續開發造就無限可能

從數據采集到仿真的開發流程并不是線性的，而是一個持續的開發周期。汽車在行駛時會不斷收集數據，然后這些數據會用于優化和訓練深度神經網絡的新功能，這些功能通過 OTA 無線更新到汽車上，從而真正實現軟件定義汽車。

軟件定義架構將徹底改變客戶體驗。從前如果購買一輛車，在駛離 4S 店的那一刻，這輛車便已達到其技術巔峰，雖然未來新功能會不斷推出，但是這些功能都將搭載在該車輛的未來型號上，而不是所購買的這輛汽車。現在，軟件定義架構完全改變了這種局面，客戶在車輛的整個生命周期內，都能享受到最新推出的新技術、新功能。軟件定義汽車將顛覆汽車行業，開啟新的商業模式。

自動駕駛汽車開發—持續的開發流

軟件定義與 AI 合力，自動駕駛汽車未來可期

通過上文，大家已經了解到自動駕駛技術的工作原理及開發方式，未來 10 年可能會有什么趨勢？

軟件定義汽車大勢所趨

未來將會推出許多值得關注的新技術。具體來說，汽車制造商將在未來幾年開始推出軟件定義汽車。2020 年，梅賽德斯-奔馳宣布將于 2024 年基于 DRIVE Orin 平臺，生產軟件定義汽車。今年 2 月，捷豹路虎也宣布將于 2025 年推出軟件定義汽車。此外，一些新能源汽車公司已經宣布要推出類似的架構，越來越多的汽車將會采用這個極具突破性的軟件定義架構。

同時，車載計算也將繼續發展。正如前文所述，這些計算平臺需要具備可擴展性，以便車企能夠將其目前基于 DRIVE Orin 開發的軟件，移植到可實現 2000 TOPS 運算的新一代計算平臺 DRIVE Thor 中，從而繼續使用這些軟件。

回顧自動駕駛汽車的發展歷程，不禁令人感嘆創新速度的迅猛。令人欣喜的是，在各個階段中，自動駕駛行業都能夠不斷利用最新的創新成果，其中智能座艙的發展尤其值得關注：

AI 座艙魅力無限

車載技術將變得越來越強大。具體來說，駕駛艙內置的輔助功能將實現智能化。以下圖片展示的是 NVIDIA DRIVE Concierge。DRIVE Concierge 具有獨特的設計，可以充當駕駛員和乘客的數字助手，協助乘客進行預訂、為乘客推薦當地特色、撥打電話和發出提醒。無論是將錢包落在車上，還是外出購物時忘記在下午 4 點的線上會議等，DRIVE Concierge 都可以發出提醒。總而言之，DRIVE Concierge 可為車上的駕駛員和每位乘客提供個性化服務。

NVIDIA DRIVE CONCIERGE

DRIVE Concierge 基于 Omniverse Avatar 實現以上功能。Omniverse Avatar 能將語音 AI、計算機視覺、自然語言理解、推薦引擎和仿真技術相結合。基于 Omniverse Avatar 創建的虛擬形象，是具有光線追蹤 3D 圖形效果的交互式角色，可視可聽，可就廣泛的主題進行交談，并理解自然語言意圖。通過 Omniverse Avatar，人們將能夠與汽車進行自然對話。此前需要通過物理控制或使用觸控屏實現的許多功能，現在只需下達語音命令即可完成。

還記得在上篇中，我們提到的電視劇《霹靂游俠》（Knight Rider）中高度人工智能的跑車 KITT 嗎？現在它已經從科幻作品照進現實！觀看以下視頻，了解 NVIDIA DRIVE Concierge。

以上就是本次分享的全部內容。如欲了解更多自動駕駛訓練和仿真的內容，請查看推薦閱讀。

推薦閱讀

NVIDIA攜手IDC發布行業白皮書：現實+仿真，超大算力賦能自動駕駛

一文看懂DRIVE Replicator：合成數據生成加速自動駕駛汽車的開發和驗證

一文讀懂自動駕駛汽車：軟硬結合 造就未來出行體驗（上篇）

點擊“閱讀原文”，了解更多關于 NVIDIA 自動駕駛汽車解決方案的內容。

?

即刻掃描下方海報二維碼，收下這份 GTC22 精選演講合集清單，在NVIDIA on-Demand 上點播觀看主題演講精選、中國精選、元宇宙應用領域與全球各行業及領域的最新成果！