基于物理性質(zhì)的傳感器仿真提供有針對(duì)性的方法以解決現(xiàn)實(shí)世界中的數(shù)據(jù)挑戰(zhàn)。

現(xiàn)實(shí)與仿真之間的差距越來越小。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在 GTC 大會(huì)主題演講中宣布推出 NVIDIA Omniverse Replicator ，這是一種生成具有正確標(biāo)注的合成數(shù)據(jù)的引擎，用于訓(xùn)練 AI 網(wǎng)絡(luò)。在演示中，黃仁勛先生展示了 Omniverse Replicator 在使用 DRIVE Sim 開發(fā)自動(dòng)駕駛汽車時(shí)所展示出的強(qiáng)大性能。

DRIVE Sim 是一種基于 Omniverse 構(gòu)建的仿真工具，它可以利用平臺(tái)的許多功能。DRIVE Sim 生成的數(shù)據(jù)用于訓(xùn)練構(gòu)成自動(dòng)駕駛汽車感知系統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)。對(duì)于 NVIDIA DRIVE 團(tuán)隊(duì)而言，合成數(shù)據(jù)已成為其自動(dòng)駕駛汽車開發(fā)工作流程中一個(gè)有效且關(guān)鍵的組成部分。

為自動(dòng)駕駛汽車的感知提供支持的深度神經(jīng)網(wǎng)絡(luò)由兩個(gè)部分組成：算法模型和用于訓(xùn)練該模型的數(shù)據(jù)。工程師花費(fèi)大量時(shí)間在算法改進(jìn)上。但是，由于現(xiàn)實(shí)世界如數(shù)據(jù)收集不全、耗時(shí)且成本高昂的限制，因此作為該深度神經(jīng)網(wǎng)絡(luò)另一方的數(shù)據(jù)方面仍然不夠完善。

這種不平衡往往導(dǎo)致 DNN 開發(fā)停滯不前，阻礙數(shù)據(jù)收集進(jìn)展而使之無法滿足模型需求。通過合成數(shù)據(jù)生成工具，開發(fā)者可以更好地控制數(shù)據(jù)開發(fā)，適應(yīng)模型的特殊需求。

雖然現(xiàn)實(shí)世界數(shù)據(jù)是自動(dòng)駕駛汽車訓(xùn)練、測(cè)試和驗(yàn)證的關(guān)鍵組成部分，但它仍帶來了重大挑戰(zhàn)。用于訓(xùn)練這些網(wǎng)絡(luò)的數(shù)據(jù)由車隊(duì)上的傳感器在車輛實(shí)際行駛過程中收集。數(shù)據(jù)一經(jīng)捕獲，必須標(biāo)記有正確的標(biāo)注。標(biāo)記數(shù)據(jù)工作由成千上萬名標(biāo)記員手動(dòng)完成 – 這個(gè)過程既費(fèi)時(shí)又成本高昂，而且可能不準(zhǔn)確。

通過合成數(shù)據(jù)增強(qiáng)現(xiàn)實(shí)世界的數(shù)據(jù)采集，可以消除這些瓶頸問題，同時(shí)使工程師能夠針對(duì) DNN 開發(fā)采取數(shù)據(jù)驅(qū)動(dòng)型方法，顯著加快自動(dòng)駕駛汽車開發(fā)并改進(jìn)現(xiàn)實(shí)世界中的結(jié)果。

仿真到真實(shí)的域差距問題

合成數(shù)據(jù)生成是一種用于 AI 訓(xùn)練的知名工具 – 研究人員早在 2016 年就一直在電子游戲（如“俠盜飛車 （ Grand Theft Auto ）”）上做試驗(yàn)，以創(chuàng)建數(shù)據(jù)。

然而，與電子游戲不同，感知 DNN 的質(zhì)量受到數(shù)據(jù)與現(xiàn)實(shí)世界之間保真度的嚴(yán)重影響，對(duì)數(shù)據(jù)集的訓(xùn)練若不轉(zhuǎn)換到現(xiàn)實(shí)世界，則實(shí)際上可能會(huì)降低網(wǎng)絡(luò)的性能。

這種仿真到現(xiàn)實(shí)的差距主要表現(xiàn)在兩個(gè)方面。外觀差距對(duì)應(yīng)于仿真圖像和真實(shí)圖像之間的像素級(jí)差異，這是由模擬器生成數(shù)據(jù)的方式引起的。渲染器、傳感器模型、 3D 資產(chǎn)的保真度和材料屬性都可能會(huì)導(dǎo)致出現(xiàn)這種差距。

內(nèi)容差距可能是由于缺乏現(xiàn)實(shí)世界的內(nèi)容多樣性以及仿真和現(xiàn)實(shí)世界背景之間的差異造成的。當(dāng)一個(gè)場(chǎng)景的背景與現(xiàn)實(shí)不匹配時(shí)，就會(huì)出現(xiàn)這些不一致情況。例如，現(xiàn)實(shí)世界中包含臟亂的道路、凹損的汽車和路邊的緊急救援車輛，所有這些都必須在仿真中重現(xiàn)。另一個(gè)重要因素是行為者（如交通和行人）的行為 – 現(xiàn)實(shí)的交互是現(xiàn)實(shí)數(shù)據(jù)輸出的關(guān)鍵所在。

應(yīng)用 Omniverse Replicator 以縮小仿真到真實(shí)的域差距

Omniverse Replicator 旨在縮小外觀和內(nèi)容差距。

為了縮小外觀差距，DRIVE Sim 利用 Omniverse 的 RTX 路徑跟蹤渲染器 為攝像機(jī)、雷達(dá)、激光雷達(dá)和超聲傳感器生成基于物理性質(zhì)的傳感器數(shù)據(jù)。傳感器數(shù)據(jù)中包含了現(xiàn)實(shí)世界的效果，包括 LED 閃爍、動(dòng)態(tài)模糊、滾動(dòng)快門、激光雷達(dá)束發(fā)散和多普勒效應(yīng)等現(xiàn)象。這些詳細(xì)信息甚至包括高保真車輛動(dòng)態(tài)，這一點(diǎn)很重要，如車輛在激光雷達(dá)掃描過程中的運(yùn)動(dòng)會(huì)影響產(chǎn)生的激光點(diǎn)云。

此傳感器方程的另一端便是材料。DRIVE Sim 中的材料經(jīng)過物理模擬，可獲得精確的光束反射。DRIVE Sim 包括一個(gè)內(nèi)置的激光雷達(dá)材料庫和一個(gè)即將建成的雷達(dá)和超聲波材料庫。

DRIVE Sim 的傳感器功能包括路徑追蹤攝像頭、雷達(dá)和激光雷達(dá)模型，可捕獲現(xiàn)實(shí)世界的效果，如動(dòng)態(tài)模糊、LED 閃爍、滾動(dòng)快門和多普勒效應(yīng)。

DRIVE Sim 使用 RTX 路徑跟蹤器以高保真度呈現(xiàn)這些清晨和夜間場(chǎng)景

解決內(nèi)容差距的主要方法之一是在高保真度下?lián)碛懈鄻踊馁Y產(chǎn)。DRIVE Sim 利用 Omniverse 的功能連接到各種內(nèi)容創(chuàng)建工具。但是，生成適當(dāng)?shù)膱?chǎng)景也要求背景正確無誤。

接下來，Omniverse Replicator 使用稱為域隨機(jī)化的功能組織數(shù)據(jù)以執(zhí)行快速場(chǎng)景操作。DRIVE Sim 包括用于此功能和場(chǎng)景構(gòu)建的工具，這些工具在維護(hù)現(xiàn)實(shí)世界背景的同時(shí)創(chuàng)建大量不同的數(shù)據(jù)。由于 Omniverse Replicator 還具有時(shí)間準(zhǔn)確性和確定性，數(shù)據(jù)集可以可重復(fù)的方式創(chuàng)建。

DRIVE Sim 提供合適工具以可控且可重復(fù)的方式生成隨機(jī)場(chǎng)景，從而為生成的數(shù)據(jù)添加多樣性和多元性。

豐碩成果

通過 NVIDIA 的合成數(shù)據(jù)，DRIVE Sim 在加速感知開發(fā)方面已經(jīng)取得了顯著成果。

一個(gè)示例是遷移到新的 NVIDIA DRIVE Hyperion 傳感器集。NVIDIA DRIVE Hyperion 8 平臺(tái)包括用于完整生產(chǎn)自動(dòng)駕駛汽車開發(fā)的傳感器。然而，在這些傳感器可用之前，NVIDIA DRIVE 團(tuán)隊(duì)能夠使用合成數(shù)據(jù)為平臺(tái)提供 DNN。DRIVE Sim 生成了數(shù)百萬張圖像和真值數(shù)據(jù)用于訓(xùn)練。因此，一旦安裝傳感器，網(wǎng)絡(luò)便已準(zhǔn)備好部署，從而節(jié)省了長(zhǎng)達(dá)數(shù)月的寶貴開發(fā)時(shí)間。

在另一種情況下，用于檢測(cè)可駕駛車道空間的 PathNet DNN 在車輛未處于車道中心時(shí)難以確定路徑。收集此類數(shù)據(jù)很困難，因?yàn)檐囕v部分駛出車道非常危險(xiǎn)（而且違反了 NVIDIA 的數(shù)據(jù)采集策略）。通過基于數(shù)百萬條駛離車道中心行駛路徑的合成圖像對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，DRIVE Sim 顯著提高了 PathNet 的準(zhǔn)確性。

用于檢測(cè)交通燈的 LightNet 和用于檢測(cè)和分類路標(biāo)的 SignNet 也是如此。由于缺乏數(shù)據(jù)，這些網(wǎng)絡(luò)很難從極度角識(shí)別交通燈，并在某些條件下對(duì)路標(biāo)進(jìn)行錯(cuò)誤分類。工程師能夠設(shè)計(jì)數(shù)據(jù)來增強(qiáng)現(xiàn)實(shí)世界的數(shù)據(jù)集并提高性能。

通過對(duì)這兩個(gè) DNN 進(jìn)行涵蓋這些問題領(lǐng)域的合成數(shù)據(jù)訓(xùn)練，性能得到迅速提高，消除了開發(fā)過程中的瓶頸問題。

看到人類肉眼所不能看到的事物

合成數(shù)據(jù)改變了 DNN 開發(fā)的本質(zhì)。它具有時(shí)間效益和成本效益，為工程師們提供了按需生成定制數(shù)據(jù)集的自由。

開發(fā)者可以指定天氣、照明、行人、道路碎石等元素。他們還可以控制元素的分布，例如在給定數(shù)據(jù)集中指定卡車、公共汽車、汽車和摩托車的特定組合。

合成數(shù)據(jù)提供了人類無法標(biāo)記的正確的標(biāo)注。例如深度信息、速度和多傳感器追蹤。這種正確的標(biāo)注信息可以顯著增強(qiáng)感知性能。

它還有助于標(biāo)記難以標(biāo)記（有時(shí)是不可能實(shí)現(xiàn)）的組件。例如，對(duì)于在汽車后方行走的行人，如果被遮擋，人們將無法正確對(duì)其貼標(biāo)。但是，通過模擬，即使人們看不到信息，正確的標(biāo)注仍自動(dòng)可用且具有像素級(jí)準(zhǔn)確性。

合成數(shù)據(jù)的一個(gè)關(guān)鍵特點(diǎn)是精確的真值標(biāo)簽，用于現(xiàn)實(shí)世界中很困難或不可能實(shí)現(xiàn)的場(chǎng)景，如在汽車駛過時(shí)行人被遮擋的場(chǎng)景。

清理前方道路

作為合成數(shù)據(jù)生成工具的模塊化、開放且可擴(kuò)展的平臺(tái)，Omniverse Replicator 為深度學(xué)習(xí)工程師帶來了強(qiáng)大的新功能。而 DRIVE Sim 則使用這些新功能為自動(dòng)駕駛汽車開發(fā)者提供模擬測(cè)試中的終極靈活性和效率，以便工程師創(chuàng)建所需的數(shù)據(jù)集以加快工作進(jìn)程。

其結(jié)果是 DNN 更準(zhǔn)確，開發(fā)時(shí)間縮短，快速將更安全、更高效的自動(dòng)駕駛技術(shù)應(yīng)用于道路。

原文標(biāo)題：用于 DRIVE Sim 的 NVIDIA Omniverse Replicator 可加速自動(dòng)駕駛汽車開發(fā)并提高感知結(jié)果

文章出處：【微信公眾號(hào)：NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。