提供合成數(shù)據(jù)生成工具和服務(wù)的企業(yè)以及開發(fā)者現(xiàn)在可以使用 Omniverse Replicator SDK 構(gòu)建自定義、物理級(jí)精確的合成數(shù)據(jù)生成管線。Omniverse Replicator SDK 建立在 NVIDIA Omniverse 平臺(tái)上，目前已在 Omniverse Code 內(nèi)提供公測(cè)版。

Omniverse Replicator 是一個(gè)建立在可擴(kuò)展的 Omniverse 平臺(tái)上的高度可擴(kuò)展 SDK，它可以生成物理級(jí)精確的 3D 合成數(shù)據(jù)來加速 AI 感知網(wǎng)絡(luò)的訓(xùn)練和性能。開發(fā)者、研究人員和工程師現(xiàn)在可以使用 Omniverse Replicator 生成的大規(guī)模逼真合成數(shù)據(jù)來引導(dǎo)和提高現(xiàn)有深度學(xué)習(xí)感知模型的性能。

Omniverse Replicator 為開發(fā)者提供了一個(gè)可以根據(jù)他們的神經(jīng)網(wǎng)絡(luò)要求構(gòu)建特定合成數(shù)據(jù)生成應(yīng)用的特殊平臺(tái)。它建立在通用場(chǎng)景描述（USD）、PhysX 和材質(zhì)定義語言（MDL）等開放標(biāo)準(zhǔn)之上并帶有易于使用的 python API，還具有可擴(kuò)展性并且支持自定義隨機(jī)發(fā)生器、注釋器和寫入器。Replicator 通過基于 CUDA 的 OmniGraph 實(shí)現(xiàn)核心注釋器功能，支持瞬間數(shù)據(jù)生成，因此可以實(shí)時(shí)預(yù)覽輸出。當(dāng)與 Omniverse Farm 和 SwiftStack 輸出相結(jié)合時(shí)，Replicator 可在云中提供大規(guī)模的可擴(kuò)展性。

Omniverse Replicator SDK 由六個(gè)用于自定義合成數(shù)據(jù)工作流程的主要組件組成：

語義模式編輯器：通過對(duì) 3D 資產(chǎn)及其 prim 進(jìn)行語義標(biāo)記，Replicator 可以在渲染和數(shù)據(jù)生成過程中對(duì)目標(biāo)對(duì)象進(jìn)行注釋。語義模式編輯器提供一種通過用戶界面將這些標(biāo)簽應(yīng)用于 prim 的方式。

可視化器：為分配給 3D 資產(chǎn)的語義標(biāo)簽以及 2D/3D bounding box、法線、深度等注釋提供可視化功能。

隨機(jī)發(fā)生器：域隨機(jī)化是 Replicator 最重要的功能之一。用戶可以使用隨機(jī)發(fā)生器創(chuàng)建隨機(jī)化的場(chǎng)景，從資產(chǎn)、材質(zhì)、照明和攝像機(jī)位置等隨機(jī)化能力中取樣。

Omni.syntheticdata：提供與 Omniverse RTX 渲染器和 OmniGraph 計(jì)算圖系統(tǒng)的低層次集成，驅(qū)動(dòng) Replicator 的基準(zhǔn)真值數(shù)據(jù)提取注釋器，將任意輸出變量（AOV）從渲染器傳遞到注釋器。

注釋器：從 Omni.syntheticdata 擴(kuò)展程序中提取 AOV 和其他輸出，生成用于深度神經(jīng)網(wǎng)絡(luò)（DNN）訓(xùn)練的精確標(biāo)記注釋。

寫入器：處理來自注釋器的圖像和其他注釋，并生成用于訓(xùn)練的 DNN 專用數(shù)據(jù)格式。

用于 AI 訓(xùn)練的合成數(shù)據(jù)

為了訓(xùn)練一個(gè)用于感知任務(wù)的 DNN，通常需要從數(shù)百萬圖像中手動(dòng)采集數(shù)據(jù)，然后對(duì)這些圖像進(jìn)行手動(dòng)注釋和有選擇性的增強(qiáng)。

人工數(shù)據(jù)采集和注釋是一項(xiàng)費(fèi)力而主觀的任務(wù)。在采集和注釋真實(shí)圖像的過程中，即便只是像大規(guī)模 2D bounding box 這樣的簡(jiǎn)單注釋也會(huì)帶來許多人力協(xié)調(diào)方面的挑戰(zhàn)。分割等所涉及到的注釋存在資源限制，并且手動(dòng)執(zhí)行此類任務(wù)時(shí)的準(zhǔn)確性要差得多。

在采集和注釋完畢后，數(shù)據(jù)將被轉(zhuǎn)換成 DNN 可用的格式，然后訓(xùn)練用于感知任務(wù)的 DNN。一般情況下，接下來會(huì)通過超參數(shù)調(diào)節(jié)或改變網(wǎng)絡(luò)結(jié)構(gòu)來優(yōu)化網(wǎng)絡(luò)性能。在對(duì)模型性能進(jìn)行分析時(shí)，可能會(huì)導(dǎo)致數(shù)據(jù)集發(fā)生變化，在大多數(shù)情況下，還需要進(jìn)行一輪手動(dòng)數(shù)據(jù)采集和注釋，這種人工數(shù)據(jù)采集和注釋的迭代循環(huán)是昂貴、乏味且緩慢的。

憑借以合成方式生成的數(shù)據(jù)，團(tuán)隊(duì)就能以一種高成本效益的方式啟動(dòng)和加強(qiáng)帶有準(zhǔn)確注釋的大規(guī)模訓(xùn)練數(shù)據(jù)的生成。此外，合成數(shù)據(jù)生成還有助于解決與長(zhǎng)尾異常、缺乏可用訓(xùn)練數(shù)據(jù)和在線強(qiáng)化學(xué)習(xí)有關(guān)的挑戰(zhàn)。不同于人工采集和注釋的數(shù)據(jù)，以合成方式生成的數(shù)據(jù)具有較低的攤銷成本。由于數(shù)據(jù)采集/注釋和模型訓(xùn)練周期一般具有迭代性，因此這一點(diǎn)十分有益。

Omniverse Replicator 通過利用 Omniverse 平臺(tái)的眾多核心功能和最佳實(shí)踐來解決這些挑戰(zhàn)，包括但不限于物理級(jí)精確、逼真的數(shù)據(jù)集和對(duì)超大數(shù)據(jù)集的訪問。

為了生成物理級(jí)精確的逼真數(shù)據(jù)集，需要使用各種 RTX 技術(shù)、基于物理學(xué)的材質(zhì)和物理引擎等 Omniverse 平臺(tái)的所有核心技術(shù)進(jìn)行準(zhǔn)確的光線追蹤和路徑追蹤。

基于通用場(chǎng)景描述（USD）的 Omniverse 可以無縫連接其他 3D 應(yīng)用，因此開發(fā)者可以導(dǎo)入自定義內(nèi)容或編寫自己的工具來生成不同的域場(chǎng)景。由于需要在多個(gè) GPU 和節(jié)點(diǎn)上進(jìn)行擴(kuò)展，因此這些資產(chǎn)的生成往往會(huì)成為瓶頸。

Omniverse Replicator 通過 Omniverse Farm 使團(tuán)隊(duì)能夠一起使用多個(gè)工作站或服務(wù)器驅(qū)動(dòng)渲染或合成數(shù)據(jù)生成等工作。合成數(shù)據(jù)生成工作流程不是一蹴而就的，為了成功使用合成數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，必須在真實(shí)數(shù)據(jù)集上反復(fù)測(cè)試該網(wǎng)絡(luò)。Replicator 通過將模擬世界轉(zhuǎn)換為一組可學(xué)習(xí)的參數(shù)來提供這種以數(shù)據(jù)為中心的 AI 訓(xùn)練。

使用 Omniverse Replicator 和 TAO 工具套件加速現(xiàn)有的工作流程

開發(fā)者、工程師和研究人員可以將 Omniverse Replicator 與現(xiàn)有的工具進(jìn)行整合，來加快 AI 模型的訓(xùn)練速度。例如，在生成合成數(shù)據(jù)后，開發(fā)者可以利用 NVIDIA TAO 工具套件快速訓(xùn)練他們的 AI 模型。TAO 工具套件利用遷移學(xué)習(xí)讓開發(fā)者無需事先掌握 AI 專業(yè)知識(shí)，就能根據(jù)其用例來訓(xùn)練、調(diào)整和優(yōu)化模型。

使用 Omniverse Replicator 構(gòu)建應(yīng)用

Kinetic Vision 是一家為零售、內(nèi)部物流、消費(fèi)性制造和消費(fèi)性包裝品行業(yè)的大型客戶提供服務(wù)的系統(tǒng)集成商。為了向客戶提供高質(zhì)量的合成數(shù)據(jù)服務(wù)，該公司正在開發(fā)一個(gè)基于 Omniverse Replicator SDK 的新企業(yè)應(yīng)用。

當(dāng)訓(xùn)練深度學(xué)習(xí)模型所需的數(shù)據(jù)不可用時(shí)，Omniverse Replicator 會(huì)生成可用于增強(qiáng)有限數(shù)據(jù)集的合成數(shù)據(jù)。Lightning AI （前身為 Grid.AI）使用 NVIDIA Omniverse Replicator 生成基于通用場(chǎng)景描述（USD）格式、物理級(jí)精確的 3D 數(shù)據(jù)集，這些數(shù)據(jù)集可用于訓(xùn)練這些模型。用戶只需要拖放 3D 資產(chǎn)，然后在數(shù)據(jù)集生成后，就可以選擇最新、最先進(jìn)的計(jì)算機(jī)視覺模型并使用合成數(shù)據(jù)自動(dòng)訓(xùn)練。

NVIDIA Isaac Sim 和 DRIVE Sim 團(tuán)隊(duì)使用 Omniverse Replicator SDK 構(gòu)建特定領(lǐng)域的合成數(shù)據(jù)生成工具——用于機(jī)器人的 Isaac Replicator 和用于自動(dòng)駕駛汽車訓(xùn)練的 DRIVE Replicator。Omniverse Replicator SDK 為開發(fā)者提供一套核心功能，方便開發(fā)者利用 Omniverse 平臺(tái)所提供的所有優(yōu)勢(shì)建立任何特定領(lǐng)域的合成數(shù)據(jù)生成管線。Replicator 通過將 Omniverse 作為 3D 模擬、渲染和 AI 開發(fā)能力的開發(fā)平臺(tái)，提供自定義合成數(shù)據(jù)生成管線。

使用Omniverse Replicator

現(xiàn)在可以在 Omniverse Code 中使用 Omniverse Replicator SDK。用戶可從 Omniverse Launcher 下載 Omniverse Code。

原文標(biāo)題：使用 Omniverse Replicator 構(gòu)建自定義合成數(shù)據(jù)生成管線

文章出處：【微信公眾號(hào)：NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

審核編輯：湯梓紅