為了加速 3D 世界和元宇宙的發(fā)展，NVIDIA 推出了許多 AI 研究項(xiàng)目來幫助各行業(yè)的創(chuàng)作者利用生成式 AI 挖掘新的可能性。

生成式 AI 將觸及元宇宙的方方面面，而且它已經(jīng)被用于一些用例，例如使用 Omniverse ACE 構(gòu)建栩栩如生的 AI 虛擬形象等。其中的許多項(xiàng)目已成為 Omniverse 社區(qū)廣受歡迎的工具，包括能夠根據(jù)音頻生成動(dòng)畫的 Audio2Face 和 Audio2Gesture。

在 CES 上，NVIDIA 公布了 Omniverse 即將加入的全新生成式 AI 技術(shù)，這項(xiàng)技術(shù)將使虛擬世界的創(chuàng)建變得比以往更快、更容易。這些模型既可以作為 NVIDIA 合作伙伴的第三方連接器，也可以在 NVIDIA 研究團(tuán)隊(duì)發(fā)布的內(nèi)部 AI 項(xiàng)目中作為 AI ToyBox 的擴(kuò)展程序。NVIDIA Omniverse 中的所有生成式 AI 研究項(xiàng)目和連接器都使用合法授權(quán)和購買的數(shù)據(jù)集。

使用生成式 AI 連接器和擴(kuò)展程序

加速 3D 內(nèi)容創(chuàng)建

NVIDIA Omniverse 通過用于第三方技術(shù)的連接器和擴(kuò)展程序帶來最新、最棒的生成式 AI 技術(shù)。

Move.ai 能夠根據(jù)身體動(dòng)作生成動(dòng)畫。通過 Move.ai，用戶可以在任何地方捕捉人體動(dòng)作并直接輸出到 Omniverse 中。

視頻 1：NVIDIA Omniverse 中的個(gè)人拳擊示例，角色由 Move.ai 的運(yùn)動(dòng)數(shù)據(jù)驅(qū)動(dòng)。

Lumirithmic 可根據(jù)面部掃描生成頭部 3D 網(wǎng)格。該連接器使用戶能夠輕松地根據(jù)面部掃描創(chuàng)建電影級(jí)的虛擬形象并在任何行業(yè)都能實(shí)現(xiàn)大規(guī)模的 3D 掃描。Lumirithmic 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Gaurav Chawla 表示：“我們十分高興與 NVIDIA 一起通過 Omniverse 將我們的 3D 面部掃描產(chǎn)品帶給創(chuàng)作者、游戲玩家和開發(fā)者，使游戲、廣告技術(shù)、元宇宙等應(yīng)用獲得高質(zhì)量的 3D 面部形象。

視頻 2：Omniverse - Lumirithmic 3D 虛擬形象捕捉集成。

Elevate3D 可根據(jù) 360 度視頻錄像生成逼真的產(chǎn)品 3D 圖像，利用神經(jīng)輻射場(chǎng)創(chuàng)建具有超高視覺保真度的 3D 網(wǎng)格。Elevate3D 聯(lián)合創(chuàng)始人 Alexandre Carlier 和 Martin Danelljan 表示：“Omniverse 使我們能夠?yàn)楦鞣N工作流和行業(yè)提供我們的技術(shù)。另外，我們?cè)敢庠谠撈脚_(tái)上構(gòu)建擴(kuò)展程序的另一個(gè)原因是上面有優(yōu)秀的文檔和開發(fā)者體驗(yàn)。我們的這一擴(kuò)展程序?qū)⒔鉀Q掃描實(shí)物時(shí)的各種難題。”

探索和實(shí)驗(yàn)最新生成式 AI 研究

AI 工作流是 Omniverse 體驗(yàn)的核心。因此 NVIDIA 不斷開展新的研究項(xiàng)目來幫助 3D 藝術(shù)家和創(chuàng)作者使用 AI 加速他們的工作流。這些 AI 項(xiàng)目中有許多變成了廣泛使用的功能，例如 Machinima 中的姿勢(shì)估計(jì)、根據(jù)簡單的 2D 筆畫生成 360 度圖像的 NVIDIA Canvas 等。

在 CES 上發(fā)布的 GET3D 是一個(gè)新的生成式 AI 模型，它可以根據(jù) 2D 圖像、文本和數(shù)字等數(shù)據(jù)生成具有拓?fù)浣Y(jié)構(gòu)、豐富幾何細(xì)節(jié)和紋理的 3D 形狀。這些 3D 形狀或紋理網(wǎng)格可以是動(dòng)物和人類的造型，并且即將加入汽車、椅子、摩托車和建筑物，使部分行業(yè)的創(chuàng)作者能夠迅速擴(kuò)大他們虛擬世界中的內(nèi)容數(shù)量和多樣性。

圖 1：GET3D 讓用戶能夠快速生成用于填充場(chǎng)景的 3D 動(dòng)物等形狀和網(wǎng)格。

GET3D 將在 Omniverse AI ToyBox 中與 NVIDIA 發(fā)布的現(xiàn)有生成式 AI 研究項(xiàng)目（如 GANVerse3D Image2Car 和 AI Animal Explorer）一起提供。AI ToyBox 收錄了所有最新 NVIDIA AI 項(xiàng)目，使內(nèi)容創(chuàng)作者能夠在虛擬世界中探索新的可能性。

AI 與元宇宙：共生關(guān)系

AI 與元宇宙對(duì)彼此的擴(kuò)展都至關(guān)重要。從汽車到醫(yī)療儀器再到倉庫機(jī)器人，全球的各個(gè)行業(yè)都在成為軟件定義行業(yè)。這些軟件定義技術(shù)如果沒有在真實(shí)環(huán)境中進(jìn)行徹底的測(cè)試，就無法完成開發(fā)或部署。

元宇宙中的數(shù)字孿生正在提供符合物理學(xué)的虛擬環(huán)境，使開發(fā)者能夠以前所未有的速度進(jìn)行智能機(jī)器人等軟件定義技術(shù)的仿真模擬和測(cè)試。在元宇宙中創(chuàng)建的合成數(shù)據(jù)正在進(jìn)一步加速前沿 AI 應(yīng)用的訓(xùn)練，使用比以前更多的數(shù)據(jù)來訓(xùn)練 AI。

生成式 AI 是擴(kuò)展這些數(shù)字孿生與虛擬環(huán)境的關(guān)鍵，它們將開創(chuàng) AI 和元宇宙的新時(shí)代。

Omniverse 相關(guān)資源

• Omniverse 的模塊化開發(fā)框架

  開發(fā)者可以使用 Omniverse 的模塊化開發(fā)框架構(gòu)建用于 3D 世界的生成式 AI 工具。

  詳情請(qǐng)見：

  https://developer.nvidia.cn/zh-cn/nvidia-omniverse-platform

• Omniverse Enterprise

  企業(yè)可以通過 NVIDIA Omniverse Enterprise 使用最新的生成式 AI 技術(shù)擴(kuò)展數(shù)字孿生模擬。

  詳情請(qǐng)見：

  https://www.nvidia.cn/omniverse/enterprise/

• Omniverse 開發(fā)者資源中心

  請(qǐng)?jiān)L問 Omniverse 開發(fā)者資源中心獲取更多資源，閱讀 Omniverse 的最新教程并在論壇上獲得支持。

  詳情請(qǐng)見：

  https://developer.nvidia.com/nvidia-omniverse-developer-resource-center