NVIDIA 在 GDC 2024 大會上宣布，Inworld AI 等領(lǐng)先的 AI 應(yīng)用程序開發(fā)者，正在使用 NVIDIA 數(shù)字人技術(shù)加速部署生成式 AI 驅(qū)動的游戲角色。此外，NVIDIA 還更新了 RTX SDK，以簡化高質(zhì)量游戲世界的創(chuàng)建。

NVIDIA 數(shù)字人技術(shù)助力新一代游戲角色

用戶可將全套 NVIDIA 數(shù)字人技術(shù)或單個微服務(wù)整合到其產(chǎn)品中：

NVIDIA Avatar Cloud Engine (ACE)：通過 NVIDIA Audio2Face (A2F) 提供面部動畫，以及由 NVIDIA Riva 自動語音識別 (ASR) 和文本轉(zhuǎn)語音 (TTS) 提供的語音支持，可以讓數(shù)字人更加栩栩如生。

NVIDIA NeMo：一個用于開發(fā)自定義生成式 AI 的端到端框架。NeMo 使用戶能夠通過精確數(shù)據(jù)管護、先進自定義功能、檢索增強生成和加速性能來完成企業(yè)就緒型模型。

NVIDIA RTX：RTX 全局照明（RTXGI）和 DLSS 3.5 等渲染技術(shù)的集合，可在游戲和應(yīng)用中實現(xiàn)實時的路徑追蹤。

這些創(chuàng)新在由 Inworld AI 與 NVIDIA 合作完成的 Covert Protocol（秘密協(xié)議）演示中得到了展示。在該演示中，玩家可以扮演一個經(jīng)驗豐富的私人偵探，并在游戲中體驗突破常規(guī)的 NPC 交互。

該演示使用了 OpenAI 的 ChatGPT 3.5 、ElevenLabs 文本轉(zhuǎn)語音 (TTS)、Riva ASR 和 A2F 微服務(wù)，以增強 Inworld 的語言、語音和動畫制作流程。Inworld 的 AI 引擎采用了多模態(tài)方法來提升 NPC 的表現(xiàn)，它將認知、感知和行為系統(tǒng)相結(jié)合，同時利用其 Unreal Engine 插件進行集成，讓使用 MetaHumans 變得快速且簡單。

用戶可以通過申請搶先體驗計劃來開啟 NVIDIA ACE 的旅程，并獲取正在開發(fā)的 AI 模型。有關(guān)可用模型的更多信息，請參閱 NVIDIA 的 API Catalog。在該網(wǎng)站上，用戶會發(fā)現(xiàn)一套易于使用、旨在加速生成式 AI 部署的微服務(wù)——NVIDIA NIM，其適用于 Riva ASR (模型名稱為 Parakeet) 和 A2F。用戶可以直接通過瀏覽器或通過運行完全加速堆棧的 API 端點來體驗和評估這些微服務(wù)。如果用戶擁有 NVIDIA AI Enterprise 許可證，請下載 NIM 并在 DGX 云或任何 CSP 和私有云上部署。

由 AI 驅(qū)動的照明改進和更輕松的渲染集成

NVIDIA 推出了 RTX 全局照明（RTXGI）2.0 SDK，其可通過 AI 實現(xiàn)光線追蹤的間接照明。RTXGI 的推出進一步豐富了目前已有的神經(jīng)渲染技術(shù)選項：

NVIDIA DLSS 超分辨率技術(shù)

DLSS 3 Frame Generation

DLSS 光線重建

DLAA

最新的算法神經(jīng)輻射緩存（NRC）是一種由 AI 驅(qū)動的解決方案，它能夠?qū)崟r訓(xùn)練場景的輻射緩存，并使用反應(yīng)式照明來處理全動態(tài)場景。這種技術(shù)不需要事先為幾何圖形和材質(zhì)烘焙靜態(tài)照明，從而為要求嚴苛的場景提供了更出色的性能和更準確的全局照明。

關(guān)閉 NRC (左) 和開啟 NRC (右) 時的原始降噪緩存可視化

為提供可擴展性，NVIDIA 推出了空間哈希輻射緩存(SHaRC)，該版本無需使用神經(jīng)網(wǎng)絡(luò)即可提供與 NRC 類似的優(yōu)勢。它與任何支持 DirectX 或 Vulkan 光線追蹤的 GPU 兼容。這是一種基于空間哈希數(shù)據(jù)結(jié)構(gòu)構(gòu)建的輻射緩存，專為用于路徑追蹤的快速且可擴展的全局照明技術(shù)而設(shè)計。

“傳送門 (Portal)” NVIDIA RTX 版中采用的 SHaRC

審核編輯：劉清