云中 AI 驅動的化身

數字助理和化身可以有很多不同的形式和形狀，從普通的文本驅動聊天機器人到完全動畫的數字人和可以看到和聽到人的物理機器人。這些化身將填充虛擬世界，幫助我們創建和構建東西，成為品牌大使和客戶服務代理，幫助您在網站上找到東西，在駕車途中接受訂單，或推薦退休或保險計劃。

一個實時交互式 3D 化身可以提供一種自然、迷人的體驗，讓人們感覺更舒適。基于人工智能的虛擬助理還可以使用非語言提示，如面部表情和眼神交流，以加強溝通，了解您的請求和意圖。

但大規模構建這些化身應用程序需要廣泛的專業知識，包括計算機圖形、 AI 和 DevOps 。當前大多數動畫化身的方法都利用傳統的運動捕捉解決方案，這對于實時應用來說是一個挑戰。

尖端的 NVIDIA AI 技術，如 Omniverse Audio2Face 、 NVIDIA Riva 和 NVIDIA Metropolis ，通過使虛擬形象的運動由音頻和視頻驅動，改變了游戲。將角色動畫直接連接到化身的會話智能，可以更快、更容易地大規模設計和部署交互式化身。

創建化身時，還必須將其集成到應用程序中并進行部署。這需要強大的 GPU 來驅動復雜 3D 角色的渲染和將其帶入現實生活的 AI 智能。單片解決方案針對特定端點進行了優化，而云本地解決方案在所有端點（包括移動、 web 和有限的計算設備，如增強現實耳機）上的可擴展性更強。

NVIDIA Omniverse 虛擬化身云引擎（ ACE ）通過交付所有必要的 AI 構建塊，大規模地將智能化身變為現實，從而幫助解決這些挑戰。

Omniverse ACE 和 AI 微服務

Omniverse ACE 是一個云本地 AI 模型和微服務的集合，用于輕松構建、定制和部署智能化和參與性化身。這些 AI 微服務為交互式化身的后端提供動力，使這些虛擬機器人能夠看到、感知、智能對話，并向用戶提供建議。

Omniverse ACE 使用 Universal Scene Description （USD） 和 NVIDIA Unified Compute Framework （ UCF ），這是一個完全加速的框架，使您能夠將優化和加速的微服務結合到實時 AI 應用程序中。

每個微服務都有一個有限的域上下文（動畫 AI 、對話 AI 、視覺 AI 、數據分析或圖形渲染），可以從 UCF Studio 獨立管理和部署。

AI 微服務包括以下內容：

動畫 AI： Omniverse Audio2Face 簡化了 3D 角色的動畫，以匹配任何音軌，幫助用戶為游戲、電影或實時數字助理制作角色動畫。

對話 AI： 包括語音 AI 的 NVIDIA Riva SDK 和自然語言處理的 NVIDIA NeMo Megatron 框架。這些工具使您能夠快速構建和部署提供高精度、富有表現力的聲音和實時響應的尖端應用程序。

視覺 AI： NVIDIA Metropolis 為個人開發者、高等教育和研究以及企業提供了從模型開發到部署的計算機視覺工作流。

推薦 AI： NVIDIA Merlin 是一個開源框架，用于大規模構建高性能推薦系統。它包括簡化推薦程序構建的庫、方法和工具。

NVIDIA UCF 包括經驗證的部署就緒微服務，以加速應用程序開發。從應用程序中抽象出每個域，減輕了對低級域和平臺知識的需求。可以使用 NVIDIA SDK 創建新的和自定義的微服務。

注冊以獲得有關 UCF Studio Early Access program 的通知。

沒有用于云部署的代碼設計工具

應用程序開發人員將能夠使用 NVIDIA UCF Studio 將所有這些基于 UCF 的微服務整合在一起，這是一種無代碼應用程序構建工具，用于創建、管理應用程序并將其部署到私有或公共云。

設計可視化為微服務處理管道的組合。使用拖放操作，您可以快速創建和組合這些管道，以構建功能強大的應用程序，其中包含不同的 AI 模式、圖形和其他處理功能。

圖 2.使用 Omniverse ACE 構建的化身 AI 工作流管道示例

內置設計規則和驗證是 UCF Studio 開發環境的一部分，以確保在其中構建的應用程序在構造上是正確的。完成后，應用程序可以打包到支持 NVIDIA GPU 的容器中，并使用 Helm 圖表輕松部署到云中。

建造 Violet ， NVIDIA Tokkio 化身

NVIDIA Tokkio 在 GTC 主題演講中展示，代表了使用 Omniverse ACE 開發虛擬形象的最新進展。在 demo 中，黃仁勛介紹了 Violet ，這是一個基于云的交互式客戶服務化身，完全自主。

Violet 是使用 NVIDIA Tokkio 應用程序工作流開發的，該工作流使交互式化身能夠智能地查看、感知、交談，并提供建議以增強在線和餐廳、商店等地方的客戶服務。

雖然用戶界面和特定的 AI 微服務組件將在 UCF Studio 中繼續完善，但如何創建化身 AI 工作流管道并部署它的核心過程將保持不變。您將能夠快速選擇、拖放和切換微服務，輕松定制您的頭像。

首先是一個裝備齊全的化身和一些在 Omniverse 中渲染的基本動畫。使用 UCF Studio ，您可以選擇必要的組件使 Violet 角色具有交互性。這個例子包括 Riva 自動語音識別（ ASR ）和文本到語音（ TTS ）功能，使她能夠聽和說， Omniverse Audio2Face 提供必要的動畫。

然后，將 Violet 連接到食品訂購數據集，使她能夠處理客戶訂單和查詢。完成后， UCF Studio 會生成一個 Helm 圖表，該圖表可以通過一系列 CLI 命令部署到 Kubernetes 集群上。現在，紫羅蘭化身正在云中運行，可以通過基于 web 的應用程序或物理食品服務亭進行交互。

接下來，更新她的語言模型，以便她能夠回答與食物訂單無關的問題。 NVIDIA Tokkio 應用程序框架包括使用 NVIDIA NeMo Megatron 構建的可定制預處理自然語言處理（ NLP ）模型。她的語言模型可以通過返回 UCF Studio 并更新推斷設置來更新，在這種情況下，可以更新為預先部署的 Megatron 大型語言模型（ LLM ）微服務。 Violet 已經重新部署，現在可以回答更廣泛的開放領域問題。

Omniverse ACE 微服務還將支持在第三方引擎中呈現的化身。您可以切換出 NVIDIA Tokkio 管道正在驅動的化身。回到 UCF Studio ，替換 Omniverse Audio2Face 的當前微服務輸出，以驅動使用 Epic’s MetaHuman in Unreal Engine 5 創建的虛擬形象 UltraViolet 。

關于作者

Stephanie Rubenstein 是 NVIDIA 的產品營銷經理，負責推動整個開發人員網絡采用 XR SDK 。她擁有近十年的經驗，幫助早期初創企業和 Facebook 等全球公司成功構建并推出了跨增強現實、云計算和開源的創新產品。

Alex Qi 是英偉達 AI 軟件集團的產品經理。她的重點是對話 AI 框架（ Riva ）和多媒體流 AI / ML （ Maxine ）的 AI 軟件和應用程序。在加入 NVIDIA 之前，她在領導技術和工程組織中各種角色的具有挑戰性的技術項目方面擁有豐富的經驗，如數據科學家、計算建模和設計工程。

審核編輯：郭婷