數(shù)字人的核心是我們在虛擬世界中的數(shù)字形式。從 3D 游戲的早期開始，VR 戰(zhàn)士是最早展示 3D 角色如何一起戰(zhàn)斗的人之一。如今，玩家可以體驗(yàn)流行游戲中令人難忘的角色的旅程，如戰(zhàn)爭之神，我們的最后一位。 或者你可能在流行電影中認(rèn)出了數(shù)字人 ，就像那個(gè)臭名昭著的惡棍塔諾斯復(fù)仇者：終局或是布拉德·皮特在電影中扮演自己的老版本本杰明·巴頓。

通過數(shù)字化身講故事，娛樂領(lǐng)域也出現(xiàn)了新的案例。 Fable AI 和 Baobab 等公司正在創(chuàng)建涉及數(shù)字角色的互動和虛擬故事。但我們?nèi)绾味x數(shù)字人呢？我們可以用什么標(biāo)準(zhǔn)來描述不同類型的數(shù)字人類？

我們測量數(shù)字人類的尺度或范圍通常有三種：

現(xiàn)實(shí)主義與風(fēng)格主義

與離線相比，實(shí)時(shí)

人工智能與人類驅(qū)動的比較

圖 1 。數(shù)字人 SDK

將數(shù)字人類帶入生活

如前所述，創(chuàng)建數(shù)字人的過程可能具有挑戰(zhàn)性。打造數(shù)字人類有三個(gè)主要組成部分，每一個(gè)組成部分都需要不同的藝術(shù)和技術(shù)組合：生成 動畫 和智能。

要生成數(shù)字人類，團(tuán)隊(duì)必須首先制作 3D 模型、紋理、著色器、骨骼裝備和皮膚變形，使其跟隨骨骼。

對于動畫和運(yùn)動，藝術(shù)家必須關(guān)注數(shù)字人的物理元素，從身體和面部到頭發(fā)和衣服。通常，它是變形和模擬的組合，以實(shí)現(xiàn)這些零件的正確運(yùn)動。就現(xiàn)實(shí)表現(xiàn)而言，到目前為止，實(shí)現(xiàn)這一目標(biāo)主要有兩種方式；手動設(shè)置動畫或使用各種性能捕捉技術(shù)獲取運(yùn)動數(shù)據(jù)。通常，這是兩者的結(jié)合。

在過去幾年中，使用 人工智能 （AI） 生成或合成動畫的現(xiàn)象開始增多。他們的角色現(xiàn)在變小了，通常處理特定類型的性能，但這種情況正在迅速變化。

任何這些方法的底線都是創(chuàng)建基于上下文的行為，以便數(shù)字人類能夠以可信的方式行動。要像真人一樣表現(xiàn)情感和行為仍然很困難。人工智能和模擬領(lǐng)域的新技術(shù)正在幫助簡化這一過程。

最后，藝術(shù)家必須為數(shù)字人類帶來智慧，他們可以通過雙向互動實(shí)現(xiàn)這一點(diǎn)。通過人類語言處理和自然語音技術(shù)，如 NVIDIA Riva 、 Ensemble Health AI 和 Replica ，數(shù)字人類可以與真實(shí)人類進(jìn)行對話。他們也可以在虛擬世界和現(xiàn)實(shí)世界中擁有視野。它們可以識別物體并在環(huán)境中導(dǎo)航。他們可以看到與他們交談的用戶，并相應(yīng)地進(jìn)行查看和響應(yīng)。

數(shù)字人類的重要性

數(shù)字人類可能已經(jīng)出現(xiàn)在媒體和娛樂領(lǐng)域，但對數(shù)字人類的需求正在增長，并且正在跨越各個(gè)行業(yè)。今天，我們已經(jīng)看到了數(shù)字人類的所有好處和潛在用例。

首先，人工智能數(shù)字助理在醫(yī)療保健和零售等行業(yè)具有巨大潛力。對于醫(yī)療專業(yè)人員來說，數(shù)字助理可以幫助改進(jìn)培訓(xùn)和程序。醫(yī)生可以在真實(shí)的模擬中進(jìn)行手術(shù)，他們可以進(jìn)行數(shù)百次模擬，以確保在現(xiàn)實(shí)生活中進(jìn)行手術(shù)之前獲得最佳效果。在零售業(yè)， AI 數(shù)字協(xié)助可以通過提供更個(gè)性化的體驗(yàn)來增強(qiáng)客戶服務(wù)。

為了讓這項(xiàng)工作發(fā)揮作用，人工智能數(shù)字助理需要對語言交流有深刻的理解。這是幫助人們更好地與數(shù)字助理互動和交談的關(guān)鍵，這樣他們就可以完成他們需要的任務(wù)。

對于建筑和 制造 等行業(yè)的其他公司來說，數(shù)字孿生兄弟正在幫助團(tuán)隊(duì)模擬大型環(huán)境中的工人和人，從工廠、城市到建筑物。在數(shù)字人的幫助下，公司可以通過精確的模擬來評估風(fēng)險(xiǎn)和預(yù)測環(huán)境，幫助他們確保物理建筑得到最佳設(shè)計(jì)。

數(shù)字人類的智能需求不同于人工智能數(shù)字助理。當(dāng)你把一個(gè)數(shù)字人放在一個(gè)虛擬環(huán)境中，他們必須知道如何像人一樣導(dǎo)航和行為，無論是工廠工人還是在摩天大樓中行走的游客。

Figure 5. Factory AI agent

最后，數(shù)字人類將有助于改進(jìn) creation of synthetic data generation 。對于人工智能來說，數(shù)據(jù)和訓(xùn)練神經(jīng)網(wǎng)絡(luò)是其本質(zhì)。像 Synthesis AI 、 Microsoft 、 DataGen 、 Epic Games 和 Reallusion 這樣的公司已經(jīng)開始著手捕捉和合成 3D 數(shù)字人體數(shù)據(jù)，以訓(xùn)練 AI 模型。但我們需要更多的數(shù)據(jù)，特別是未來的數(shù)據(jù)。合成數(shù)據(jù)生成是人工智能發(fā)展的關(guān)鍵，而數(shù)字人類的合成數(shù)據(jù)生成對于擴(kuò)展人工智能至關(guān)重要。

每個(gè)聲音都有一張臉

數(shù)字人類的前景如何？人們將創(chuàng)造性地利用一個(gè)被采用的數(shù)字人類世界。隨著我們走向虛擬世界的體驗(yàn)，這一點(diǎn)將變得更加突出。

數(shù)字人對于虛擬世界體驗(yàn)至關(guān)重要。事實(shí)上，每個(gè)人總有一天都會有自己的數(shù)字版本，無論是準(zhǔn)確的還是風(fēng)格化的化身。

通過 NVIDIA Omniverse ，我們希望創(chuàng)建一個(gè)框架，使多種類型的數(shù)字人類能夠共存。使用 Pixar’s Universal Scene Description （USD） 是所有 3D 行業(yè)的標(biāo)準(zhǔn)格式，因此每個(gè)人都可以交換數(shù)據(jù)并一起交談。 Omniverse 有助于推動這些努力朝 USD 發(fā)展，這是使不同的應(yīng)用程序和技術(shù)能夠溝通和協(xié)作以創(chuàng)建數(shù)字人的關(guān)鍵。

對于擁有大量數(shù)字用戶的大世界，我們必須能夠擴(kuò)大規(guī)模。這是一個(gè)具有挑戰(zhàn)性的計(jì)算問題，要模擬能夠相互連接的大世界，并且有大量能夠?qū)崟r(shí)交互的數(shù)字人類。但 Omniverse 正在應(yīng)對這一挑戰(zhàn)，該平臺可以為大型世界和模擬提供動力。這對未來的物理和虛擬世界至關(guān)重要，在那里你可以擁有大量不同種類的數(shù)字人類，他們可以一起參與和互動。

隨著時(shí)間的推移，真實(shí)人類和數(shù)字人類之間的聯(lián)系將不斷增長。這將不僅僅是在電腦上觀看木偶。最終，計(jì)算機(jī)將閱讀并與我們互動，就像我們在現(xiàn)實(shí)生活中所做的那樣。

我們將能夠與數(shù)字人交談，甚至可以通過數(shù)字人訂購商品、食品、處方和其他物品，然后數(shù)字人將向您交付有形的真實(shí)世界對象。交流和互動將成為一條雙向的街道，這為自由和創(chuàng)新提供了新的元素。

關(guān)于作者

Simon Yuen 是 NVIDIA 的圖形和人工智能總監(jiān)，他領(lǐng)導(dǎo)數(shù)字人類的工作，目標(biāo)是開發(fā)新的字符技術(shù)和基于深度學(xué)習(xí)的解決方案，允許以新的更高效的方式創(chuàng)建高質(zhì)量的數(shù)字字符。在 NVIDIA 之前， Simon 在視覺效果行業(yè)工作了超過 21 年，在許多工作室，包括 Method Studio 、 Digital Domain 、 Sony Pictures Imageworks 、 DreamWorks 、暴雪娛樂等，跨越了問題的藝術(shù)和技術(shù)方面，建立團(tuán)隊(duì)和技術(shù)，推動照片級真實(shí)感數(shù)字角色創(chuàng)作。

審核編輯：郭婷