今年 11 月，NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在一次活動后偶遇了兩位正在直播的歌手，黃仁勛加入其中，為她們的音樂喝彩。新的一年將至，以 AI 打造的實時對話 AI 虛擬化身 Toy Jensen 為大家獻(xiàn)曲并送上暖心的節(jié)日祝福！

創(chuàng)建 Toy Jensen：

NVIDIA Omniverse Avatar Cloud Engine

這段 Toy Jensen 的表演視頻展示了 NVIDIA Omniverse Avatar Cloud Engine （ACE） 平臺的部分核心技術(shù)。Omniverse ACE 是一個云原生 AI 微服務(wù)和工作流的集合。開發(fā)者可以使用它輕松構(gòu)建、自定義和部署引人入勝的交互式虛擬形象。

目前市場上的虛擬化身開發(fā)工作需要專業(yè)的知識、專業(yè)的設(shè)備以及大量人手。而 Omniverse ACE 則不同，它建立在 NVIDIA 的統(tǒng)一計算框架 （UCF） 基礎(chǔ)上，可以使用更少的代碼快速創(chuàng)建和配置AI流程。

NVIDIA 技術(shù)項目經(jīng)理 Cyrus Hogg 表示：“這是一項令人驚喜的技術(shù)，而我們能夠做到這一點也非常了不起。”

Toy Jensen 演唱背后技術(shù)揭秘

為了帶來一場精彩的表演，NVIDIA 的團(tuán)隊使用最近開發(fā)的語音轉(zhuǎn)換模型，從他們提供的樣本中提取出專業(yè)歌手的聲音并將其變成 Toy Jensen 的聲音。Toy Jensen 原來的聲音是使用數(shù)小時的真實錄音訓(xùn)練開發(fā)而成。這次，團(tuán)隊使用該樣本中的音調(diào)并將其應(yīng)用于 Toy Jensen 的數(shù)字聲音，讓虛擬化身以原歌手相同的音調(diào)和節(jié)奏唱歌。

NVIDIA 的創(chuàng)作團(tuán)隊甚至和曾與 Michael Bublé 和 David Foster 合作過的作曲家兼制作人 Jochem van der Saag 一起為 Toy Jensen 創(chuàng)作了完美的伴奏曲。

NVIDIA 技術(shù)項目經(jīng)理 Cyrus Hogg 表示：“我們請 van der Saag 作曲，并為我們編排這首歌。這很好地彌補(bǔ)了我們團(tuán)隊的不足，我們十分高興他能夠加入。”

雖然將所創(chuàng)建的音樂曲目轉(zhuǎn)換成一個精致的視頻只用了幾個小時，但 Omniverse ACE 技術(shù)背后的團(tuán)隊花了數(shù)年時間來開發(fā)和調(diào)整這段表演中所展示的技術(shù)。

Audio2Face 與 Audio2Gesture

實現(xiàn)真實的面部表情和身體動作

NVIDIA 的創(chuàng)作團(tuán)隊使用了 Omniverse ACE，Omniverse Audio2Face 和 Audio2Gesture 技術(shù)，僅根據(jù) Toy Jensen 的音頻就為這段動畫表演生成了逼真的面部表情和身體動作。

ACE 將徹底改變虛擬體驗

Toy Jensen 的視頻淋漓盡致地展示了 NVIDIA Omniverse ACE 及其如何被應(yīng)用于各行業(yè)的虛擬活動、在線教育和客戶服務(wù)，并且如何被用于為視頻游戲、社交媒體和虛擬現(xiàn)實體驗創(chuàng)造個性化的虛擬化身。

暖心互動贏好禮

您認(rèn)為視頻背后的哪項技術(shù)最令人驚喜？參與下方投票并評論留言，即可參與活動！

活動截止于 12 月 30 日 早 11點，將抽取 1 位獲贊最高的評論，送出 NVIDIA 定制暖冬衛(wèi)衣一件！