最新版本為數(shù)百萬(wàn)用戶實(shí)現(xiàn)一流的音頻效果

人人都希望自己的話語(yǔ)得到有效傳達(dá)。現(xiàn)在，越來(lái)越多的人會(huì)在居家辦公時(shí)進(jìn)行視頻通話或直播。提高聲音在線體驗(yàn)的關(guān)鍵在于提供豐富的音頻功能，并避免出現(xiàn)回聲卡點(diǎn)和狗叫聲等背景噪音。

NVIDIA Maxine 提供了 GPU 加速且支持 AI 軟件開(kāi)發(fā)套件，可幫助開(kāi)發(fā)者構(gòu)建可擴(kuò)展的低延遲音頻和視頻效果管線，提高通話質(zhì)量和用戶體驗(yàn)。

NVIDIA 在 GTC 大會(huì)上宣布，為了實(shí)現(xiàn)更好的音質(zhì)，將為 Maxine 添加回聲消除和基于 AI 的上采樣技術(shù)。

回聲消除可實(shí)時(shí)消除音頻流中的回聲，即使在模糊不清的通話過(guò)程中也能夠保持高質(zhì)量語(yǔ)音。借助基于 AI 的技術(shù)，Maxine 實(shí)現(xiàn)了比傳統(tǒng)數(shù)字信號(hào)處理算法更有效的回聲消除。

音頻超分辨率可使用基于 AI 的技術(shù)恢復(fù)較高頻段中丟失的能量，提高低帶寬音頻信號(hào)的質(zhì)量。Maxine 音頻超分辨率支持將音頻從 8 kHz(窄帶)到 16 kHz(寬帶)、從 16 kHz 到 48 kHz(超寬帶)以及從 8 kHz 到 48 kHz 的上采樣。較低的采樣率(例如 8 kHz)通常會(huì)導(dǎo)致聲音含糊不清，并會(huì)突出齒音等瑕疵，導(dǎo)致語(yǔ)音難以理解。

為了保持原始信號(hào)的保真度和清晰度，現(xiàn)代影視工作室通常使用 48 kHz(或更高)的采樣率錄制音頻。音頻超分辨率可幫助恢復(fù)時(shí)間久遠(yuǎn)的音頻錄音(例如源自磁帶或其他低帶寬介質(zhì)的音頻錄音)的保真度。

彌合音質(zhì)差距

大多數(shù)現(xiàn)代電信都使用寬帶或超寬帶音頻。由于 NVIDIA 音頻超分辨率可以實(shí)時(shí)上采樣和恢復(fù)窄帶音頻，因此該技術(shù)可有效彌合傳統(tǒng)銅質(zhì)電話線與現(xiàn)代 VoIP 寬帶通信系統(tǒng)之間的音質(zhì)差距。

有了 Maxine，無(wú)論是在電話會(huì)議、呼叫中心還是各類直播中，實(shí)時(shí)通信都實(shí)現(xiàn)了巨大的飛躍。

自初次發(fā)布以來(lái)，Maxine 已為多家全球領(lǐng)先的視頻通信、內(nèi)容創(chuàng)作和直播提供商所采用。

據(jù) Fortune Business Insights 稱，預(yù)計(jì)到 2028 年，全球視頻會(huì)議市場(chǎng)將由 2021 年的 63 億美元增長(zhǎng)到近 130 億美元。

WFH 已成為一種生活方式

居家工作(或 WFH)已經(jīng)成為各公司普遍認(rèn)可的常態(tài)，而且各公司也正在調(diào)整新的期望值。

據(jù)分析公司 Gartner 估計(jì)，到 2024 年，將僅有四分之一的企業(yè)會(huì)議采用現(xiàn)場(chǎng)召開(kāi)的方式，低于疫情前的 60%。

在過(guò)去兩年的疫情期間，人們一直采用混合或遠(yuǎn)程辦公，虛擬協(xié)作在美國(guó)發(fā)揮了重要作用。

但是，組織為了保持公司文化和工作場(chǎng)所體驗(yàn)，需要更高質(zhì)量的媒體互動(dòng)，而風(fēng)險(xiǎn)也會(huì)隨之增加。

解決“雞尾酒會(huì)問(wèn)題”

但是，有時(shí)工作與家庭生活會(huì)發(fā)生沖突。因此，會(huì)議時(shí)常會(huì)充斥著孩子的吵鬧聲、戶外施工聲或緊急車輛警報(bào)聲等背景噪音，導(dǎo)致電話會(huì)議出現(xiàn)短暫中斷。

Maxine 可幫助解決這個(gè)由來(lái)已久的稱為雞尾酒會(huì)問(wèn)題的音頻問(wèn)題。借助 AI，它可以過(guò)濾掉不需要的背景噪音，讓用戶無(wú)論是居家辦公還是在路上，都能讓通話另一方更清晰地聽(tīng)到自己的聲音。

Maxine GPU 加速平臺(tái)提供了一個(gè)端到端的深度學(xué)習(xí)管道，它集成了可定制的一流模型，通過(guò)標(biāo)準(zhǔn)麥克風(fēng)和攝像頭提供高質(zhì)量功能。

展現(xiàn)你最佳的聲音效果

除了受背景噪音影響之外，虛擬活動(dòng)中的音頻質(zhì)量有時(shí)可能聽(tīng)起來(lái)比較微弱、缺少中低頻率，甚至幾乎聽(tīng)不見(jiàn)。

Maxine 支持實(shí)時(shí)上采樣音頻，因此聲音更加飽滿、深厚和清晰。

羅技：提升了耳機(jī)和 Blue Yeti 麥克風(fēng)音效

為了更好地與熱門耳機(jī)和麥克風(fēng)交互，領(lǐng)先的外設(shè)制造商羅技采用了 Maxine。

羅技利用 AI 庫(kù)將 Maxine 直接集成到 G HUB 音頻驅(qū)動(dòng)中，無(wú)需額外軟件即可增強(qiáng)與設(shè)備的通信。Maxine 在 NVIDIA RTX GPU 中采用功能強(qiáng)大的 Tensor Core，讓消費(fèi)者可以實(shí)時(shí)處理麥克風(fēng)信號(hào)。

當(dāng)前，羅技在其 G HUB 軟件中采用了 Maxine 先進(jìn)的降噪技術(shù)。這使其可以消除干擾視頻會(huì)議或直播會(huì)話的回聲和背景噪音(例如風(fēng)扇、鍵盤和鼠標(biāo)點(diǎn)擊聲)。

羅技 G 總經(jīng)理 Ujesh Desai 表示：“有了 NVIDIA Maxine，羅技 G 游戲玩家只需單擊一下即可快速輕松地清除麥克風(fēng)信號(hào)和消除不必要的背景噪音。您甚至可以使用 G HUB 測(cè)試麥克風(fēng)信號(hào)，確保已接入 Maxine 設(shè)置。”

騰訊云提高內(nèi)容創(chuàng)作者效率

騰訊云通過(guò)提供 NVIDIA Maxine 技術(shù)，助力內(nèi)容創(chuàng)作者的生產(chǎn)制作，幫助他們輕松快速地添加創(chuàng)意背景。

NVIDIA Maxine 具有 AI 綠屏功能，因此用戶無(wú)需使用傳統(tǒng)的綠屏，即可通過(guò)高質(zhì)量的前景和背景分離打造更加身臨其境的臨場(chǎng)感。將真實(shí)背景分離后，可以輕松地將背景替換為虛擬背景，或進(jìn)行模糊處理營(yíng)造場(chǎng)景深度效果。騰訊云將這種新功能作為軟件即服務(wù)包提供給內(nèi)容創(chuàng)作者。

“NVIDIA Maxine 的 AI 綠屏技術(shù)無(wú)需專用設(shè)備和照明，即可實(shí)現(xiàn)更加身臨其境的高質(zhì)量體驗(yàn)，幫助內(nèi)容創(chuàng)作者創(chuàng)作作品。” 騰訊云音視頻平臺(tái)產(chǎn)品中心總監(jiān) Vulture Li 表示。

提升虛擬體驗(yàn)

NVIDIA Maxine 具有一流的實(shí)時(shí) AI 音頻、視頻和增強(qiáng)現(xiàn)實(shí)功能，可內(nèi)置于可定制的端到端深度學(xué)習(xí)管道中。

Maxine 提供的 AI 驅(qū)動(dòng)的 SDK 可幫助開(kāi)發(fā)者創(chuàng)建應(yīng)用，提供音頻和圖像降噪、超分辨率、視線校正、3D 人體姿態(tài)估計(jì)和翻譯功能。

Maxine 還能將語(yǔ)音實(shí)時(shí)翻譯為文本，而且支持的語(yǔ)種越來(lái)越多。在 GTC 大會(huì)上，NVIDIA 演示了使用 Maxine 在英語(yǔ)、法語(yǔ)、德語(yǔ)和西班牙語(yǔ)之間進(jìn)行互翻。

這些效果將令數(shù)百萬(wàn)人在任意設(shè)備上暢享引人入勝的高品質(zhì)直播視頻。

原文標(biāo)題：GTC22 | NVIDIA Maxine 利用 AI 的強(qiáng)大功能重塑實(shí)時(shí)通信

文章出處：【微信公眾號(hào)：NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

審核編輯：湯梓紅