AI 為計算領域帶來了深遠的改變。雖然最近的焦點是生成式 AI,但多年來,由 NVIDIA RTX 提供支持的 AI 加速工具也在改善游戲、內容創作和工作效率方面起到了關鍵作用。
NVIDIA Broadcast 應用程序就是一個例子,它可使用本地 RTX GPU 上的 Tensor Core 不間斷地提升音頻和視頻質量。通過將這款應用與 GeForce RTX 和 NVIDIA RTX GPU 內置的 NVIDIA 編碼器(NVENC)搭配使用,您可輕松上手直播,或在視頻會議通話中盡展專業風范。
助力實現“直播夢”
一直以來,要實現高質量的直播,就離不開昂貴硬件的支持。許多主播常用 x264 軟件庫的軟件 CPU 編碼,而這通常會影響游戲體驗。這便導致許多主播使用雙 PC 設置:一臺 PC 專注于游戲和內容,另一臺負責視頻編碼與串流。這種設置組裝起來很復雜,還很難進行故障排除,而且其價格對于新人主播來說通常過于高昂。
NVENC 可應對上述問題。它是 NVIDIA GPU 上的專用硬件視頻編碼器,負責處理視頻編碼,以便釋放系統的其余資源來專注于游戲和內容的性能。Open Broadcaster Software(OBS)等行業領先的直播應用正在添加對 NVENC 的支持,為虎牙和 Bilibili 等熱門平臺上的新一代主播鋪平道路。
同時,NVIDIA Maxine 還可幫助解決設備昂貴的問題。它包含免費的 AI 增強功能,例如虛擬綠幕和基于網絡攝像頭的增強現實追蹤。有了這些功能,用戶便無需使用物理綠幕或動作捕捉套件等特殊設備。主播們曾在 2019 年的 TwitchCon 大會上首次體驗到了上述綠幕技術,他們使用 GeForce RTX 2080 GPU 上的 AI 加速綠幕,在展廳中現場測試了該綠幕在 OBS 上的效果。
Maxine 的 AI 賦能效果最初在 RTX Voice 測試版中向 RTX 用戶開放,隨后又在名為 NVIDIA Broadcast 的獨立應用中提供。
探索 NVIDIA Broadcast
NVIDIA Broadcast 提供各類 AI 增強功能,可提升各種用例中的音頻和視頻質量。它易于使用,適用于任何其他應用,而且設置起來非常簡單。
這款應用包含:
噪音和回聲移除:只需點擊一個按鈕,即可讓 AI 消除麥克風和輸入音頻中多余的背景噪聲。
虛擬背景:通過背景去除、替換和模糊處理等功能,用戶無需使用價格不菲的設備或復雜的照明布置即可自定義背景。
目光接觸:AI 可讓主播看起來像是在直視攝像頭,即使他們正在看向別處或記筆記。
自動聚焦:實時動態追蹤對象的移動,無論移動對象位于何處,均可自動裁剪和縮放畫面,以跟拍對象。
虛光效果:AI 可對攝像頭圖像的角落應用暗化效果,以提供鮮明的視覺對比,從而將觀眾的注意力吸引到視頻中央,同時增添風格特色。
視頻降噪:消除弱光環境下的視頻噪點,使畫面更清晰。
NVIDIA Broadcast 技術的工作原理是在 Windows 中創建虛擬攝像頭、麥克風或揚聲器,這樣用戶只需設置一次設備即可在任何直播、視頻會議或語音聊天應用(包括 Microsoft Teams、OBS Studio、Slack、騰訊會議、釘釘等)中使用這些設備。
NVIDIA GeForce RTX、TITAN RTX、NVIDIA RTX 或 Quadro RTX GPU 用戶可使用其 GPU 專用的 Tensor Core 協助 NVIDIA Broadcast 的 AI 網絡實時運行。
NVIDIA Broadcast 技術中的所有 AI 賦能技術也能以軟件開發套件的形式提供給應用開發者。視聽技術公司 Elgato 在其 Wave Link 軟件中添加了 Maxine 的 AI 音頻噪聲移除技術,而 VTube Studio(一款熱門應用,用于將 3D 模型連接到網絡攝像頭,以便使用動畫角色進行直播)則提供了可以免費下載的經 RTX 加速的模型追蹤器插件。獨立開發者 Xaymar 在其 VoiceFX 插件中使用了 NVIDIA Maxine。
在使用 Adobe Premiere Pro 等視頻編輯套件或 Ableton Live 及 Adobe Audition 等數字音頻工作站進行后期處理時,內容創作者可以使用 VoiceFX 插件或 Elgato 的虛擬工作室技術(VST)過濾器消除錄制內容中的噪聲和回聲。
耳聽(未必)為實
自 NVIDIA Broadcast 發布以來,已有數百萬人使用了這款應用。
對于日益增多的遠程工作人員來說,NVIDIA Broadcast 應用也是一款實用的工具。Tom’s Hardware 網站的總編 Avram Piltch 在一篇文章中詳細介紹了他對這款應用的降噪功能的測試,測試對象包括呼呼作響的空調、修剪草坪的鄰居,乃至一個發脾氣揮舞著機器人的孩子。NVIDIA Broadcast 的 AI 音頻效果每次都能大顯神通。
Piltch 表示:“我讓我八歲的孩子在我身后假裝發脾氣,當我啟用噪聲移除功能后,每一聲‘我不去睡覺’的抱怨都消失了(至少在錄制內容中是這樣)。為了增加挑戰性,我們讓他一邊發脾氣,一邊拿著一輛嗡嗡作響的機器人汽車走來走去。這一次,NVIDIA Broadcast 依然移除了所有多余的聲音。”
NVIDIA Broadcast 的 AI 賦能背景去除功能也可以在日常情境中發揮作用,例如與醫療專業人員進行視頻通話。
歡迎在任何搭載 RTX 的臺式電腦或筆記本電腦上免費下載 NVIDIA Broadcast。
-
編碼器
+關注
關注
45文章
3662瀏覽量
135010 -
cpu
+關注
關注
68文章
10898瀏覽量
212569 -
NVIDIA
+關注
關注
14文章
5069瀏覽量
103473 -
AI
+關注
關注
87文章
31399瀏覽量
269804
原文標題:噪音消除:NVIDIA Broadcast 強效助力直播和遠程工作
文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論