由 Metropolis 驅(qū)動的全新 NVIDIA AI Blueprint 可助力企業(yè)和個人提高生產(chǎn)力、增強(qiáng)安全性，甚至還能幫助 NVIDIA 首席執(zhí)行官提升快球投球水平。

AI 的下一個重大時刻即將到來——確切地說，是 “看得見” 的時刻。

如今，全球共部署超過 15 億臺企業(yè)級攝像頭，每年生成約 7 萬億小時的視頻。然而，僅有其中一小部分得到了分析。

據(jù)估計(jì)，工業(yè)攝像頭拍攝的視頻中，僅有不足 1% 會被人類實(shí)時觀看，這意味著關(guān)鍵運(yùn)營事件可能在很大程度上被忽視。

這種忽視帶來了高昂的代價。例如，制造商每年因產(chǎn)品質(zhì)量欠佳或存在缺陷，會損失數(shù)萬億美元，然而，通過能夠感知、分析并幫助人類采取行動的 AI 智能體，這些問題可以被提早發(fā)現(xiàn)，甚至被提前預(yù)測。

具備內(nèi)置視覺感知能力的交互式 AI 智能體可以充當(dāng)始終在線的視頻分析師，幫助工廠更高效地運(yùn)轉(zhuǎn)，增強(qiáng)工人安全保障，維持交通順暢，甚至可以提升運(yùn)動員的競技水平。

為了加速此類智能體的創(chuàng)建，NVIDIA 宣布用戶可提前訪問用于視頻搜索與總結(jié)的新版NVIDIA AI Blueprint。該藍(lán)圖基于NVIDIA Metropolis平臺構(gòu)建，如今借助NVIDIA Cosmos Nemotron視覺語言模型 (VLM)、NVIDIA Llama Nemotron大語言模型 (LLM) 以及NVIDIA NeMo Retriever的強(qiáng)大能力，為開發(fā)者提供了構(gòu)建和部署能夠分析大量視頻和圖像內(nèi)容的 AI 智能體的工具。

該藍(lán)圖集成了NVIDIA AI Enterprise軟件平臺，其中包括用于 VLM、LLM 的NVIDIA NIM微服務(wù)、以及用于檢索增強(qiáng)生成的高級 AI 框架，以實(shí)現(xiàn)比實(shí)時觀看快 30 倍的批量視頻處理。

該藍(lán)圖包含多種代理式 AI 功能，如思維鏈推理、任務(wù)規(guī)劃和工具調(diào)用，可以幫助開發(fā)者更簡化地創(chuàng)建強(qiáng)大且多樣的視覺智能體，解決各種問題。

具備視頻分析能力的 AI 智能體可以與其他擁有不同技能的智能體相結(jié)合，以實(shí)現(xiàn)更復(fù)雜的代理式 AI 服務(wù)。企業(yè)可以靈活地從邊緣到云端構(gòu)建和部署自己的 AI 智能體。

視頻分析 AI 智能體

如何助力工業(yè)企業(yè)

具備視覺感知和分析技能的 AI 智能體可通過以下方式經(jīng)過微調(diào)，助力企業(yè)進(jìn)行工業(yè)運(yùn)營：

提高生產(chǎn)力并減少浪費(fèi)：智能體可以幫助確保在產(chǎn)品組裝等復(fù)雜工業(yè)流程中遵循標(biāo)準(zhǔn)操作程序。經(jīng)過微調(diào)，它們還可以仔細(xì)觀察和理解細(xì)微的動作及其執(zhí)行順序。

通過優(yōu)化空間利用來提高資產(chǎn)管理效率：智能體可以通過 3D 體積估算，并整合不同攝像頭的信息流，來幫助優(yōu)化倉庫中的庫存存儲。

通過自動生成事故報(bào)告和總結(jié)來提高安全性：智能體可以處理大量視頻，并將其總結(jié)為內(nèi)容詳實(shí)的事故報(bào)告。它們還可以幫助確保工廠中個人防護(hù)裝備的合規(guī)使用，提高工業(yè)環(huán)境中的工人安全。

預(yù)防事故和生產(chǎn)問題：無論是在倉庫、工廠、機(jī)場，還是在交通路口或其他市政場所，AI 智能體都可以識別異常活動，快速降低運(yùn)營和安全風(fēng)險。

從過去汲取經(jīng)驗(yàn)：智能體可以搜索運(yùn)營視頻檔案，從過去的資料中找到相關(guān)信息，并利用這些信息來解決問題或創(chuàng)建新流程。

用于體育、娛樂等領(lǐng)域的視頻分析工具

視頻分析 AI 智能體還將在體育產(chǎn)業(yè)發(fā)揮重要作用。體育產(chǎn)業(yè)在全球擁有規(guī)模達(dá) 5000 億美元的市場，預(yù)計(jì)未來幾年還將有數(shù)千億美元的增長。

無論是職業(yè)還是業(yè)余的教練、球隊(duì)和聯(lián)賽，都依賴視頻分析來評估和提升球員表現(xiàn)，在優(yōu)先考慮安全性的基礎(chǔ)上，通過球員分析平臺和數(shù)據(jù)可視化來提高球迷的參與度。借助具備視覺感知能力的 AI 智能體，運(yùn)動員如今能夠比以往更加深入地了解自身水平，并獲得更多提升機(jī)會。

在 CES 主題演講中，NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛展示了一款 AI 視頻分析智能體，該智能體將一名業(yè)余棒球運(yùn)動員的快球投球技巧與專業(yè)球員進(jìn)行對比評估。通過對黃仁勛為舊金山巨人隊(duì)投擲的開球視頻進(jìn)行分析，該視頻分析 AI 智能體能夠從而給出改進(jìn)建議。

規(guī)模達(dá) 3 萬億美元的媒體和娛樂行業(yè)也有望通過視頻分析 AI 智能體受益。通過 NVIDIA Media2 計(jì)劃，這些智能體將推動創(chuàng)造更智能、更貼合需求且更具影響力的內(nèi)容，以適應(yīng)個人觀眾的喜好。

全球范圍內(nèi)的應(yīng)用與可用性

來自世界各地的合作伙伴正在將構(gòu)建視頻分析 AI 智能體的藍(lán)圖融入他們的開發(fā)者工作流，其中包括埃森哲、Centific、德勤、安永、Infosys、Linker Vision、Pegatron、塔塔咨詢服務(wù)公司 (TCS)、Telit Cinterion 和 VAST。