光輪智能借助NVIDIA Isaac Sim,通過(guò) 3D 生成與建模技術(shù)構(gòu)建高度逼真的虛擬場(chǎng)景,將現(xiàn)實(shí)世界的復(fù)雜場(chǎng)景抽象并轉(zhuǎn)化為高質(zhì)量的訓(xùn)練數(shù)據(jù)源,從而更有效地滿(mǎn)足模型的多樣化訓(xùn)練需求。
AI 正從以算法為中心向以數(shù)據(jù)為中心的時(shí)代演進(jìn)。高質(zhì)量且豐富的訓(xùn)練數(shù)據(jù),已成為推動(dòng)創(chuàng)新的核心資源。特別是在具身智能應(yīng)用中,數(shù)據(jù)的稀缺極大限制了模型能力的提升和潛在應(yīng)用的拓展。傳統(tǒng)數(shù)據(jù)采集方式成本高昂、耗時(shí)漫長(zhǎng),例如谷歌的 RT1 和 RT2 項(xiàng)目共使用了 13 臺(tái)機(jī)器人,耗時(shí) 17 個(gè)月才完成數(shù)據(jù)收集,顯然難以支撐具身智能的發(fā)展需求。
因此,構(gòu)建數(shù)據(jù)金字塔已成為突破數(shù)據(jù)瓶頸的關(guān)鍵。數(shù)據(jù)金字塔的根基由海量的非結(jié)構(gòu)化網(wǎng)絡(luò)數(shù)據(jù)組成,頂端由采集成本高昂的少量真實(shí)數(shù)據(jù)構(gòu)成,有利于智能體高效且直接地進(jìn)行知識(shí)遷移。合成數(shù)據(jù)的加入填補(bǔ)了前兩者間的空缺,在采集成本、可泛化性與知識(shí)遷移方面擁有明顯優(yōu)勢(shì)。真實(shí)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)與合成數(shù)據(jù)相互補(bǔ)充,共同構(gòu)建了具身智能體訓(xùn)練的堅(jiān)實(shí)基礎(chǔ)。合成數(shù)據(jù)的引入不僅有效降低了數(shù)據(jù)采集成本,還通過(guò)高度擬真的物理模擬,提供了強(qiáng)大的泛化能力,為智能體在多樣化場(chǎng)景中的應(yīng)用打下基礎(chǔ)。
打造高質(zhì)量、可交互、可擴(kuò)展的
具身智能仿真資產(chǎn)庫(kù)與仿真訓(xùn)練平臺(tái)
具身智能的關(guān)鍵目標(biāo)之一是實(shí)現(xiàn)高度的通用性,使智能體能夠在復(fù)雜場(chǎng)景中靈活執(zhí)行多種任務(wù)。這種泛化能力的實(shí)現(xiàn)要求智能體具備對(duì)空間的深度認(rèn)知,包括實(shí)時(shí)理解與適應(yīng)環(huán)境中物體的位置、關(guān)系及動(dòng)態(tài)變化。相較于傳統(tǒng)的任務(wù)特定型智能體,具身智能體必須在陌生環(huán)境中迅速識(shí)別并推理出空間結(jié)構(gòu)、時(shí)序事件及其相互關(guān)系,以有效適應(yīng)任務(wù)。
NVIDIA Isaac Sim 為光輪智能生產(chǎn)合成數(shù)據(jù)提供了強(qiáng)大支持。Isaac Sim 通過(guò)物理驅(qū)動(dòng)的虛擬環(huán)境,支持智能體算法的設(shè)計(jì)、模擬與測(cè)試。借助NVIDIA PhysX 5高級(jí) GPU 物理模擬技術(shù),平臺(tái)實(shí)現(xiàn)了實(shí)時(shí)光線和路徑追蹤的逼真效果,并通過(guò) MDL 材料定義支持物理渲染,使開(kāi)發(fā)者能夠基于通用場(chǎng)景描述(OpenUSD)構(gòu)建自定義模擬器,提供真實(shí)的物理反饋和高度還原的交互體驗(yàn)。同時(shí),平臺(tái)還支持多種開(kāi)放標(biāo)準(zhǔn)和格式,如 USD、FBX、OBJ 等,便于用戶(hù)導(dǎo)入和導(dǎo)出不同的 3D 模型和場(chǎng)景。
光輪智能基于 Isaac Sim 構(gòu)建的合成數(shù)據(jù)解決方案,能夠高效提升具身智能公司的模型能力。光輪智能已積累了豐富的 OpenUSD 格式場(chǎng)景資產(chǎn),支持任務(wù)級(jí)、物體級(jí)、場(chǎng)景級(jí)的物理可交互資產(chǎn)、數(shù)據(jù)的可控生成與泛化,并基于驗(yàn)證平臺(tái)進(jìn)行合成數(shù)據(jù)真實(shí)性和效用性的評(píng)測(cè)。
案例 1. 交互過(guò)程的物理參數(shù)隨機(jī)化與動(dòng)態(tài)真實(shí)性
使用高質(zhì)量、可泛化的
合成數(shù)據(jù)助力模型性能提升
基于“Real2Sim2Real+Realism Validation”的核心技術(shù)棧,光輪智能推出基于 3D 混合渲染,具有物理真實(shí)、高度交互的合成數(shù)據(jù)產(chǎn)線及以數(shù)據(jù)為中心的端到端智能體算法解決方案。光輪智能旨在利用合成數(shù)據(jù)放大人類(lèi)示范效用,通過(guò)閉環(huán)仿真加速 Self-play RL,加速具身智能落地。
光輪智能的仿真框架使用基于 3DGS 技術(shù)重建的場(chǎng)景,并通過(guò)場(chǎng)景資產(chǎn)的混合渲染,顯著提升了訓(xùn)練場(chǎng)景的泛化能力。同時(shí),真實(shí)的物理引擎能提供準(zhǔn)確的反饋,助力模型實(shí)現(xiàn)更高效的知識(shí)遷移。高質(zhì)量的仿真框架支持光輪智能在模型訓(xùn)練方面積極創(chuàng)新,通過(guò)在仿真器中直接訓(xùn)練等方式,進(jìn)一步提升模型性能。
案例 2. 場(chǎng)景和物體元素的隨機(jī)泛化
案例 3. 3D 混合渲染用于具身智能模型訓(xùn)練與評(píng)測(cè)
光輪智能致力于為企業(yè)推動(dòng) AI 落地提供合成數(shù)據(jù)解決方案,重點(diǎn)從具身智能場(chǎng)景切入,結(jié)合生成式 AI 和仿真技術(shù),提供多模態(tài)、高質(zhì)量、可泛化、可擴(kuò)展、全鏈路的數(shù)據(jù),助力 AI 在真實(shí)世界部署,加速具身智能行業(yè)發(fā)展。
-
NVIDIA
+關(guān)注
關(guān)注
14文章
4986瀏覽量
103055 -
模型
+關(guān)注
關(guān)注
1文章
3243瀏覽量
48840 -
具身智能
+關(guān)注
關(guān)注
0文章
43瀏覽量
53
原文標(biāo)題:借助 NVIDIA Isaac Sim,光輪智能加速具身智能研發(fā)落地
文章出處:【微信號(hào):NVIDIA-Enterprise,微信公眾號(hào):NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論