Move.ai 的動作捕捉擴展程序,可免費為 3D 藝術(shù)家和開發(fā)者提供可用于其創(chuàng)作流的無標記動作數(shù)據(jù)。
創(chuàng)建動畫數(shù)據(jù)既費錢又耗時,但基于全新的 Move.ai Omniverse 擴展程序,任何人都可以利用手機拍攝的視頻,生成高保真動作數(shù)據(jù)。
該擴展程序可作為 Move.ai 動作資產(chǎn)數(shù)據(jù)庫的插件。基于此擴展程序,用戶只需點擊一下頁面就可將相關(guān)數(shù)據(jù)導入 NVIDIA Omniverse,并且能輕松地將所生成的動畫重定位于角色之上,并將其與 Autodesk Maya 中的裝備或游戲引擎(如 UE 虛幻引擎和 Unity)中的場景相連接。
Move.ai 合作關(guān)系和交付主管 Niall Hendry 表示:“我們相信,NVIDIA Omniverse 正在開拓一條通往‘創(chuàng)建廣闊虛擬世界’的道路。人體動作對于數(shù)字體驗和虛擬環(huán)境的開發(fā)和落地而言至關(guān)重要。”
Move.ai 與 Omniverse 相連接后,其動作數(shù)據(jù)可通過一系列軟件生態(tài)系統(tǒng)實現(xiàn)共享,可幫助該公司開拓新受眾。該擴展程序還支持用戶無需為每個實例構(gòu)建對應(yīng)插件,即可與其他軟件實例交叉連接。例如,Omniverse 用戶可以將基于 Move.ai 生成的動畫,應(yīng)用于其他擴展程序(如 in3D 等)所生成的角色之上。
Move.ai 擴展程序的構(gòu)建過程
為了構(gòu)建該擴展程序,Move.ai 的開發(fā)人員 Denis Cera,使用了 Omniverse Kit 中基于 Python 的 SDK,并參考了創(chuàng)建 Omniverse 擴展程序的視頻教程以及 Omniverse Kit 文檔。
為創(chuàng)建用戶界面(UI),Cera 添加了一個 [VGrid] 至 [ScrollingFrame] 中,并利用圖像預(yù)覽對動畫進行了填充。此外,他還為每張圖片創(chuàng)建了一個按鈕,用戶只需點擊按鈕就可將其導入相應(yīng)的動畫。
在創(chuàng)建用戶界面后,Cera 還給按鈕配置了參數(shù)各異的不同函數(shù)。具體方法如下:
```python
button = ui.Button(
text="Import motion",
name=motion["title"],
alignment=ui.Alignment.RIGHT,
width=0,
height=0,
asset_path=self.asset_path,
clicked_fn=partial(
download_motion,
Path(self.asset_field.model.get_value_as_string()),
motion["title"],
)
```
用戶界面中的每個按鈕都有相應(yīng)的函數(shù),并且該函數(shù)還有對應(yīng)的一組參數(shù),如下載路徑、動畫名稱等。因此,用戶可以點擊不同的按鈕來執(zhí)行不同的操作或完成不同的動作。
Omniverse 平臺基于通用場景描述(USD)構(gòu)建,吸納了其能在不同工具實現(xiàn)內(nèi)容互換的特點,但 Move.ai 的 API 目前只支持用戶訪問 FBX(Filmbox)數(shù)據(jù)。幸運的是,Omniverse 擁有一個內(nèi)置 converter,可將 `.fbx` 文件轉(zhuǎn)換為 `.usd` 文件,用戶還可以直接使用該 converter,或者直接導入 `.fbx` 文件至 Omniverse 中進行自動轉(zhuǎn)換。
為將`.fbx`數(shù)據(jù)導入 Omniverse,Move.ai 的開發(fā)者使用了 `CreateReferenceCommand` 來直接引用 `.usd`格式的`.fbx`文件,該文件可在其 `moveai.assets.extension.utils.import_file_to_scene()`函數(shù)中找到:
```python
def import_file_to_scene(usd_path: Path):
stage = omni.usd.get_context().get_stage()
if not stage:
return
name = usd_path.stem
prim_path = omni.usd.get_stage_next_free_path(stage, "/" + name, True)
omni.kit.commands.execute(
"CreateReferenceCommand", path_to=prim_path, asset_path=str(usd_path), usd_context=omni.usd.get_context()
)
```
用戶可利用 `moveai.assets.extension.utils.convert_asset_to_usd()` 函數(shù),將文件直接轉(zhuǎn)換為 `.usd` 格式。
Hendry 表示:“最終,USD 將會成為元宇宙應(yīng)用的行業(yè)標準。與 NVIDIA 合作,可幫助快速實現(xiàn)我們與 USD 交換范式的整合。”
任何人都可以在 GitHub 上使用 Move.ai 擴展程序的源代碼(詳情請見:https://github.com/move-ai/omniverse-public-asset-library)。
實現(xiàn)高質(zhì)量動作數(shù)據(jù)訪問的自主化
Move.ai 旨在降低高保真動作捕捉和動畫數(shù)據(jù)的使用門檻。基于 Omniverse,用戶只需輕松點擊一下,就能訪問 Move.ai 的高質(zhì)量動作數(shù)據(jù)庫。
Move.ai 與 Omniverse 相連有助于其授權(quán)團隊自發(fā)地在創(chuàng)意社區(qū)發(fā)布免費動畫的 Motion Packs,可賦能用戶在其項目中輕松使用動作數(shù)據(jù)。未來,用戶還能將其自有數(shù)據(jù)導入 Omniverse。
Move.ai 的手機應(yīng)用程序?qū)⒂诮衲?3 月上架,屆時任何人都可以下載使用,您還可以在“www.move.ai”上報名參加該應(yīng)用的公測。如需下載該 Omniverse 擴展程序,請參見:https://docs.move.ai/nvidia-omniverse-extension。
請觀看以下視頻講解,了解該擴展程序的使用方法:
如需進一步了解“如何構(gòu)建 Omniverse 應(yīng)用、擴展程序和微服務(wù)”,您可以注冊 NVIDIA GTC 大會(人工智能和元宇宙時代的開發(fā)者大會),并觀看大會期間的 Omniverse 分會。Move.ai 將與眾多的初創(chuàng)企業(yè)及行業(yè)的領(lǐng)導者一起共同推動元宇宙的發(fā)展,并且該公司將于 GTC 大會進行相關(guān)展示。
Move.ai 是 NVIDIA 初創(chuàng)加速計劃成員,該計劃旨在為全球 13000 多家尖端初創(chuàng)企業(yè)提供支持,企業(yè)可訪問以下鏈接申請成為其中的一員。
您可以訪問 Omniverse 資源中心的文檔和教程,了解開發(fā)者如何基于 Omniverse 平臺構(gòu)建基于 USD 的應(yīng)用和擴展程序。
點擊 “閱讀原文” 或掃描下方海報二維碼,即可免費注冊 GTC23,在 3 月 24 日 聽 OpenAI 聯(lián)合創(chuàng)始人與 NVIDIA 創(chuàng)始人的爐邊談話,會議將由 NVIDIA 專家主持,配中文講解和實時答疑,一起看 AI 的現(xiàn)狀和未來!
原文標題:如何利用手機捕捉高質(zhì)量的動作數(shù)據(jù)并將其導入 Omniverse 平臺
文章出處:【微信公眾號:NVIDIA英偉達企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
-
英偉達
+關(guān)注
關(guān)注
22文章
3815瀏覽量
91492
原文標題:如何利用手機捕捉高質(zhì)量的動作數(shù)據(jù)并將其導入 Omniverse 平臺
文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論