2019年5月12日,Unity在上海舉行了Unite Shanghai 2019,會上Unity大中華區商務經理肖蓓蓓女士與HTC VIVEPORT中國區負責人謝禮安共同宣布Unity與HTC達成VIVEPORT VR內容分發平臺合作。
謝禮安表示,“從去年開始,HTC便開始與愛奇藝、創維、大朋等一體機達成VIVEPORT平臺合作。截止目前,VIVEPORT平臺用戶基數已有三到四倍的增長,所以我們希望有更多的開發者往VR方向發展,此次與Unity合作,就是給未來開發提供更好的工具,降低分發困難和時間成本。”
在隨后的時間,Vive中國區開發者關系及內容團隊負責人袁東為我們講述了以及Vive平臺的最新技術以及ViveSDK的沉浸式SDK的具體功能。
以下為演講內容整理:
“今天,我想跟大家分享的是Vive的SDK,HTC在全世界能夠制作出世界上最驚艷VR的設備,同樣我們想把最先進的VR技術帶給開發者,讓開發者能制作出更驚艷的內容。在現在社會中,產品的體驗是勝于產品的本身的,為了能有更多沉浸的體驗,以下我將給大家介紹Vive SDK的沉浸四大功能。”
音效
提起VR,大家的第一感受是視覺,其次便是音效體驗。Vive提供的3DSP技術能夠幫助開發者更好的去渲染音效,特別提供高精度的聲音模擬,傳統的錄制過程中會使有兩個麥克風來錄制自然界的聲音,但將這運用到VR中是遠遠不夠的。
其中影響人類聽覺的因素有非常多,除了距離這一因素,其實人的耳廓、耳道,甚至你的衣服的材質都會影響你聲音的體驗,所以我們提供比較高精度的,讓大家在錄制中能夠更有觀感體驗。
Hi-Res 3D是耳機中高保真度的評判標準之一,而我們提供的SDK便采用第三階的Hi-Res。我們以每五度是一個度量單位,并且提供方向設定,同時我們也提供了3D Audio中有物理疊加的體驗,以及聲音衰減等。
例如在虛擬環境中,雙方隔著一堵墻,那么我們可以通過3D Audio模擬出隔絕,聲音阻隔的效果。
混合現實
下面重點介紹一下XR Engine,這個工具是對虛擬和現實世界的感知和理解體現。這個演示的RD,能夠很好的展示我們現階段XR達到的成績,通過HTC Vive Pro的攝像頭,能讓用戶在虛擬現實中看到現實的場景。
RD展示的效果便是在XR狀態下,在現實世界中打開了一個隧道,而這一連接虛擬世界和現實的隧道,可以讓你在這兩個世界來回的走動,而且可以把一個物體從一個世界扔到另一個世界,這個過程還有碰撞的反饋,是不是很像哆啦A夢的夢幻體驗?
如果開發者有一臺Grght Eye和Left Eye的話,那么開發者可以嘗試使用我們提供SEE-Through功能進行開發,這是一個很有趣的過程。
值得一提的是,用戶在使用SEE-Through功能跟真實世界中交互體驗時,我們可以獲取用戶的場景深度信息,這可以輔助開發者做出非常有意思的Demo。
而這一過程所需的便是3D Reconstruction,它能把現實的場景在虛擬中重現,從而重塑一個交互場景。
SRWorks SDK,它的功能就是感知現實世界。我們在做SrworksSDK的時候,主要的方向是為開發者提供更高精度的Mesh。所以我們提供的Mesh是通用的OPG文件,開發者首先做了可以生成OPJ的文件,再將這個打到具體的項目中,這時,開發者就能發現它有許多非常優秀的屬性可以幫助你進行開發。
當你在使用設備掃描場景時,就SrworksSDK會讀取物品的形狀。而你只要根據這些信息,去設計有趣的內容就行了。也就是說我們可以實時的掃出整個世界,每一楨的疊加,可以真實的和世界做互動,這樣你就可以實時的做一些反饋,這個非常有意思。
要做到實時反饋,便需要AI.Vision,它是你的AI認知工具。我們可以通過學習,將攝像頭前面的物體進行感知識別。2D的方面它能識別9類的物體,舉例說明,當你在VR中玩《Beat Saber》的時候,有人走到你面前,這時Vision就會有提醒的在畫面中給予提醒,以此避免發生一些危險的事情。
交互
我相信大家很多人,在第一次體驗VR的內容中,可能第一個內容可能是深海奇遇,當你站再一個沉浸甲板的時候,你可能看到海底混沌海水的時候,你第一個反應是伸出雙手感知世界,這是人跟世界最自然的一種接觸,就是通過雙手。
我們北京的研究團隊一直致力于這種交互的研究,這一交互系統,可以在MR環境下提供最基本的左手跟右手的識別,我們在一基礎上定義了五種手勢,未來也會有更多的手勢可以識別出來。此外它能夠提供手的骨骼信息(2D、3D),大約有21個點。
這是我們一個工程師在演示Demo,他的雙手被識別出來,而且每個手的關節,21個點清晰的識別出來,而且是實時的。我們單個攝像頭提供3D信息,是有一點困難,所以暫時使用Vive,是不支持3D的信息捕捉。此外,移動設備VIVE FOCUS,因為一體機算力的受限,目前也沒法達到這一效果,但在未來,我們也會提供勢骨骼捕捉支持。
我們的SDK支持最流行的Native Library、Java AAR Plugin等,這些工具都可以開發出內容。我們有一個應用叫VivePaper,通過這個應用可以利用手勢,用最自然的方式讀你想要看的雜志和書籍。
為了讓開發者更加清楚的了解用戶的行為,我們設計了SRAnipal工具。這是Eye tracking(眼球追蹤技術),這個技術可以能追蹤開發者眼球注視的點。這時,我們可以通過SRAnipal來清楚的了解到用戶在內容體驗的整個過程中所關注的點。
此外我們支持Lip tracking(嘴唇捕捉),通過外置設備我們可以通過嘴唇來識別出不同的表情。同時還有Movement tracking(運動追蹤)和shape tracking(形狀捕捉),我相信聽到這里在座的人應該會很開心,因為我們正在朝著《黑客帝國》的方向發展。
SRanipal,我們想感知用戶的表達,還有預測他,現在我們能夠提供的是Movement tracking和shape tracking,我相信在座的人應該很開心,像《黑客帝國》,我們朝著這個一步一步做。未來會我們還會識別出更多的自然界的形態,包括光照。例如開燈、關燈,光照燈源的方向等,將環境中的信息,反饋到XR中。
WAVE平臺
下面我向大家介紹ViveWAVE平臺,現在市面有400個不同的平臺和不同種類的VR設備。對于開發者來講,這么多的設備,他們就會有很多的抱怨,相信不少開發者都有做內容Porting(移植)的煩惱,尤其做安卓的開發者。因為業界缺乏這樣的標準,所以我們的WAVE平臺很希望能成為像Unity一樣的多平臺支持,可以不用很多的優化,你只需要關注的就是把你的精力用在創造更加驚艷的內容上,這是我們的愿望和夢想。
這是WAVE的Scope,如果你是第三方的兼容硬件的開發者,你可以用DEVICE MAKER,做開發。這個是WAVE的DIAGRAM,它是一個Base在安卓的平臺上,但是是可以安裝的平臺,只要你是符合我們標準的安卓的設備,就可以安裝WAVE。
值得一提的是,WAVE的Main Features是高階的開發工具。使用Single pass rendering 以后,能夠實現雙眼的楨級渲染。畫面的渲染會以用戶的注視點來進行取舍,以高分辨率去渲染關注點,而用戶沒有關注到的畫面會以一個比較低的分辨率來進行渲染。
通過以上所述的SDK和VIVEPORT兩種方式,可以幫助用戶生成最后的content,且這一結果不會受到盜版的影響。
我的分享就到這里,非常感謝大家對Vive還有VIVEPORT的支持,在此也呼吁大家通過developer.vive.com去下載我們的開發平臺。到時,我們都會有專家的解答和及時的解答。
-
VR技術
+關注
關注
2文章
226瀏覽量
18783 -
SDK
+關注
關注
3文章
1042瀏覽量
46077 -
VIVE
+關注
關注
0文章
38瀏覽量
15983
原文標題:【技術干貨】Vive SDK四大功能詳解
文章出處:【微信號:vrtuoluo,微信公眾號:VR陀螺】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論