10月16日,深圳市歡創科技有限公司(以下簡稱:歡創科技)發布了基于視覺與慣性傳感定位技術的VR手柄套件Camsense XR,能實現VR/AR單目視覺6DoF追蹤。據了解該公司在視覺領域深耕多年,套件定位效果絲毫不亞于Oculus等主流產品。
“國內的Inside-out技術迭代,或許在一到兩年內都很難趕超Quest。”就在之前Quest2的發布會結束不久,陀螺君在和某從業者閑聊時得到了這樣的答案。
從頭控到如今的6DoF,VR硬件的迭代發展正推動著內容生態的急劇進化。基于視覺的Inside-out追蹤系統,為PC VR熱門游戲《Beat Saber》、《SuperHot VR》提供了移植的可能性,更是促使涌現出一大批具有極高辨識度和玩法創新的移動游戲佳作。
不得不說,在VR行業發展初期,底層技術的發展離不開Facebook、微軟、索尼等這些一眾大廠的重金推動。而作為現今移動VR游戲的標配,Inside-out追蹤系統也成為了大廠們底層技術生態中的最強盾牌。 在國內,基于視覺的Inside-out追蹤系統依舊處在萌芽期,各家廠商都在積極探索和落地與視覺搭配使用的,基于電磁和超聲波的其他追蹤方案,而算法層面的薄弱問題幾乎成為了阻礙國內Inside-out追蹤系統發展的最大攔路虎。
那么,國內有沒有一家企業對于Inside-out視覺追蹤算法有著更為深入的探索? 此次VR陀螺到場體驗了該產品,并采訪到歡創科技CEO周琨,了解到該產品背后的淵源與背景。
定位效果媲美Quest?Camsense XR實現單目視覺6DoF追蹤
雖然國內從事VR頭顯研發的企業層出不窮,但專注于6DoF手柄方案的企業卻鳳毛麟角。在手柄方案中,又可分為可見光、紅外、激光、電磁等不同方案的產品。每一種方案都有其不同的優缺點,如可見光對光線環境有要求,且攝像頭范圍外無法捕捉;激光方案需要避免反光鏡面;電磁易被金屬干擾等。
區別于以上所有定位方案,Camsense XR采用了視覺追蹤+慣性傳感方案,并且是極其少有的支持單目6DoF的追蹤方案。其主要應用于VR頭顯的手柄定位追蹤,結合頭部與手柄兩端實現精準定位,可適配不同的頭顯設備。
整套方案由搭載兩個攝像頭的視覺定位模組以及兩個6DoF手柄構成,由于該方案核心在于軟件算法所呈現出來的定位效果,所以手柄的工業設計可根據頭顯廠商進行定制,而攝像頭定位模組也可在頭顯設計時完全融入到產品中。
從參數來看,Camsense XR可實現距離1米、水平170°&垂直98°的6DoF追蹤,定位精度動態條件下小于3mm,靜態條件下約1mm,運算延遲低于10ms。
從市場上主流的VR頭顯來看,Inside-out已經成為主流的追蹤方案,并且大多采用視覺定位追蹤。如果是純視覺定位的話,其缺點在于對于環境要求較高,并且當手柄移動到捕捉范圍外時非常容易丟失,所以需要靠算法進行補償。
而Camsense XR的優勢在于,視覺追蹤+慣性傳感兩者混合,當手柄位于攝像頭追蹤范圍外時,可通過慣性傳感進行補償,同時結合算法,實現穩定流暢的手柄追蹤效果。視覺追蹤技術與慣性傳感器一樣都已經在其他領域廣泛應用,具備較高的成熟度和穩定性。
VR陀螺在現場測試了該產品的性能和效果,并對效果進行了實時錄制拍攝。 在攝像頭追蹤范圍內快速移動手柄,幾乎感覺不到任何延時; VR體驗的核心在于沉浸感以及更本能的交互方式,所以在一些體驗中會有大幅度的手部動作交互,如拉弓射箭、扔手榴彈、跳舞、繪畫等,在這些場景中往往手的動作會跳出攝像頭的捕捉范圍。如果手柄漂移、丟失或者延時高、反饋慢的話,體驗將大打折扣,游戲的話甚至直接影響比分結果。在Camsense XR實測過程中,當手臂大幅度揮動時,在回到視角范圍內的瞬間,手柄也隨之出現,重定位算法可以在1ms之內完成手柄姿態的初始化定位,非常及時。
除了測試了以上兩個部分之外,VR陀螺還現場測試了該套件的另一個功能——單目6DoF追蹤。一般來說正如人眼一樣,空間定位也需要兩個攝像頭來檢測深度,在一個攝像頭的條件下能否進行精準的定位追蹤?答案是可以的。 如視頻中所示,在一個攝像頭被遮擋的情況下,追蹤的精度以及延時、響應速度絲毫未受影響。
深耕多年,Camsense死磕性能與成本
之所以能夠實現如此精準的定位追蹤,不僅與歡創這家公司自身的積累有關,同時也在于產品定義和設計細節。 歡創科技成立于2014年,專注于高精度定位傳感器研發,創始人之一周琨是清華大學本科和碩士,在計算機視覺空間定位與人機交互領域擁有十多年研究經驗,擁有20多項國際和國家發明專利。
雖然歡創科技成立時間并不長,但該公司至今已申請32項發明專利、4項已經得到授權,其中1項發明專利剛獲得美國專利局授權。歡創科技擁有完全自主知識產權的核心算法以及芯片。在這樣的團隊背景和底氣下,歡創科技運用核心算法——單目視覺定位,針對同領域進行算法的硬核化,形成了多條業務線,覆蓋了包括機器人、工業/醫療和VR/AR等領域。在機器人領域,其研發的基于ASIC芯片的單目視覺激光雷達被應用在諸多掃地機器人品牌上,在9月份單月出貨量超過了10萬臺,從默默無聞縱身一躍成為行業頭部供應商。另一款產品Camsense M Pro則用于工業、醫療等領域。如無人機測試,通過一套由多個單目相機組成的定位系統,檢測無人機飛行的空間坐標軌跡以及穩定性。
當談及歡創科技為何會關注VR時,周琨表示非常看好VR/AR的發展趨勢,其實早在2015年前后公司就在關注VR行業,一直在做技術儲備。 “我們堅持的一個基本前提是對VR行業長期看好的,并相信這個行業會得到很大的發展。這一點從Oculus和微軟等廠商對于VR行業近幾年的布局動作就可以看出來,如果不是朝陽行業,這些公司是不會在上面投入的。”
在堅定了VR的方向后,歡創科技將目光放在了手柄定位上,周琨提到,目前全球VR硬件企業中,擁有單目6DoF定位視覺追蹤技術的企業屈指可數。也正是考慮到未來有龐大的市場空間,所以反而在這條賽道上機會更大。 在這套方案的設計中,周琨也提到了諸多細節方面,比如選擇了主動光源而非被動光源。“主動光源的好處是不會受光線明暗的影響,也不會受周圍環境的本身紋理復雜程度的影響。即使在一個純白的環境,也可以進行追蹤。”
外觀設計上,采用了常見的環形外觀,整體體積相比同類產品縮小不少。手柄上主動發光點分布于圓環各處,便于精準追蹤。 在手柄的參數中,VR陀螺注意到傳感器的幀率為30幀,在60、70、90幀為主流的背景下,為何偏偏要降到30幀?
“我們盡量降低對硬件的要求,拔高系統的算法能力,而且同時不能夠犧牲用戶體驗,其實這對于我們來說難度是很大的。”周琨坦言。Camsense與Oculus和微軟的追蹤方案相似,都有頭部和手部定位、也都采用單目傳感器和主動光源手柄,但最大的不同仍然在于算法處理所依據的硬件條件
Oculus和微軟能夠大膽地使用高成本技術,提高硬件和配置要求,因此算法處理就會容易很多,而用戶也能夠體驗到微軟90幀率或Oculus產品4個單目攝像頭的良好定位效果。Camsense面臨的挑戰,就是如何做好硬件成本和優秀用戶體驗之間的平衡;以及如何應對客戶的多樣化需求,并最終達到追蹤效果的一致性。
Camsense XR的優勢,主要體現以下兩個方面: 首先是定位算法能在低配置硬件上實現高配置硬件同樣的性能。Camsense XR主要依靠高精度定位算法,但最少可以只使用兩個30幀幀率的,分辨率為VGA的單目鏡頭,可以達到 其它廠家60幀幀率的動態定位精度。這是Camsense面向多種客戶需求還能達到一致追蹤效果的關鍵。由于客戶需求多樣,需要適配不同的處理終端,PC端能夠處理高符合運算,但基于手機處理方案的VR一體機卻不能在定位上消耗過多性能,為了最大化降低門檻,如何在低配硬件基礎上實現高質量的追蹤效果成為了需要攻克的課題。
周琨提到,在設備中共有三種計算資源,一種是GPU,主要進行圖像處理或者游戲等并行計算場景;一種是DSP,主要用于運行頭部VSLAM等計算機視覺算法或者深度學習算法;還有一種是ARM計算資源,僅用于輕量級運算,如微信,支付寶等手機上常見的各種APP程序。而Camsense XR在運算中,使用的就是第三種計算資源--ARM,所以內存占用僅50M,1.95GHz的雙核CPU就能運行。
降低功耗畢竟只是解決了適配性和成本問題,用戶體驗也是一道挑戰。既然硬件的基礎降低了,如何保證體驗效果不被影響?周琨表示,只能以高精度的算法彌補硬件的不足。Camsense XR對于復雜環境下的追蹤,從頭部端到芯片處理再到終端交互的算法繼承自其工業級的亞亞像素高精度定位算法,其精度可以達到5m大空間范圍內,0.2mm的絕對平均誤差,此技術在今年已獲得美國專利局的發明專利授權。
結語
注意到,在訪談過程中,周琨一直在強調要做“有意義”的產品。他從消費者、客戶、企業開發人員、產品和整個市場環境角度考慮,不斷打磨Camsense XR的產品定義,即使有能力投入更多的資金和時間達到更亮眼的功能效果,比如做頭部SLAM定位,但另一方面就會失去歡創科技自身的獨特性。 隨著Daydream、Gear VR淡出歷史舞臺,3DoF時代已經結束。而6DoF產品的核心——定位追蹤,也將變得越來越重要。而這,也將為歡創科技帶來更多機會。
責任編輯:gt
-
微軟
+關注
關注
4文章
6612瀏覽量
104162 -
激光
+關注
關注
19文章
3222瀏覽量
64591 -
vr
+關注
關注
34文章
9641瀏覽量
150407
發布評論請先 登錄
相關推薦
評論