我想在房間里看到宇宙的銀河系，我想早上1分鐘內試穿8條裙子，我要讓游戲的“英雄”跳出來在寫字臺上來一場大戰……我們的想法真是越來越多。

人們的靈感激發了很多可能性的創作，每一次科技革命都是人類對“認知”的進化。去年在Facebook的開發者大會上，藝術在AR與SLAM技術的驅動下創造出完美的藝術作品，利用定位技術和場景幾何分析，Facebook團隊將著名藝術家Heather Day的作品素材，巧妙地投影在真實空間中，隨著現場bgm旋律，優美的線條和栩栩如生的畫作就出現在人們的面前。

Heather的藝術作品完美投影到真實世界中

硬件設備迭代、傳感器升級以及AR技術的發展，讓我們打破視覺空間的邊界，時空瞬移的挑戰不再是虛幻。提及AR領域，SLAM作為關鍵性的底層技術——同時定位與地圖構建，將真實場景和想象空間結合、融入，借助計算機視覺和圖形學技術的力量，消除了虛和實的界限。

AR合影-動態影像融合到真實世界中

AR集成了真實世界和虛擬世界的信息，兩種信息相互補充、疊加并實時交互。在三維空間中定位虛擬素材，讓不同角度空間都能看到虛擬信息與真實世界融合的效果，因此，空間6DoF定位和地圖構建兩個關鍵性能力，不得不提：

6DoF定位——包括位置信息和角度信息，基于手機攝像頭我們會看到AR效果，從任意角度拍攝可以看到不同視角的場景，不同角度看到的視野能夠和真實世界融合在一起。所以，實時計算出手機設備的當前空間位置和角度很關鍵，這就是6DoF定位能力。

地圖構建——對整個場景三維空間、平面結構的充分理解，比如哪里是地板，哪里是墻面，快速精準的在線構建場景，能夠支持實時定位和虛擬物體植入，當識別到這些幾何信息我們就可以看到“在地板上放東西，在墻上掛壁畫”等虛實結合的AR效果。

除最為核心的同時定位和地圖構建 SLAM和3D視覺技術還包括哪些知識點

平面/三維物體識別和跟蹤：基于業內領先的圖像識別和跟蹤技術，能夠快速識別場景中平面/三維物體，對障礙物體進行檢測跟蹤，如果把一個虛擬杯子放到某個場景中，算法能夠識別它的位置和環境的三維結構，無論從哪個角度檢測、識別，畫面中的物體都會和真實世界對應起來，這便是基于穩定的三維跟蹤效果。

運動恢復結構（SFM）：對于某些視頻畫面，相比于實時運動跟蹤的SLAM，我們也可以離線來做，算法和SLAM類似。一段拍攝好的畫面或視頻，通過離線處理，整個場景可用完整的三維點進行恢復。一些無序拍攝的場景畫面，也可以通過SFM將場景三維結構恢復。

實時深度估計和三維重建：如果想場景結構在線恢復得更加完整，就要恢復出更加稠密的三維點云，也就是稠密三維重建。利用立體匹配算法，將畫面上的每個像素在空間上的3D距離計算出來，整個場景掃描的過程融合多幀畫面的深度信息，得到完整精準的場景三維模型，這就是基于深度融合的實時三維重建算法。該算法在移動設備上支持實時的景深虛化、雙目立體化、真實感渲染、陰影合成、虛實物體的遮擋和碰撞等交互效果，創建物理真實的“虛實融合”世界。

稠密三維重建

光照估計：通過計算機視覺和圖形學算法，基于真實場景的視頻數據估計出場景的光照環境，包括亮度、光源等，渲染時再將光照信息疊加在虛擬模型上，使渲染效果與真實環境更加貼合。

場景圖像+虛實結合

跨平臺的輕量級AR/VR引擎：不同于前幾項SLAM底層技術，跨平臺的輕量級AR/VR引擎將后端SLAM、三維重建和前端的三維繪制、渲染整合，集成了AR/VR引擎。最終呈現給用戶的是三維繪制的虛擬場景和真實世界的融合后的效果。具有跨平臺、庫體積小且支持多種光照和材質模型，以及虛擬物體的遮擋、陰影投射、Avatar表情驅動等特點。

游戲、機器人領域SLAM技術打前戰 我們能做的還有更多

為了保證機器在某些特定環境中路徑規劃更加智能，在機器人應用領域，SLAM技術的存在也為機器人識別周圍環境、躲避障礙物、規劃路徑、場景地圖實時構建等提供技術支持。

在自動駕駛領域，SLAM應用目的是解決定位和三維重建的難題。在自動駕駛過程中，實時定位和路徑規劃能力很重要，必須要實時精準地獲取信息和坐標。關于地圖構建方面，通過傳感器采集的信息，SLAM算法會將整個場景的高精度三維結構進行恢復，高精度地圖也是自動駕駛中較為核心的部分。

SLAM與越來越多的場景相結合，很多用戶已經感知到AR應用的全新體驗方式。SLAM與AR技術讓他們近距離感受到電子游戲中顛覆式的交互體驗。原來我們的體驗只在虛擬的3D場景里，如今游戲中虛擬的人設可以跳出手機在真實的場景里進行打斗，我們不僅可以和游戲中的“英雄”合影，甚至可以在房間里和虛擬人設“交戰”。

OPPO聯手商湯打造AR開發者平臺

王者榮耀APP入駐

“英雄”跳出了手機在真實世界里比拼

除此，SLAM的識別跟蹤技術也涉入電商領域，提升我們線上平臺的購物體驗。如果我們需要為家里購置一臺冰箱，無需再擔心位置擺放、冰箱大小等這些瑣碎的問題，通過手機攝像頭線上掃描空間環境，真實場景中的平面或三維物體就會快速被識別出，SLAM算法會聰明地將“虛擬冰箱”放在最為合適的三維空間里，添置在房間合適的位置上。

京東APP入駐 提升線上平臺購物體驗

近期，OPPO與商湯科技合作吸納多家APP進駐，共同推進AR應用的普及，首批進駐的APP中王者榮耀和京東，便是通過商湯的SLAM底層技術與AR支持讓更多消費者感受到AR應用的全新交互方式。針對垂直行業深度定制優化的特點，商湯將會為互娛、游戲、電商、廣告、旅游、教育、家裝等行業開發相應的AR增強工具包，幫助APP廠商深化行業AR應用。

深度定制化合作 通過APP交互給用戶最佳體驗

由商湯科技研發的SenseAR底層引擎解決方案將AR基本能力賦予手機廠商?；谟布笆謾C廠商提供的信息和數據，通過算法實時處理，反饋空間定位信息、空間場景的三維信息，手機廠商將算法做整體封裝，作為手機的基礎能力，開發者基于封裝的SDK和手機平臺就可以進行更為復雜邏輯的應用開發。商湯科技將聯合合作伙伴一起搭建AR內容創作平臺，提供AR內容創作工具鏈和AR內容素材給APP開發商，解決AR內容缺乏、創作效率低的痛點。

與同類AR平臺相比，SenseAR平臺的硬件適配、軟件開發的低成本，是平臺核心優勢。與ARCore對硬件高標準的要求不同，SenseAR支持不同的硬件配置，在缺失陀螺儀的傳感器設備上也能穩定運行，即便是千元左右的大眾機型，都可以在手機上很好的呈現平臺的性能，覆蓋廣泛。并且支持安卓、iOS、Windows、Linux、Mac OS等多種操作系統，只需要開發一次就能跨各種操作系統和硬件終端。