去年蘋果發(fā)布ARKit軟件框架，以及今年發(fā)布ARKit2，這兩次的發(fā)布對AR產(chǎn)業(yè)的發(fā)展將有很大的促進作用，值得我們保持很高的關(guān)注。

從技術(shù)上來說，AR牽涉到的面很廣，從傳感器（視覺/IMU等）、手機/眼鏡等硬件設(shè)備、軟件框架SDK、內(nèi)容生產(chǎn)工具（建模/渲染等）、各種交互技術(shù)（語音、視覺、觸覺等）、AR云平臺，以及基于云平臺之上的地圖、AI識別等技術(shù)，可以說是集各種先進技術(shù)于一體。

蘋果ARKit的軟件框架，主要包含了三層，第一層主要是快速穩(wěn)定的物理定位，包括實時運算、運動定位；第二層是讓虛擬內(nèi)容和現(xiàn)實環(huán)境的無縫銜接，包括平面和邊界的感知；第三部分是渲染。按照下圖的軟件架構(gòu)，ARKit的工作流程為：

1、ARSCNView加載場景SCNScene

2、SCNScene啟動相機ARCamera開始捕捉場景

3、捕捉場景后ARSCNView開始將場景數(shù)據(jù)交給ARSession

4、ARSession通過管理ARSessionConfiguration實現(xiàn)場景的追蹤并且返回一個ARFrame

5、給ARSCNView的scene添加一個子節(jié)點（3D物體模型）

而在ARKit2上又增加了新的功能，包括滿足多個設(shè)備同時顯示同一個虛擬場景，滿足多人合作游戲、工作的需求，以及統(tǒng)一的AR文件格式USDZ（類似于做成PDF統(tǒng)一的格式）。在WWDC大會上還用AR演示了樂高模型，用iPad 對準(zhǔn)一個真實的樂高模型之后，它在屏幕中也變得“虛擬”了，用戶可以打開模型的墻面看到里面的結(jié)構(gòu)。這說明ARKit已經(jīng)能支持識別、3D重建技術(shù)了。

Google的ARCore從軟件架構(gòu)與原理上與ARKit類似，都允許使用手機攝像頭，并能調(diào)整虛擬物體與物理世界的匹配，都支持Java/OpenGL，Unity和Unreal等。當(dāng)然ARKit只支持蘋果系列的產(chǎn)品，是相對封閉的，而Google是支持安卓系統(tǒng)的。由于不同廠商的手機型號兼容性問題，而AR是需要軟硬件的緊密依賴，特別是在傳感器端，需要Google做大量的工作，所以從這個角度來看，蘋果會走的更靠前。

在傳感器端，VIO（Visual InertialOdometry，視覺慣性測量系統(tǒng)）一直是關(guān)注重點。高通推出了針對VR/AR的專用芯片XR1，推出的VIO技術(shù)，用以追蹤頭部6-DOF（6自由度）運動，這個系統(tǒng)使用 Hexagon 682 DSP來處理攝像頭約30fps的視頻流，同時使用始終喚醒（All-Ways Aware）的DSP 以800Hz或1000Hz的速率捕捉加速度計和陀螺儀的數(shù)據(jù)。將這些數(shù)據(jù)相結(jié)合，就能得到6自由度的位置信息。

深度信息的提取對VIO是至關(guān)重要的，從傳感器技術(shù)路線來說包含了ToF、結(jié)構(gòu)光和雙目，各技術(shù)路線都有優(yōu)缺點，但只有3D信息才能為AR帶來更多的應(yīng)用服務(wù)，包括視覺定位服務(wù)、跟蹤、3D重建、交互等。深度視覺在手機的應(yīng)用一直是個挑戰(zhàn)，蘋果IphoneX在前置端采用結(jié)構(gòu)光，而Vivo的NEX在前置采用的是ToF。采用ToF的最大好處是不需要DOE，相比結(jié)構(gòu)光整個硬件結(jié)構(gòu)更為緊湊。據(jù)傳下代蘋果會推后置的ToF，那對AR的應(yīng)用生態(tài)會帶來很大的變化。

目前市面上的大部分AR都沒有對物理實體的3D重建，AR中的虛擬內(nèi)容看起來僅僅是在鏡頭中現(xiàn)實物體的前面移動而已。但實際上3D重建（我的老本行，可惜荒廢了）對AR來說具有重大的意義，3D 重建系統(tǒng)能夠找出場景中真實物體的形狀和結(jié)構(gòu)，并且允許虛擬事物之間相互碰撞以及隱藏在真實世界的后面。3D 重建通過從場景中獲取的點云，然后將其轉(zhuǎn)換為網(wǎng)格，并將隱形網(wǎng)格傳遞給Unity(連同真實世界的坐標(biāo))。之后將真實世界網(wǎng)格精準(zhǔn)地放置在所捕獲的場景上，這意味著虛擬事物似乎能夠與現(xiàn)實世界互動。

在 3D 重建之后，從語義上對3D場景的理解會非常有意思。有別于現(xiàn)在CV廠商做的二維圖像識別，這是三維的世界（當(dāng)然并不排斥在很多AR場景應(yīng)用中，采用2D的識別技術(shù)來做），所以會圍繞3D的數(shù)據(jù)建立新的知識圖譜，這里面肯定需要大量AI技術(shù)的應(yīng)用。

目前傳統(tǒng)的地圖仍然存在著起點看不懂，轉(zhuǎn)向難辯認的問題，AR地圖則是很好的工具。目前國內(nèi)的AR導(dǎo)航，例如“隨便走”，采用的是識別關(guān)鍵字標(biāo)簽+攝像頭傳感器+直觀箭頭指引，為用戶指明方向。

這種技術(shù)實際上還是比較初級的，其一是由于與傳統(tǒng)地圖GPS的簡單映射，誤差很大，其二是你無法知曉路上、建筑物、商場等的信息。英國的Blippar公司通過整合ARkit VIO和GPS，在圖像的特征點提取匹配的基礎(chǔ)上加上IMU，將里程計、光流和慣導(dǎo)做數(shù)據(jù)融合，實現(xiàn)更高精度的定位。利用類似于Google街景數(shù)據(jù)庫的可視化數(shù)據(jù)，根據(jù)用戶對周圍環(huán)境的識別來確定用戶的坐標(biāo)位置。同時能夠?qū)崿F(xiàn)對環(huán)境的識別，建筑物的名稱，街邊商鋪的店名、評價、評分（POI）都會顯示在地圖上。AR地圖的整個采集過程，從技術(shù)原理上應(yīng)該類似于現(xiàn)在火熱的自動駕駛地圖的采集，但是在3D重建、渲染、以及識別上應(yīng)該有更高的要求。

由于目前AR還處于早期發(fā)展階段，從產(chǎn)業(yè)的商業(yè)化策略來說，目前大都采用比較簡單的AR技術(shù)，在游戲、娛樂、教育、營銷等領(lǐng)域做商業(yè)化落地。

2017年網(wǎng)易成立了人工智能事業(yè)部，把AR部分劃到里面。由于在游戲方面的優(yōu)勢，網(wǎng)易天然會把AR技術(shù)應(yīng)用在游戲上，推出了《悠夢》、《破曉喚龍者》2款游戲。同時在營銷上，網(wǎng)易洞見、網(wǎng)易云音樂，與農(nóng)夫山泉共同打造了一次AR營銷，在4億瓶“樂瓶”上，印上了精選樂評，手機一掃，AR實時呈現(xiàn)每一瓶礦泉水自帶的音樂和故事，引發(fā)病毒式傳播討論。在策略上，網(wǎng)易主要在廣告營銷、游戲、新零售等領(lǐng)域突破，其技術(shù)積累也是圍繞這些方面展開，網(wǎng)易AR已經(jīng)形成了一整套的AR工具組合（ARStudio），包括AR內(nèi)容瀏覽器，以客戶端為載體；互聯(lián)網(wǎng)應(yīng)用引擎，涵蓋了AR底層的定位、AR云端的服務(wù)，甚至多人聯(lián)機、基于圖片的跟蹤識別、3D內(nèi)容渲染等；最后是游戲引擎，表現(xiàn)為AR Game Plugin。

美圖的策略則還是主要圍繞著人臉布局。2017年的財報顯示，美圖公司全年實現(xiàn)收益約45.28億元，同比增加186.8%；毛利10.44億元，同比增加336.7%；經(jīng)調(diào)整凈虧損同比下降91.5%至4600萬元，公司全年收入及利潤增長超出市場之前的預(yù)期。美圖持續(xù)圍繞“變美”布局，已覆蓋超15億移動設(shè)備，超4.5億的月活躍用戶數(shù)。美圖秀秀除了擅長的圖片處理，還結(jié)合AR、人工智能等技術(shù)，不斷推出頗有創(chuàng)意的萌拍特效。積極與其他廠商合作帶來新的營收，比如與Dior合作，用戶打開美圖秀秀，進入Dior唇膏試色界面，用戶可通過使用唇膏濾鏡選擇色號，直接在自己的自拍照上試色，并可從客戶端直接跳轉(zhuǎn)到購買模式。一鍵式購買相當(dāng)便利，而AR、人工智能等技術(shù)的運用保證了線上唇膏試色效果的真實。

小熊尼奧在教育領(lǐng)域采用IP內(nèi)容+AR的策略，也取得了很大的成功。從成立以來，已經(jīng)有了AR地球儀、口袋動物園、神奇立體識字卡片以及照照樂等軟硬件產(chǎn)品。在IP的塑造上，小熊尼奧推出了基于小熊尼奧的衍生動畫片，同時和迪士尼、孩之寶這些IP大廠達成合作。小熊尼奧的策略是，生產(chǎn)更多符合兒童興趣的創(chuàng)意AR產(chǎn)品，同時圍繞IP不斷去生產(chǎn)新的內(nèi)容。

AR技術(shù)還有很多其他的應(yīng)用，包括電商、短視頻、直播、金融、汽車、工業(yè)等等，AR本身是一項帶有人的感情的技術(shù)，所以利用AR技術(shù)做出的產(chǎn)品需要直達人的內(nèi)心，與用戶建立情感的連接，才能把商業(yè)的落地做好。讓我們完全擁抱AR時代的到來！