在AR領域也呆了不短時間了，也一直在做視覺定位相關的工作，這里分享一下有意思的工作方向，感興趣的可以討論或者聯系我即可（如有不對，歡迎指出）。

首先簡單區分AR和VR的區別，VR 屬于虛擬現實 ，即是由實入虛的過程，入口往往需要一個笨重的設備來進入；而AR是增強現實，即是虛實結合的過程，也是目前元宇宙中主要的技術。另外AR的設備源相比于VR來說輕量的多，AR技術出現的其實很早，目前之所以再次被提出來并賦予一個“元宇宙”的稱號,是因為智能手機的發展已經逼近一個瓶頂，各大廠商在手機上已經沒有多少余熱，而智能手機-第三次工業革命的產物卻恰恰是AR技術最直觀、最便捷的入口，幾乎每個人都擁有一部智能手機（眼鏡是AR的下一次革命）。

AR中最核心的技術是視覺定位技術，也就是目前又一個火熱的學術名詞“空間計算”，而目前主流的VPS技術可以分為兩個層面：地圖構建層 和定位服務層。地圖的構建可以采用SLAM或者SfM，目前主流的方案是使用SfM，SfM大家以前用到的最多的是隸屬于視覺三維重建pipeline（sfm+mvs+mesh+texture）,按照攝影測量的話就是空三模塊，而現在如果一個企業單純是研發一套和photoscan、realitycapture、ContextCapture、inpho、pix4d等類似的一套非常成熟的三維重建軟件，基本是死翹翹，當然如果是頭部公司想made in China，這個工作的意義和使命感就不同。而后續的全局定位服務層依賴于構建的先驗地圖。

目前VPS 的工作內容：

地圖構建層：

（1） 大場景AR 地圖構建，眾所周知隨著照片個數的增多，sfm的速度感人，怎么保證如3萬、10萬張圖像地圖的構建？，如果單純是用一下colmap 、openmvg等開源去構建，那么項目交付的整個周期恐怕沒有一個甲方會接受吧。

（2） 對于構建的AR的定位地圖，如何去自動化評估構建的地圖質量？，最傳統的方式是利用高昂貴的激光或者人工扛著全站儀打點評估精度，但是這種費時費力。

（3）地圖的存儲，要知道一個場景下來，3D 點的數量可是巨大的，里面有利于定位的元素，也有對定位無關緊要的點，如果全部存儲，那么存儲空間恐怕沒有一個能滿足要求的，那么如何去做地圖的簡化？

定位服務層：

（4）怎么解決long-term 問題？當然superpoint + superglue 是一個不錯的選擇。

（5）即使使用SOTA sp+sg 算法，在有些場景下，匹配點數就是很少，那么pnp的時候算出來的pose 也肯定是不能用的，那么只有point-based形式是否夠用，是否要去提升地圖的維度？ （

(6）也是最難的一關，這個按理說應該是屬于地圖構建層，但是和定位服務也可實時捆綁。那就是如何做多源數據的地圖更新，即是大家所說的“眾包"，因為地圖構建的傳感器和定位終端的傳感器不一定相同，但是多個人拿著手機拍攝，手機端的數據對場景的豐富度、完整性同樣有用，怎么保證終端手機或者眼鏡的數據來補充構建的先驗地圖，保證地圖“實時更新”。

當然以上的VPS技術都是map-based 的方式，那么可以考慮一下，我們視覺重定位是否真真需要先驗地圖，那么可以去看看視覺重定位泰斗（Torsten Sattler-也是colmap作者導師的同事）2017的疑問：Are Large-Scale 3D Models Really Necessary for Accurate Visual Localization?；Torsten Sattler在2022年用新的視覺重定位方式回答了他2017的問題：MeshLoc: Mesh-Based Visual Localization。

可以優化的點，總結如下：

編輯：黃飛

?