如今，深度學習已顛覆計算機視覺領(lǐng)域，端到端的深度學習模型幾乎是任何問題的最佳解決方案。尤其是卷積神經(jīng)網(wǎng)絡（CNN），因為它效果拔群而廣受歡迎。可是，這些深度學習模型都像是一個個黑盒子，盒子內(nèi)的奧秘仍然不為人所知。筆者認為，現(xiàn)在的研究人員只是簡單地寫少量代碼來調(diào)用深度學習接口，盡管這種直白的使用方式能解決大多數(shù)計算機視覺問題，但是最終效果顯然還存在更大的提升空間。

　　是我曾經(jīng)開發(fā)的一種使用深度學習技術(shù)判斷攝像頭姿態(tài)的算法。這是計算機視覺領(lǐng)域的一個經(jīng)典問題，并且有非常完整的相關(guān)理論研究。當時用深度學習訓練了一個端到端的模型，這個模型取得了很好的效果。可是，現(xiàn)在回想，覺得當時自己完全忽略了這個問題的已有理論背景。在本文的末尾作者補充了相關(guān)工作的最新進展，從更偏向理論的角度重新審視了問題，并用基于幾何的方法取得了巨大的效果提升。

　　簡單地調(diào)用深度學習接口就能解決問題的時代即將結(jié)束，計算機視覺領(lǐng)域的下一次進步將源自對幾何形態(tài)的深入研究。

　　為何源自幾何

　　在計算機視覺領(lǐng)域，幾何描述這個世界的結(jié)構(gòu)和形狀，涉及深度、體積、形狀、姿態(tài)、視差、運動和光流等測量角度。

　　幾何在視覺模型中地位較高的原因在于幾何定義了這個世界的結(jié)構(gòu)，而且我們?nèi)祟惸芾斫膺@種結(jié)構(gòu)（比如，從經(jīng)典的中學習）。因此，有很多復雜的幾何關(guān)系并不需要利用深度學習技術(shù)從頭學起，比如，物體的深度和運動狀態(tài)等。通過使用已有的幾何知識構(gòu)建體系結(jié)構(gòu)，我們可以將它們對應到現(xiàn)實中，簡化了學習過程。本文結(jié)尾的一些示例將介紹如何使用幾何來提高深度學習架構(gòu)的性能。

　　另一種范式是使用語義表示。語義表示指的是用語言來描述物體在現(xiàn)實中的關(guān)系。例如，我們可以將物體描述為“貓”或“狗”。但是，幾何在語義上有兩大特性：

　　幾何形態(tài)可以直接觀察。人們直接用視覺觀察這個世界的幾何形態(tài)。在最基本的層面上，人們可以通過追蹤幀與幀之間相應像素的關(guān)系來直接觀察物體的運動狀態(tài)和深度情況。另外一些有趣的例子，包括根據(jù)陰影觀察形狀或是從立體視差推測深度。與此相反，語義表示是人類語言所特有的，每個標簽對應于一個名詞實體，無法直接觀察。

　　幾何是基于測量的連續(xù)變量。例如，人們可以用“米”來度量深度或是用像素來衡量視差，而語義表征則是離散量或二值標簽。

　　為什么這些屬性很重要呢？其中一個重要的原因在于這些屬性對無監(jiān)督學習非常有幫助。

　　英國劍橋中心，幾何結(jié)構(gòu)的運動重建，來自于手機的視頻拍攝

　　無監(jiān)督學習

　　無監(jiān)督學習無需標注數(shù)據(jù)就能學習物體的表示和結(jié)構(gòu)。獲取大量的已標注訓練數(shù)據(jù)需要耗費財力物力，因此無監(jiān)督學習提供了更具擴展性的框架。

　　作者上面提到幾何學的兩個特性正好可以用來訓練無監(jiān)督學習模型：可觀察性和連續(xù)表示。

　　例如筆者去年發(fā)表的一篇，介紹了如何利用無監(jiān)督訓練和幾何形態(tài)來預測物體的深度，這篇論文給出了幾何學原理與上述兩個特性結(jié)合形成無監(jiān)督學習模型的絕佳案例，也有幾篇思路類似的。

　　語義還不夠嗎？

　　語義在計算機視覺領(lǐng)域一直備受關(guān)注，許多高引用論文成果都來自圖像分類和語義分割領(lǐng)域。

　　僅依靠語義來設(shè)計一套表達方式會存在問題，因為語義是由人類定義的。人工智能系統(tǒng)理解語義并提供與人類交互的接口必不可少，而語義是人類定義的，很有可能這種定義并不是最合理的定義方式。直接從觀察到的幾何世界學習可能更自然。

　　與此同時，低層次的幾何形態(tài)也是嬰兒學習觀察世界的形式。根據(jù)的調(diào)查，人類在出生后的前九個月學習協(xié)調(diào)眼睛的聚焦和感知深度、顏色和幾何形狀等屬性。直到第十二個月才學會如何識別物體和語義。這說明在人類視覺中學習幾何學的基礎(chǔ)是非常重要的，人類會很好地把這些洞察融入到計算機視覺模型中。

相關(guān)電子資料下載

• 華為智能駕駛芯片深度分析 548
• 基于機器視覺技術(shù)的人車路特征提取中的應用案例 57
• 展開說說機器視覺與計算機視覺的區(qū)別 26
• NCNN在Core3566模組上的部署和測試 592
• ICCV 2023：實現(xiàn)實時六自由度物體跟蹤 138
• 自動駕駛的激光雷達和純計算機視覺對比分析 70
• 自動駕駛中進行車道線檢測的實用算法 37
• 深蘭科技斬獲“上海設(shè)計100+”和“設(shè)享獎EDW”大獎 287
• 什么是卷積神經(jīng)網(wǎng)絡？如何MATLAB實現(xiàn)CNN？ 51
• 生成式人工智能如何治理 生成式人工智能的機遇和挑戰(zhàn) 48