論文題目：EAI-Stereo: Error Aware Iterative Network forStereo Matching

作者：Haoliang Zhao ；Huizhou Zhou

作者機構：北京大學深圳研究生院趙勇團隊詭谷子人工智能開放實驗室

論文鏈接：https://openaccess.thecvf.com/content/ACCV2022/papers/Zhao_EAI-Stereo_Error_Aware_Iterative_Network_for_Stereo_Matching_ACCV_2022_paper.pdf

項目代碼：https://github.com/David-Zhao-1997/EAI-Stereo（論文中提到的開源代碼已經沒有了）

GitHub代碼：https://github.com/smartadpole/EAI-Stereo（這里是GitHub中開源的EAI-stereo）

由詭谷子AI開放實驗室開發的雙目視覺立體匹配算法EAIStereo ( EAI-Stereo: Error aware iterative network for stereo matching)，針對立體匹配算法中未充分利用高頻信息而導致相對模糊的問題，提出了一種誤差感知細化模塊，將來自原始圖像的高頻信息結合進來進行誤差校正，生成出精細的細節和尖銳的邊緣。另外，為了提高數據傳輸效率，作者還提出了迭代多尺度寬式長短時記憶網絡。實驗證明，該方法在多個數據集上取得了良好的效果，并且在 Middlebury 排行榜和 ETH3D 立體基準測試上表現出色。

1 前言

估計像素對應關系的問題是立體匹配的任務。傳統立體匹配算法有四步驟：匹配代價計算、代價聚合、視差計算和優化。學習式方法與傳統方法相比，通常產生更準確和平滑的視差圖，并具有較高的計算速度。其中一些挑戰是恢復薄物體和銳利邊緣的低效率問題、基于GRU的迭代結構的不足和學習方法的推廣能力問題。EAI-Stereo是解決這個問題的方法，它使用了一種誤差感知的迭代結構。

本文提出了一種新的端到端數據驅動的立體匹配方法EAI-Stereo（Error Aware Iterative Stereo）。本文的主要貢獻如下：

提出了一種錯誤感知的細化模塊，它將左右變形與基于學習的上采樣相結合。通過將包含更多高頻信息的原始左圖像和顯式計算誤差圖相結合，文章的細化模塊使網絡能夠更好地應對過度曝光、欠曝光以及弱紋理，并允許網絡學習糾錯能力，從而使EAI-Stereo能夠產生極端細節和銳利邊緣。模塊中的基于學習的上采樣方法與雙線性插值相比，可以提供更精細的上采樣結果。作者仔細研究了模塊微觀結構對性能的影響。從實驗中，作者發現該結構可以提高泛化能力并提高性能。該方法具有很高的通用性，可以應用于所有產生視差或深度圖的模型。

提出了一種高效的迭代更新模塊，稱為Multiscale Wide-LSTM，它可以有效地將來自特征提取、代價體積和當前狀態的多尺度信息相結合，從而增強每次迭代之間的信息傳遞。

提出了一種靈活的整體結構，可以平衡推理速度和準確性。可以在不重新訓練網絡甚至在運行時進行權衡。迭代次數也可以根據最小幀速率動態確定。

2 相關背景

立體匹配領域中的數據驅動方法占據了主導地位。為了提高準確性，許多研究者采用了3D卷積和金字塔結構。為了降低計算成本，一些方法使用新的方式避免了使用3D卷積。一些其他的新方法，例如引入域歸一化和基于非局部圖的濾波器，都提高了網絡的準確性和泛化能力。這些方法極大地促進了立體視覺領域的發展，并在立體匹配任務上取得了很高的性能。

隨著深度學習的發展，迭代神經網絡在立體匹配和光流場估計等領域中得到了廣泛應用。人們通過改進迭代模塊，利用較小的網絡替換單個重量級前饋網絡。這種方法大大降低了計算復雜度。同時，改進的迭代模塊在立體匹配中也取得了更好的性能。現有的GRU也逐漸成為迭代模型中的瓶頸，因此需要更好的迭代模塊來進一步提高性能。

3 方法

本文的網絡將一對矯正后的圖像Il和Ir作為輸入。然后提取特征并將其注入成本體積中。多尺度迭代模塊從成本體積中檢索數據并迭代更新視差圖。最后，迭代的1/4分辨率視差圖被饋送到錯誤感知細化模塊中，該模塊可以執行學習的上采樣和錯誤感知糾正以獲得最終的視差圖。

3.1 Multi-scale Feature Extractor - 多尺度特征提取器

在這一部分，作者使用類似ResNet的網絡作為特征提取器，利用兩個共享權重的提取器提取一對圖像Il和Ir的特征圖，用于構建3D相關體積，遵循RAFT-Stereo的方法。該網絡由一系列殘差塊組成，然后是兩個下采樣層，用于提供多尺度信息Fh，Fm和Fl給接下來的迭代寬LSTM模塊。特征圖Fh，Fm和Fl的空間大小是原始輸入圖像尺寸的1/4、1/8和1/16。

3.2 Iterative Multiscale Wide-LSTM Network - 迭代多尺度Wide-LSTM網絡

在這一部分，作者提出了一種高效的迭代更新模塊，稱為Multiscale Wide-LSTM，可以有效地結合特征提取、成本體積和當前狀態的信息，并提高每次迭代之間的信息傳遞。多尺度迭代模塊，擴展了迭代模塊的寬度，三個子模塊各自建立了兩條數據路徑C和h，連接前后迭代模塊，更高效地進行信息傳遞。采用多尺度的優勢在于可以在每個尺度上使用不同的迭代子模塊，而較低分辨率的特征圖像素較少，可以執行比較耗時的操作。

3.3. Error Aware Refinement - 錯誤感知細化

在這一部分，作者提出了一種Error Aware Refinement模型，主要解決了傳統模型忽略高頻信息的問題，提高了模型的精度和細節保留能力。具體來說，模型首先使用learned upsampling將LSTM網絡預測的1/4分辨率的原始視差圖上采樣，再使用卷積層生成一個上采樣mask，并利用凸上采樣方法得到與原始圖像大小相同的視差圖。然后，在Error Aware模塊中，模型通過誤差感知，利用右圖像進行重建，計算出誤差地圖，再與左圖像一起送入Hourglass模型中進行細化操作，最終得到最終的視差圖。在整個模型過程中，考慮了不同形式的誤差信息的融合，并在微結構上進行了優化，提高了模型的性能表現。

4 實驗

4.1 模型訓練

本文中的EAI-Stereo模型基于PyTorch實現，使用兩個Tesla A100 GPU進行訓練。所有模型均使用AdamW優化器進行訓練，權重衰減為 。學習率的預熱階段占整個訓練計劃的1%。在所有實驗中，我們使用數據增強方法，其中包括飽和度變化、圖像擾動和隨機尺度。在所有預訓練中，我們使用了Scene Flow數據集進行200k次迭代的訓練，學習率為 。

4.2 評估

EAI-Stereo在三個不同的視覺數據集上（Middlebury、ETH3D、KITTI-2015）的表現在多個指標上表現最佳。在KITTI-2015數據集上，作者的方法通過在另一個數據集上的預訓練和微調，在稀疏Ground Truth值上也有良好表現。該的方法在進行簡單的數據增強時也展現出了強大的泛化性能。

4.3 Cross-domain Generalization - 跨領域泛化

作者使用與預訓練完全相同的策略在Scene Flow數據集上訓練我們的模型，然后直接使用權重進行評估。將EAI-stereo的模型與一些最先進的方法和一些經典方法進行了比較。比較表明，該的方法在泛化性能方面明顯優于專門為泛化性能設計的DSMNet和CFNet，且可以通過使用預訓練和微調等簡單策略來提高模型的性能。

4.4 Ablations - 消融研究

評估了使用不同設置的EAI-Stereo的性能，包括不同的體系結構和不同數量的迭代。在迭代多尺度Wide-LSTM網絡中，使用寬LSTM模塊可以顯著提高性能，其D1誤差可以減少10.14％，EPE可以減少4.80％。錯誤感知細化模塊用于上采樣和細化工作。與寬LSTM基準相比，采用擴張細化可以減少Scene Flow驗證集上的D1誤差2.81％，并使KITTI驗證集上的EPE減少12.39％。迭代次數可以通過訓練后調整，因此提高了模型的靈活性。在實際應用中，可以通過給定最低幀速率來推斷迭代次數，在具有實時要求的場景中非常有用。

5 總結

作者提出了一種新穎的誤差感知迭代網絡用于立體匹配。進行了多次實驗以確定模塊的結構。實驗結果表明，該模型在速度和準確性方面在各種數據集上表現良好，同時具有很強的泛化性能。

審核編輯 ：李倩