本文簡要介紹今年CVPR 2023的錄用論文“Document Image Shadow Removal Guided by Color-Aware Background”的主要工作。現有的文檔圖像陰影去除方法 [1,2]依賴于固定值背景而忽略文檔的其他印刷顏色，可能會對具有復雜背景的圖像造成顏色失真或陰影殘留問題。為了解決上述問題，作者提出了顏色感知背景提取網絡(CBENet)提取彩色背景用于指導陰影去除網絡(BGShadowNet)進行陰影去除。BGShadowNet分為兩個階段，在階段一采用背景約束解碼器生成一個粗略的結果，在階段二通過在編碼-解碼模型中嵌入基于背景的注意力模塊(BAModule)維持文檔外觀的一致性，用細節增強模塊(DEModule)提高紋理細節來改進初步去陰影的結果。在兩個基準數據集RDD和Kligler上定性和定量的實驗證實了本文所提出方法的優越性。

一、研究背景

目前的文檔陰影去除算法 [1,2]通常假設文檔的背景顏色是一個固定值。用聚類 [1]或是深度學習 [2]的方法得到背景顏色指導文檔圖像陰影的去除。但是這樣的做法會忽略文檔中存在的其它印刷顏色，對文檔背景復雜的圖像可能會造成顏色失真或陰影殘留的問題。如圖1(d)存在顏色失真和陰影殘留，(f) 存在陰影殘留。而本文提出的基于顏色感知背景的文檔圖像陰影去除方法能很好地避免這兩個問題。

圖1 本文基于顏色感知背景的方法可以更好地去除文檔圖像陰影，避免顏色失真和陰影殘留。

二、方法原理簡述

圖2 模型結構圖

圖2是模型的整體結構圖，它包含顏色感知背景提取網絡(Color-aware Background Extraction Network, CBENet)和陰影去除網絡(Background-guided Shadow Removal Network , BGShadowNet)。CBENet采用U-Net [3]結構用于提取顏色隨空間變化的彩色背景，提供一些有用的顏色信息幫助BGShadowNet進行陰影去除。彩色背景的GT計算過程如下，首先將無陰影的圖像分為16×16的Patch，然后對于每個區域，根據像素強度聚類成兩個簇，分別是背景和文字。一般來說背景比文字亮一些，用更亮的簇的均值作為這個Patch的背景顏色。最后對這個區域做平滑，避免邊界顏色過度不平滑。圖3展示了彩色背景的可視化。

圖3 彩色背景可視化：(a) 陰影圖像，(b) 局部背景圖像，(c) 最終背景圖像。

BGShadowNet包含兩個階段，階段1的目的是生成一個粗略的陰影去除圖像，采用U-Net [3]結構。為了利用背景圖像的編碼特征，在解碼的時候將CBENet的編碼特征集成到對應的層級，最后生成一個粗略的去陰影結果。在階段2對階段1的結果進行改進和提升。輸入粗略的去陰影結果和原圖的堆疊，進入一個編碼-解碼網絡(DenseUnet [4])，在基于背景的注意力模塊(Background-based Attention Module, BAModule)結合彩色背景信息保持文檔外觀的一致性。在細節增強模塊(Detail Enhancement Module, DEModule)利用底層特征來恢復粗糙結果的紋理細節。最后的結果經過判別器判斷文檔的真實性。

圖4 BAModule結構圖

有相似背景的區域應該具有類似的外觀(顏色和光照)。然而，粗略的去除陰影結果中可能存在光照或顏色偽影。為了保持圖像的整體一致性，本文引入了一種基于背景的注意力模塊(BAModule)，其結構如圖4所示。編碼特征和背景特征堆疊后經過卷積生成顏色感知注意力圖與堆疊后的輸入特征相乘得到輸出特征。

由于網絡中存在多個卷積和下采樣操作，高層次的特征可能會丟失部分細節信息，導致細節模糊的結果。與高層次特征相比，CNN層的低層特征通常包含更多的紋理細節。因此，本文引入了一個細節增強模塊(DEModule) 來利用網絡中的低層特征，恢復粗略結果的紋理細節，其結構如圖5所示。取編碼器前兩層的編碼特征堆疊后經過兩次卷積得到特征圖M，全局平均池化后得到，計算兩者之間的余弦相似度得到S。通過以下公式對S進行量化得到量化編碼圖E，和量化級別L一起得到反映低層信息的相對統計信息的量化計數圖C。C通過卷積后與上采樣后的結果堆疊得到絕對統計信息H。H通過圖5右側的分支生成新的量化級別與量化編碼圖E相乘后得到輸出特征。

圖5 DEModule結構圖

網絡的Loss包括CBENet的背景重建Loss，第二個是階段1和階段2輸出結果的Loss，第三個是結構一致性損失，最后一個是對抗損失。

三、主要實驗結果及可視化效果

本文構建了一個真實的文檔陰影去除數據集RDD，4371份用于訓練，545用于測試。測試的數據集還包括Kligler [5]。表1實驗結果證明本文方法的有效性。兩個數據集上的RMSE、PSNR和SSIM都優于現有的文檔陰影去除方法。

表1 RDD和Kligler測試集的實驗結果

圖6 各種陰影去除方法的可視化比較：(a) 輸入圖像，(b) Jung，(c) DSC，(d) Fu，(e) DHAN，(f) CANet，(g) BEDSR-Net，(h) 本文的BGShadowNet，以及 (i) 真實標注圖像。

用戶測試的實驗結果也表明本文的方法去陰影的效果排名最高。有20.32%的志愿者認為本文的方法去陰影的效果最好。

表2展示了本文提出的BAModule和DEModule的消融實驗，圖7是對應的可視化結果。表3展示了彩色背景的消融實驗。

表2 在RDD和Kligler上的消融實驗，BASE1：一個DenseUnet；BASE2：兩個堆疊的DenseUnet；BGShadowNet1：沒有Stage2；BGShadowNet2：沒有DEModule和BAModule；BGShadowNet3：沒有BAModule；BGShadowNet4：沒有DEModule。

圖7 消融實驗的可視化比較：(a) 輸入圖像，(b) BASE1，(c) BASE2，(d) BGShadowNet1，(e) BGShadowNet2，(f) BGShadowNet3，(g) BGShadowNet4，以及 (h) 本文的BGShadowNet。

表3 在RDD數據集上彩色背景的消融實驗

四、總結及討論

1. 為了解決現有方法對具有復雜背景的圖像造成顏色失真或陰影殘留問題，本文提出了顏色感知背景提取網絡(CBENet)提取彩色背景用于指導陰影去除網絡(BGShadowNet)進行陰影去除。

2. 本文提出基于背景的注意力模塊(BAModule)維持文檔外觀的一致性，以及細節增強模塊(DEModule)提高紋理細節。

3. 當圖像受到嚴重的噪聲干擾時，本文方法的陰影去除結果可能會包含一些殘留噪聲，導致與周圍環境的亮度不均勻。

五、相關資源

論文地址：https://openaccess.thecvf.com/content/CVPR2023/papers/Zhang_Document_Image_Shadow_Removal_Guided_by_Color-Aware_Background_CVPR_2023_paper.pdf