本文提出了一個圖像去模糊方向的綜述，來自澳大利亞國立大學(xué)、中山大學(xué)、美國加州大學(xué) Merced 分校、日本樂天研究所的研究者回顧了基于深度學(xué)習(xí)的圖像去模糊技術(shù)研究進(jìn)展，回顧了圖像去模糊的研究歷史，總結(jié)了當(dāng)前的研究進(jìn)展，并進(jìn)行了展望。該綜述近期被計(jì)算機(jī)視覺旗艦期刊 International Journal of Computer Vision 接收。

圖像去模糊是計(jì)算機(jī)底層視覺中的一個經(jīng)典問題，它的目標(biāo)是將輸入的模糊圖像中恢復(fù)成清晰的圖像。近些年，基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)在該任務(wù)上取得了重大進(jìn)展。本文對最近發(fā)表的基于深度學(xué)習(xí)的圖像去模糊方法進(jìn)行了全面的回顧，主要看點(diǎn)如下：

1.闡述圖像去模糊的研究背景，包括如何定義去模糊、模糊產(chǎn)生的原因、去模糊的方法、質(zhì)量評估的指標(biāo)、常見的數(shù)據(jù)集。

2.討論了近些年基于深度學(xué)習(xí)在圖像去模糊領(lǐng)域中取得的進(jìn)展，對當(dāng)前的深度去模糊方法進(jìn)行全面回顧。

3.分析了當(dāng)前圖像去模糊存在的挑戰(zhàn)以及未來的研究課題。

背景知識

圖像模糊是由拍攝圖像過程中的各種因素引起，包括相機(jī)抖動、目標(biāo)運(yùn)動以及離焦等。根據(jù)模糊圖片的不同，一般將模糊圖片分為如下幾類：運(yùn)動模糊，離焦模糊，高斯模糊，以及混合模糊。

（1）運(yùn)動模糊：在光照充足的條件下，當(dāng)曝光時(shí)間足夠短時(shí)，相機(jī)可以捕捉到清晰的圖像。但是，當(dāng)曝光時(shí)間相對于物體或者相機(jī)運(yùn)動過長的時(shí)候，圖像會產(chǎn)生模糊，該模糊圖片一般被稱為運(yùn)動模糊。

（2）離焦模糊：除了運(yùn)動模糊之外，圖像清晰度還受到目標(biāo)位置以及相機(jī)焦距的影響。在相機(jī)的成像區(qū)域中，不同目標(biāo)的景深是不同的，當(dāng)相機(jī)的對焦系統(tǒng)無法對焦到某些目標(biāo)時(shí)，相機(jī)就會拍攝到離焦模糊的圖片。

（3）高斯模糊：高斯模糊是通過高斯卷積得到的一種模糊圖像。

（4）混合模糊：當(dāng)一個圖片同時(shí)被多種因素影響時(shí)，造成的模糊就是混合模糊，比如相機(jī)拍攝在離焦?fàn)顟B(tài)下的高速運(yùn)動物體時(shí)，得到的模糊就是一種混合模糊。

為了評估去模糊的效果，通常采用一些圖片評估算法，這些算法包括基于主觀和基于客觀的評測。主觀方法是不需要清晰圖像作參考的，一個具有代表性的指標(biāo)是 MOS，評測者用 1-5 的等級對圖像質(zhì)量進(jìn)行評分，之后對分?jǐn)?shù)進(jìn)行平均。對于圖像去模糊的問題，大多數(shù)現(xiàn)有方法都是根據(jù)基于客觀的指標(biāo)進(jìn)行評測，該方法可以進(jìn)一步分為兩類：有參考和無參考的指標(biāo)。有參考的指標(biāo)通過將恢復(fù)的圖像與清晰圖進(jìn)行比較來評估圖像質(zhì)量，包括 PSNR，SSIM, WSNR, MS-SSIM、IFC、NQM、UIQI、VIT、LPIPS 等等，其中 PSNR 跟 SSIM 是最常用的指標(biāo)。

與有參考的指標(biāo)不同，無參考指標(biāo)僅使用去模糊的圖像就可以衡量其質(zhì)量。常見的指標(biāo)包括 BIQI、BLINDS、BRISQUE、CORNIA、NIQE、SSEQ 等。此外，也有人通過測量去模糊算法對不同視覺任務(wù)（例如目標(biāo)檢測和識別）準(zhǔn)確性的影響，來評估圖像去模糊算法的性能。

非盲圖像去模糊

圖像去模糊的任務(wù)是根據(jù)給定的模糊圖像，恢復(fù)潛在的清晰圖像。當(dāng)已知圖片模糊核的情況下，則該問題也可以被稱為非盲圖像去模糊。盡管已知了模糊核，但是由于傳感器噪聲和高頻信息的丟失，該任務(wù)仍然具有挑戰(zhàn)性。

一些基于非深度學(xué)習(xí)的方法通常使用自然圖像先驗(yàn)，例如全局或者局部圖像先驗(yàn)，在空間域 或頻域中重建清晰的圖像。為了恢復(fù)出更好的圖片，近些年，一些基于空間反卷積和深度神經(jīng)網(wǎng)絡(luò)的方法相繼被提出。本文在下面表格中總結(jié)了現(xiàn)有的基于深度學(xué)習(xí)的非盲方法，這些方法可以大致分為兩組：第一組是基于反卷積去噪，而第二組是基于先驗(yàn)去噪聲：

盲圖像去模糊

當(dāng)模糊圖的模糊核未知時(shí)，圖像去模糊任務(wù)被稱為盲圖像去模糊。早期的盲圖像去模糊方法側(cè)重于去除均勻的模糊核。然而，真實(shí)世界的模糊圖像，其不同區(qū)域通常是由不同的模糊核生成，因此其模糊核是非均勻的。為了解決盲圖像的去模糊任務(wù)，多種基于深度學(xué)習(xí)的圖像去模糊算法被提出。本文在下面表格中總結(jié)了現(xiàn)有的基于深度學(xué)習(xí)的盲圖像去模糊方法，這些方法通常采用各種不同的網(wǎng)絡(luò)框架，包括多尺度網(wǎng)絡(luò)、對抗神經(jīng)網(wǎng)絡(luò)、級聯(lián)網(wǎng)絡(luò)、再模糊網(wǎng)絡(luò)等等。

損失函數(shù)

為了更好的訓(xùn)練深度去模糊網(wǎng)絡(luò)，各種各樣的損失函數(shù)被提出。早期的方法大部分是基于像素級內(nèi)容的損失函數(shù)，用于測量網(wǎng)絡(luò)訓(xùn)練過程中的去模糊圖片跟清晰圖片的重建誤差。考慮到像素級內(nèi)容的損失不能準(zhǔn)確衡量去模糊圖像的質(zhì)量，各種其他的損失函數(shù)被提出，包括基于對抗的損失函數(shù)、基于感知的損失函數(shù)、基于相對模糊的損失函數(shù)、基于光流的損失函數(shù)等等。

模型性能對比

本本總結(jié)了具有代表性的圖像去模糊跟視頻去模糊算法在主流數(shù)據(jù)集上的 PSNR/SSIM 指標(biāo)。

此外，本文總結(jié)了不同損失函數(shù)對去模糊方法的影響，模型在 non-reference 的評價(jià)指標(biāo)上的表現(xiàn)，以及模型的速度。

特定場景的圖像去模糊

當(dāng)前，絕大部分基于深度學(xué)習(xí)的圖像去模糊算法是不區(qū)分場景的，也就是他們是對常見的自然與人為設(shè)計(jì)的場景進(jìn)行去模糊。但是，在現(xiàn)實(shí)生活中，經(jīng)常會遇到一些特定場景的圖像去模糊。比如人臉去模糊、文本去模糊、雙目去模糊。本文總結(jié)了這些不同場景的特點(diǎn)，以及各自的深度去模糊算法。

機(jī)遇與挑戰(zhàn)

盡管圖像去模糊算法在主流數(shù)據(jù)集上取得了重大進(jìn)展，但把真實(shí)世界的模糊圖恢復(fù)成清晰的圖像仍然具有挑戰(zhàn)性。本文最后總結(jié)了圖像去模糊算法現(xiàn)在面臨的挑戰(zhàn)并討論了未來可能的研究機(jī)會，包括真實(shí)數(shù)據(jù)采集、損失函數(shù)、評價(jià)指標(biāo)、模型規(guī)模、無監(jiān)督學(xué)習(xí)等等。

審核編輯：郭婷