CVPR 2018｜Poster論文：處理多種退化類型的卷積超分辨率

阿里巴巴授權發佈

機器之心編輯部

本文介紹了 CVPR 2018 的一篇 Poster 論文《Learning a Single Convolutional Super-Resolution Network for Multiple Degradations》。

論文地址：http://www4.comp.polyu.edu.hk/~cslzhang/paper/CVPR18_SRMD.pdf

1．摘要

近年來，深度卷積神經網絡（CNN）方法在單幅圖像超分辨率（SISR）領域取得了非常大的進展。然而現有基於 CNN 的 SISR 方法主要假設低分辨率（LR）圖像由高分辨率（HR）圖像經過雙三次 (bicubic) 降採樣得到，因此當真實圖像的退化過程不遵循該假設時，其超分辨結果會非常差。此外，現有的方法不能擴展到用單一模型解決多種不同的圖像退化類型。爲此，提出了一種維度拉伸策略使得單個卷積超分辨率網絡能夠將 SISR 退化過程的兩個關鍵因素（即模糊核和噪聲水平）作爲網絡輸入。歸因於此，訓練得到超分辨網絡模型可以處理多個甚至是退化空間不均勻的退化類型。實驗結果表明提出的卷積超分辨率網絡可以快速、有效的處理多種圖像退化類型，爲 SISR 實際應用提供了一種高效、可擴展的解決方案。

2．引言

單幅圖像超分辨率（SISR）的目的是根據單幅低分辨（LR）圖像輸入得到清晰的高分辨率（HR）圖像。一般來說，LR 圖像 y 是清晰 HR 圖像 x 由下面的退化過程得來，。

其中表示 HR 清晰圖像 x 與模糊核 k 之間的卷積，表示係數爲 s 的降採樣算子，n 表示標準差（噪聲水平）爲的加性高斯白噪聲（AWGN）。

SISR 方法主要分爲三類：基於插值的方法、基於模型的方法以及基於判別學習的方法。基於插值的方法（例如：最近鄰插值、雙三次插值）雖然速度快，但是其效果比較差。基於模型的方法通過引入圖像先驗，例如：非局部相似性先驗、去噪先驗等，然後求解目標函數得到視覺質量較好的 HR 圖像，然而速度較慢。雖然結合基於 CNN 的去噪先驗可以在某種程度上提升速度，但仍然受限於一些弊端，例如：無法進行端對端的訓練，包含一些比較難調的參數等。基於判別學習的方法尤其是基於 CNN 的方法因其速度快、可以端對端的學習因而效果好等在近幾年受到了廣泛關注，並且逐漸成爲解決 SISR 的主流方法。

自從首個用 CNN 解決 SISR 的工作 SRCNN 在 ECCV（2014）發表以來，各種不同的改進方法相繼提出。例如，VDSR 在 PSNR 指標上取得了非常大的提升；ESPCN 和 FSRCNN 分別在速度上進行了改進；SRGAN 在放大倍數較大情況下針對視覺效果的改善提出了有效的方法。然而這些方法都存在一個共同缺點，也就是它們只考慮雙三次 (bicubic) 降採樣退化模型並且不能靈活的將其模型擴展到同時（非盲）處理其它退化類型。由於真實圖像的退化過程多種多樣，因而此類方法的有效實際應用場景非常有限。一些 SISR 工作已經指出圖像退化過程中的模糊核的準確性對 SISR 起着至關重要的作用，然而並沒有基於 CNN 的相關工作將模糊核等因素考慮在內。爲此引出本文主要解決的問題：是否可以設計一個非盲超分辨率（non-blind SISR）模型用以解決不同的圖像退化類型？

3．方法

本文首先分析了在最大後驗（MAP）框架下的 SISR 方法，藉此希望可以指導 CNN 網絡結構的設計。由於 SISR 問題的不適定性，通常需要引入正則項來約束解空間。具體來說，LR 圖像 y 對應的 HR 圖像 x 可以通過求解下述問題近似，

其中爲似然（也即數據保真）項，爲先驗（也即正則）項，爲似然項和先驗項之間的權衡參數。簡單來說，上述公式包含兩點：1）估計得到的 HR 圖像不僅要符合 SISR 的退化過程，並且還要滿足清晰圖像所具有的先驗特徵；2）對於非盲超分辨率問題，x 的求解與 LR 圖像 y、模糊核 k、噪聲水平以及權衡參數有關。簡而言之，非盲 SISR 的 MAP 估計可以表示爲，其中爲 MAP 估計中的參數。進而如果將 CNN 看作 MAP 估計另一種形式的解，那麼有如下結論：

1)由於數據保真項對應着 SISR 的退化過程，因此退化過程的準確建模對 SISR 的結果起着至關重要的作用。然而現有的基於 CNN 的方法其目標是求解下面的問題,。由於沒有將模糊核和噪聲等因素考慮在內，因此其實用性非常有限。

2)爲了設計更加有效的基於 CNN 的 SISR 模型，應該將更多的圖像退化類型考慮在內，一個簡單的思路就是將模糊核 k 和噪聲水平也作爲網絡的輸入。由於權衡參數可以融入噪聲水平之中，因此 CNN 映射函數可以簡化成如下形式：

3)由於 MAP 估計中大部分的參數都對應着圖像先驗部分，而圖像先驗是與圖像退化過程不相關的，因此單一的 CNN 模型具有處理不同退化類型的建模能力。

通過上述分析可以得出非盲 SISR 應該將退化模型中的模糊核和噪聲水平也作爲網絡的輸入。然而 LR 圖像、模糊核和噪聲水平三者的維度是不同的，因此不能直接作爲 CNN 的輸入。爲此本文提出了一種維度拉伸策略。假設 LR 圖像大小爲，首先將向量化的模糊核 PCA 降維，然後和噪聲水平並在一起得到一個t+1維的向量 v，接着將v拉伸爲維的張量，我們將此張量稱之爲退化圖（Degradation Maps），其中第i個圖的所有元素均爲。

圖 1：維度拉伸示意圖。

至此，我們可以將退化圖和 LR 圖像合併在一起作爲 CNN 的輸入。爲了證明此策略的有效性，選取了快速有效的 ESPCN 超分辨網絡結構框架。值得注意的是爲了加速訓練過程的收斂速度，同時考慮到 LR 圖像中包含高斯噪聲，因此網絡中加入了 Batch Normalization 層。

圖 2 給出了提出的超分辨率網絡（簡稱 SRMD）結構框架。

圖 2：提出的超分辨率網絡結構框架（卷積層數爲 12，每層通道數爲 128）。

4．實驗

在訓練階段，SRMD 採用了各向同性和各向異性的高斯模糊核、噪聲水平在 [0, 75] 之間的高斯白噪聲以及 bicubic 降採樣算子。需要指出的是 SRMD 可以擴展到其它降採樣算子，甚至其它退化模型。

在測試階段，SRMD 比較了不同方法在同爲 bicubic 降採樣退化下的 PSNR 和 SSIM 結果（如表 1 所示）。可以看出雖然 SRMD 是用來處理各種不同的退化類型，但是仍然在 bicubic 降採樣退化下取得不錯的效果。需要指出的是 SRMD 在速度上也有很大的優勢，在 Titan Xp GPU 上處理 512 × 512 的 LR 圖像僅需 0.084 秒，是 VDSR 超分辨率兩倍所用時間的一半。表 2 給出了不同退化類型下的 PSNR 和 SSIM 結果比較，可以看到 SRMD 同樣取得了不錯的效果。圖 4 舉例說明了 SRMD 可以設定非均勻退化圖，進而可以處理退化空間不均勻的 LR 圖像。最後，圖 5 展示了不同方法在真實圖像上的視覺效果比較，可以看到 SRMD 復原的 HR 圖像在視覺效果上明顯優於其它方法。