阅读笔记(三)：Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration

admin管理员组

文章数量:1531367

Dual Residual Networks文章中去雾部分的阅读笔记

原文: Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration

原文代码github

博主的阅读笔记：

• Gaussian&real-world noise removal（去噪任务阅读笔记）

• motion blur removal （去运动模糊任务阅读笔记）

• raindrop removal （去雨滴任务阅读笔记）

• rain-streak removal （去雨线任务阅读笔记）

• 笔记总结（五种任务的对比）

---

文章目录

• • 去雾（Haze Removal）
  • • 网络设计
    • • RuRN-US
      • DuRB-US
      • 损失函数
    • 数据集
    • 实验设置
    • • Experimental Setting on Dehaze Dataset
      • Experimental Setting on RESIDE

---

去雾（Haze Removal）

网络设计

与以往的研究不同的是，本文使用CNN来明确地估计一个传输图，这个传输图模拟了雾霾的影响，而本文追求的是一个不同的策略，即通过一个注意力机制来隐含地估计一个传输图。本文的模型以端到端的方式估计输入图像的去雾图像。

RuRN-US

整个网络（RuRN-US），作者采用一个对称的自编码-解码器网络（类似于DuRN-U）：

• 堆叠12个DuRB-US块
• 所有层的通道数量均为64

DuRB-US

作者采样上采样和通道注意用于成对操作，并把它称为DuRB-US：

其中：

​ c c c 为卷积层， T 1 l T_1^l T1l​ 和 T 2 l T_2^l T2l​ 为两个成对操作：分别为上采样和通道注意操作。

​ T 1 l T_1^l T1l​ ：上采样（up-sampling）+ 一个卷积层（ c t 1 l ct_1^l ct1l​ ）

​ T 2 l T_2^l T2l​ ：通道注意（ channel-wise attention，se）+ 一个卷积层（ c t 2 l ct_2^l ct2l​）

​ T 2 l T_2^l T2l​ 中的se如图所示：

fc为nn.Linear()，即全连接层（fully connected layer）

特别地：channel-wise attention使用的是SE-ResNet的SE模块。

​ SE-ResNet论文：Squeeze-and-excitation networks（该论文对通道注意(CA)的机制原理讲的非常具体，建议阅读）。文献是用于分类任务，提出了新的架构单元，即“Squeeze-and-Excitation”(SE)块，这项工作拿到了ImageNet2017 image classification 的冠军。

另外：博主也在另一篇博客对CA进行了粗略的解释，或请移步RCAN阅读笔记(CA讲解在目录可直达Channel Attention（CA）)

c t 1 l ct_1^l ct1l​ 和 c t 2 l ct_2^l ct2l​ 的具体细节：

• c t 1 l ct_1^l ct1l​ （“recp.”表示感受野， l l l 表示第几个DuRB-U）

• c t 2 l ct_2^l ct2l​

  对所有的DuRB-US块，采用同样的 c t 2 l ct_2^l ct2l​ ：kernel size = 3×3, dilation rate = 1 and stride = 2，执行简单的下采样操作。

损失函数

​ SSIM和 l 1 l_1 l1​ 损失的加权和

数据集

在两个数据集上训练和测试DuRN-US的性能：

1. Dehaze Dataset

   Dehaze Dataset 中的训练和测试子集（Dehaze-TsetA）包含4000张和400张无重叠的室内场景图像

2. RESIDE dataset

   RESIDE 由一个包含13990个样本的训练子集和一些测试子集所组成。使用包含500个室内场景样本的子集SOTS（Synthetic Objective Testing Set）用于测试。

   RESIDE dataset的具体信息见博主的另一篇博客：FFA-Net：文章理解与代码注释（目录直达数据集和指标（Datasets and Metrics））

实验设置

Experimental Setting on Dehaze Dataset

训练中，设置batch size = 20，input size = 256x256（通过对原始512x512训练图像随机裁剪获得）

Experimental Setting on RESIDE

训练中，设置batch size = 48，input size = 256x256（通过对原始620x460图像随机裁剪获得）

本文标签： 笔记ResidualNetworksLeveragingDual