分类： 图像or视频去噪/超分辨率

ISCAS 2022的一篇文章，作为首个Swin Transformer在图像去噪领域的应用，效果来说感觉还有很大提高空间。但不的不说，自从Swin Transformer（2021）提出后，在整个cv领域独领风骚。作为一个通用的架构，可以将其应用在各个cv领域，从paperwithcode里就可以见其影响力：（截止到22.8.28）

1、目标检测：

2、图像超分辨率

3、实例分割：

4、3D医学图像分割：

今天，就来看看Swin Transformer 对于图像去噪任务的处理效果：

个人觉得 Swin Transformer 对于去噪来说还有很大的扩展空间，这篇论文的模型效果不是很好，可以值得去尝试尝试，看看有没有更好的方法提高模型效果。

论文的主要贡献：

1、结合Unet网络+ Swin Transformer

2、提出了一个双上采样模块 dual up-sample block

3、首个将Swin +unet用于图像去噪领域

4、在 两个通用数据集中测试的结果还不错

网络结构：

网络分为三个部分：1)Shallow feature extraction; 2) UNet feature extraction; and
3) Reconstruction module

1、Shallow feature extraction

使用3*3卷积，提取特征，输出通道96

2、 UNet feature extraction

带有 Swin Transformer Block 的UNET体系结构，其中包含8个 Swin Transformer 层，以取代卷积。
Swin Transformer Block（STB）和Swin Transformer层（STL）：

这块建议去看 Swin Transformer 论文，讲的比较清楚。注意此时的输入输出大小完全一致，因此需要下采样。

下采样： Patch merging

Patch merging:通过查看Patch merging的源码，可以看到，其实就是一个下采样的过程，它可以看成一种加权池化的过程。实现维度下采样、特征加倍的效果。

class PatchMerging(nn.Module):
    def __init__(self, input_resolution, dim, norm_layer=nn.LayerNorm):
        super().__init__()
        self.input_resolution = input_resolution
        self.dim = dim
        self.reduction = nn.Linear(4 * dim, 2 * dim, bias=False)
        self.norm = norm_layer(4 * dim)

    def forward(self, x):
        """
        x: B, H*W, C
        """
        H, W = self.input_resolution
        B, L, C = x.shape
        assert L == H * W, "input feature has wrong size"
        assert H % 2 == 0 and W % 2 == 0, f"x size ({H}*{W}) are not even."

        x = x.view(B, H, W, C)

        x0 = x[:, 0::2, 0::2, :]  # B H/2 W/2 C
        x1 = x[:, 1::2, 0::2, :]  # B H/2 W/2 C
        x2 = x[:, 0::2, 1::2, :]  # B H/2 W/2 C
        x3 = x[:, 1::2, 1::2, :]  # B H/2 W/2 C
        x = torch.cat([x0, x1, x2, x3], -1)  # B H/2 W/2 4*C
        x = x.view(B, -1, 4 * C)  # B H/2*W/2 4*C

        x = self.norm(x)
        x = self.reduction(x)

        return x

上采样：Dual up-sample

作者提出了 上采样，

该模块包括两种现有的上样本方法（即双线性和PixelShuffle），以防止棋盘伪影（Deconvolution and Checkerboard Artifacts中提出的）https://distill.pub/2016/deconv-checkerboard/ 产生原因：主要是出现在反卷积中。

通过两种上采样后,cat维度拼接后，通过一个卷积层将维度减半C/2

实验：

如上图所示。

论文：Real-ESRGAN: TrainingReal-World Blind Super-Resolution with Pure Synthetic Data

代码：https://github.com/xinntao/Real-ESRGAN

Real-ESRGAN 的目标是开发出实用的图像/视频修复算法。
在 ESRGAN 的基础上使用纯合成的数据来进行训练，以使其能被应用于实际的图片修复的场景（顾名思义：Real-ESRGAN）。

1. 目标：解决真实场景下的图像模糊问题。
2. 数据集的构建：模糊核、噪声、尺寸缩小、压缩四种操作的随机顺序。
3. 超分网络backbone：ESRGAN的生成网络+U-Net discriminator判别器。
4. 损失函数：L1 loss，perceptual loss，生成对抗损失。
5. 主要对比方法是：RealSR、ESRGAN、BSRGAN、DAN、CDC。

创新点

1. 提出了新的构建数据集的方法，用高阶处理，增强降阶图像的复杂度。
2. 构造数据集时引入sinc filter，解决了图像中的振铃和过冲现象。
3. 替换原始ESRGAN中的VGG-discriminator，使用U-Net discriminator，以增强图像的对细节上的对抗学习。
4. 引入spectral normalization以稳定由于复杂数据集和U-Net discriminator带来的训练不稳定情况。

数据集构建

在讨论数据集的构建前，作者详细讨论了造成图像模糊的原因，例如：年代久远的手机、传感器噪声、相机模糊、图像编辑、图像在网络中的传输、JPEG压缩以及其它噪声。原文如下：

For example, when we take a photo with our cellphones, the photos may have several degradations, such as camera blur, sensor noise, sharpening artifacts, and JPEG compression. We then do some editing and upload to a social media APP, which introduces further compression and unpredictable noises.

所以作者针对以上问题，提出了High-order降级模型。先面我们先介绍first-order降级模型，然后就很好理解High-order降级模型了。

First-order

First-order降级模型其实就是常规的降级模型，如上式所示，按顺序执行上述操作。

x代表降级后的图像，D代表降级函数，y代表原始图像；
k代表模糊核，r代表缩小比例，n代表加入的噪声，JPEG代表进行压缩。

每一种降级方法又有多种降级方案可以选择，如下图所示：

对于模糊核k，本方法使用各项同性（isotropic）和各向异性（anisotropic）的高斯模糊核。关于sinc filter会在下文中提到。

对于缩小操作r，常用的方法又双三次插值、双线性插值、区域插值—由于最近邻插值需要考虑对齐问题，所以不予以考虑。在执行缩小操作时，本方法从提到的3种插值方式中随机选择一种。

对于加入噪声操作n，本方法同时加入高斯噪声和服从泊松分布的噪声。同时，根据待超分图像的通道数，加入噪声的操作可以分为对彩色图像添加噪声和对灰度图像添加噪声。

JPEG压缩，本方法通过从[0, 100]范围中选择压缩质量，对图像进行JPEG压缩，其中0表示压缩后的质量最差，100表示压缩后的质量最好。JPEG压缩方法点此处。

• High-order

First-order由于使用相对单调的降级方法，其实很难模仿真实世界中的图像低分辨模糊情况。因此，作者提出的High-order其实是为了使用更复杂的降级方法，更好的模拟真实世界中的低分辨模糊情况，从而达到更好的学习效果。一阶降级模型构建的数据集训练结果如下：

高阶降级模型公式如下：

上式，其实就是对First-order进行多次重复操作，也就是每一个D都是执行一次完整的First-order降级。作者通过实验得出，当执行2次First-order时生成的数据集训练效果最好。所以，High-order的pipeline如下：

• sinc filter

为了解决超分图像的振铃和过冲现象（振铃和过冲在图像处理中很常见，此处不过多介绍），作者提出了在构建降级模型中增加sinc filter的操作。先来看一下振铃和过冲伪影的效果：

上图表示实际中的振铃和过冲伪影现象，下图表示通过对sinc filter设置不同的因子人工模仿的振铃和过冲伪影现象。过于如何构造sinc filter，详细细节建议看原文。

sinc filter在两个位置进行设置，一是在每一阶的模糊核k的处理中，也就是在各项同性和各项异性的高斯模糊之后，设置sinc filter；二是在最后一阶的JPEG压缩时，设置sinc filter，其中最后一阶的JPEG和sinc filter执行先后顺序是随机的。

网络结构

• 生成网络

生成网络是ESRGAN的生成网络，基本没变，只是在功能上增加了对x2和x1倍的图像清晰度提升。对于x4倍的超分辨，网络完全按照ESRGAN的生成器执行；而对于X2和X1倍的超分辨，网络先进行pixel-unshuffle（pixel-shuffl的反操作，pixel-shuffle可理解为通过压缩图像通道而对图像尺寸进行放大），以降低图像分辨率为前提，对图像通道数进行扩充，然后将处理后的图像输入网络进行超分辨重建。举个例子：对于一幅图像，若只想进行x2倍放大变清晰，需先通过pixel-unshuffle进行2倍缩小，然后通过网络进行4倍放大。

对抗网络

由于使用的复杂的构建数据集的方式，所以需要使用更先进的判别器对生成图像进行判别。之前的ESRGAN的判别器更多的集中在图像的整体角度判别真伪，而使用U-Net 判别器可以在像素角度，对单个生成的像素进行真假判断，这能够在保证生成图像整体真实的情况下，注重生成图像细节。

• 光谱标准正则化

通过加入这一操作，可以缓和由于复杂数据集合复杂网络带来的训练不稳定问题。

训练

分为两步：

1. 先通过L1 loss，训练以PSRN为导向的网络，获得的模型称为Real-ESRNet。
2. 以Real-ESRNet的网络参数进行网络初始化，损失函数设置为 L1 loss、perceptual loss、 GAN loss，训练最终的网络Real-ESRGAN。

论文：https://arxiv.org/abs/1809.00219

github: https://github.com/xinntao/ESRGAN

ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks发表于ECCV 2018 的 Workshops，在SRGAN的基础上进行了改进，包括改进网络的结构，判决器的判决形式，以及更换了一个用于计算感知域损失的预训练网络。

超分辨率生成对抗网络（SRGAN）是一项开创性的工作，能够在单一图像超分辨率中生成逼真的纹理。这项工作发表于CVPR 2017，

文章链接：Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network

但是，放大后的细节通常伴随着令人不快的伪影。为了更进一步地提升视觉质量，作者仔细研究了SRGAN的三个关键部分：1.网络结构 2.对抗性损失 3.感知域损失；并对每一项进行改进，得到ESRGAN。具体而言，文章提出了一种Residual-in-Residual Dense Block (RRDB)的网络单元，在这个单元中，去掉了BN（Batch Norm）层。此外，作者借鉴了relativistic GAN的想法，让判别器预测图像的真实性而不是图像“是否是fake图像”。最后，文章对感知域损失进行改进，使用激活前的特征，这样可以为亮度一致性和纹理恢复提供更强的监督。在这些改进的帮助下，ESRGAN得到了更好的视觉质量以及更逼真和自然的纹理。

SRGAN的思考与贡献

现有的超分辨率网络在不同的网络结构设计以及训练策略下，超分辨的效果得到了很大的提升，特别是PSNR指标。但是，基于PSNR指标的模型会倾向于生成过度平滑的结果，这些结果缺少必要的高频信息。PSNR指标与人类观察者的主观评价从根本上就不统一。

一些基于感知域信息驱动的方法已经提出来用于提升超分辨率结果的视觉质量。例如，感知域的损失函数提出来用于在特征空间（instead of 像素空间）中优化超分辨率模型；生成对抗网络通过鼓励网络生成一些更接近于自然图像的方法来提升超分辨率的质量；语义图像先验信息用于进一步改善恢复的纹理细节。

通过结合上面的方法，SRGAN模型极大地提升了超分辨率结果的视觉质量。但是SRGAN模型得到的图像和GT图像仍有很大的差距。

ESRGAN的改进

文章对这三点做出改进：1.网络的基本单元从基本的残差单元变为Residual-in-Residual Dense Block (RRDB)；2.GAN网络改进为Relativistic average GAN (RaGAN)；3.改进感知域损失函数，使用激活前的VGG特征，这个改进会提供更尖锐的边缘和更符合视觉的结果。

网络结构及思想

生成器部分

首先，作者参考SRResNet结构作为整体的网络结构，SRResNet的基本结构如下：

为了提升SRGAN重构的图像的质量，作者主要对生成器G做出如下改变：1.去掉所有的BN层；2.把原始的block变为Residual-in-Residual Dense Block (RRDB)，这个block结合了多层的残差网络和密集连接。

如下图所示：

思想：

BN层的影响

对于不同的基于PSNR的任务（包括超分辨率和去模糊）来说，去掉BN层已经被证明会提高表现和减小计算复杂度。BN层在训练时，使用一个batch的数据的均值和方差对该batch特征进行归一化，在测试时，使用在整个测试集上的数据预测的均值和方差。当训练集和测试集的统计量有很大不同的时候，BN层就会倾向于生成不好的伪影，并且限制模型的泛化能力。作者发现，BN层在网络比较深，而且在GAN框架下进行训练的时候，更会产生伪影。这些伪影偶尔出现在迭代和不同的设置中，违反了对训练稳定性能的需求。所以为了稳定的训练和一致的性能，作者去掉了BN层。此外，去掉BN层也能提高模型的泛化能力，减少计算复杂度和内存占用。

Trick：

除了上述的改进，作者也使用了一些技巧来训练深层网络：1.对残差信息进行scaling，即将残差信息乘以一个0到1之间的数，用于防止不稳定；2.更小的初始化，作者发现当初始化参数的方差变小时，残差结构更容易进行训练。

判别器部分

除了改进的生成器，作者也基于Relativistic GAN改进了判别器。判别器 D 使用的网络是 VGG 网络，SRGAN中的判别器D用于估计输入到判别器中的图像是真实且自然图像的概率，而Relativistic判别器则尝试估计真实图像相对来说比fake图像更逼真的概率。

具体而言，作者把标准的判别器换成Relativistic average Discriminator（RaD），所以判别器的损失函数定义为：

求均值的操作是通过对mini-batch中的所有数据求平均得到的，xf是原始低分辨图像经过生成器以后的图像。

可以观察到，对抗损失包含了xr和xf，所以这个生成器受益于对抗训练中的生成数据和实际数据的梯度，这种调整会使得网络学习到更尖锐的边缘和更细节的纹理。

感知域损失

文章也提出了一个更有效的感知域损失，使用激活前的特征（VGG16网络）。

感知域的损失当前是定义在一个预训练的深度网络的激活层，这一层中两个激活了的特征的距离会被最小化。与此相反，文章使用的特征是激活前的特征，这样会克服两个缺点。第一，激活后的特征是非常稀疏的，特别是在很深的网络中。这种稀疏的激活提供的监督效果是很弱的，会造成性能低下；第二，使用激活后的特征会导致重建图像与GT的亮度不一致。

作者对使用的感知域损失进行了探索。与目前多数使用的用于图像分类的VGG网络构建的感知域损失相反，作者提出一种更适合于超分辨的感知域损失，这个损失基于一个用于材料识别的VGG16网络（MINCNet），这个网络更聚焦于纹理而不是物体。尽管这样带来的增益很小，但作者仍然相信，探索关注纹理的感知域损失对超分辨至关重要。

损失函数

经过上面对网络模块的定义和构建以后，再定义损失函数，就可以进行训练了。

对于生成器G，它的损失函数为：

代码解析：

https://zhuanlan.zhihu.com/p/54473407?utm_id=0

3.提取感知域损失的网络（Perceptual Network）

文章使用了一个用于材料识别的VGG16网络（MINCNet）来提取感知域特征，定义如下：

class MINCNet(nn.Module):
    def __init__(self):
        super(MINCNet, self).__init__()
        self.ReLU = nn.ReLU(True)
        self.conv11 = nn.Conv2d(3, 64, 3, 1, 1)
        self.conv12 = nn.Conv2d(64, 64, 3, 1, 1)
        self.maxpool1 = nn.MaxPool2d(2, stride=2, padding=0, ceil_mode=True)
        self.conv21 = nn.Conv2d(64, 128, 3, 1, 1)
        self.conv22 = nn.Conv2d(128, 128, 3, 1, 1)
        self.maxpool2 = nn.MaxPool2d(2, stride=2, padding=0, ceil_mode=True)
        self.conv31 = nn.Conv2d(128, 256, 3, 1, 1)
        self.conv32 = nn.Conv2d(256, 256, 3, 1, 1)
        self.conv33 = nn.Conv2d(256, 256, 3, 1, 1)
        self.maxpool3 = nn.MaxPool2d(2, stride=2, padding=0, ceil_mode=True)
        self.conv41 = nn.Conv2d(256, 512, 3, 1, 1)
        self.conv42 = nn.Conv2d(512, 512, 3, 1, 1)
        self.conv43 = nn.Conv2d(512, 512, 3, 1, 1)
        self.maxpool4 = nn.MaxPool2d(2, stride=2, padding=0, ceil_mode=True)
        self.conv51 = nn.Conv2d(512, 512, 3, 1, 1)
        self.conv52 = nn.Conv2d(512, 512, 3, 1, 1)
        self.conv53 = nn.Conv2d(512, 512, 3, 1, 1)

    def forward(self, x):
        out = self.ReLU(self.conv11(x))
        out = self.ReLU(self.conv12(out))
        out = self.maxpool1(out)
        out = self.ReLU(self.conv21(out))
        out = self.ReLU(self.conv22(out))
        out = self.maxpool2(out)
        out = self.ReLU(self.conv31(out))
        out = self.ReLU(self.conv32(out))
        out = self.ReLU(self.conv33(out))
        out = self.maxpool3(out)
        out = self.ReLU(self.conv41(out))
        out = self.ReLU(self.conv42(out))
        out = self.ReLU(self.conv43(out))
        out = self.maxpool4(out)
        out = self.ReLU(self.conv51(out))
        out = self.ReLU(self.conv52(out))
        out = self.conv53(out)
        return out

再引入预训练参数，就可以进行特征提取：

class MINCFeatureExtractor(nn.Module):
    def __init__(self, feature_layer=34, use_bn=False, use_input_norm=True, \
                device=torch.device('cpu')):
        super(MINCFeatureExtractor, self).__init__()

        self.features = MINCNet()
        self.features.load_state_dict(
            torch.load('../experiments/pretrained_models/VGG16minc_53.pth'), strict=True)
        self.features.eval()
        # No need to BP to variable
        for k, v in self.features.named_parameters():
            v.requires_grad = False

    def forward(self, x):
        output = self.features(x)
        return output

网络插值思想

为了平衡感知质量和PSNR等评价值，作者提出了一个灵活且有效的方法—网络插值。具体而言，作者首先基于PSNR方法训练的得到的网络G_PSNR，然后再用基于GAN的网络G_GAN进行finetune。

然后，对这两个网络相应的网络参数进行插值得到一个插值后的网络G_INTERP：

这样就可以通过 α 值来调整效果

训练细节

训练细节

放大倍数：4，mini-batch：16

通过Matlab的bicubic函数对HR图像进行降采样得到LR图像。

HR patch大小：128×128（实验发现使用大的patch时，训练一个深层网络效果会更好，因为一个增大的感受域会帮助模型捕捉更具有语义的信息）

训练过程：

1.训练一个基于PSNR指标的模型（L1 Loss）

初始化学习率：2×1e-4

每200000个mini-batch学习率除以2

2.以1中训练的模型作为生成器的初始化

λ=5×10−3,η=0.01,β=0.2 （残差scaling系数）

初始学习率：1e-4，并在50k，100k，200k，300k迭代后减半。

一个基于像素损失函数进行优化的预训练模型会帮助基于GAN的模型生成更符合视觉的结果，原因如下：1.可以避免生成器不希望的局部最优；2.再预训练以后，判别器所得到的输入图像的质量是相对较好的，而不是完全初始化的图像，这样会使判别器更关注到纹理的判别。

优化器：Adam( β1=0.9,β2=0.999 )；交替更新生成器和判别器，直到收敛。

生成器的设置：1.16层（基本的残差结构） 2.23层（RDDB）

数据集：DIV2K，Flickr2K，OST；(有丰富纹理信息的数据集会是模型产生更自然的结果)

经过实验以后，作者得出结论：

1.去掉BN：并没有降低网络的性能，而且节省了计算资源和内存占用。而且发现当网络变深变复杂时，带BN层的模型更倾向于产生影响视觉效果的伪影。

2.使用激活前的特征：得到 的图像的亮度更准确，而且可以产生更尖锐的边缘和更丰富的细节。

3.RaGAN：产生更尖锐的边缘和更丰富的细节。

4.RDDB：更加提升恢复得到的纹理（因为深度模型具有强大的表示能力来捕获语义信息），而且可以去除噪声。

网络插值实验

为了平衡视觉效果和PSNR等性能指标，作者对网络插值参数 α 的取值进行了实验，结果如下：

总结

文章提出的ESRGAN在SRGAN的基础上做出了改进，包括去除BN层，基本结构换成RDDB，改进GAN中判别器的判别目标，以及使用激活前的特征构成感知域损失函数，实验证明这些改进对提升输出图像的视觉效果都有作用。此外，作者也使用了一些技巧来提升网络的性能，包括对残差信息的scaling，以及更小的初始化。最后，作者使用了一种网络插值的方法来平衡输出图像的视觉效果和PSNR等指标值。