SwinIR:图像恢复

cvpr2021: https://arxiv.org/abs/2108.10257

代码:https://github.com/JingyunLiang/SwinIR

本文提出了一个基于Swin Transformer的用于图像恢复的强基线模型SwinIR,在图像超分辨率、去噪等任务上表现SOTA!

图像恢复是一个长期存在的低级视觉问题,旨在从低质量图像(例如,缩小、噪声和压缩图像)中恢复高质量图像.虽然最先进的图像恢复方法基于卷积神经网络,但很少有人尝试使用 Transformer,它们在high-level视觉任务中表现出令人印象深刻的性能。

在本文中,我们提出了一种基于 Swin Transformer 的强大基线模型 SwinIR 用于图像恢复。SwinIR由浅层特征提取、深层特征提取和高质量图像重建三部分组成。特别是,深度特征提取模块由几个残差 Swin Transformer 块 (RSTB) 组成,每个残差块都有几个 Swin Transformer 层和一个残差连接。我们对三个具有代表性的任务进行了实验:图像超分辨率(包括经典、轻量级和真实世界的图像超分辨率)、图像去噪(包括灰度和彩色图像去噪)和 JPEG 压缩伪影减少。实验结果表明,SwinIR 在不同任务上的表现优于最先进的方法高达 0.14 ∼ 0.45dB, 而参数的总数可以减少高达 67%.

网络结构:(感觉其实没啥创新点,就是用了swin block + 残差结构,但效果却挺好)

Shallow and deep feature extraction:3 ×3 convolutional layer

HQ Image Reconstruction:sub-pixel convolution layer or single
convolution layer

消融Ablation Study

实验结果

实验结果表明,SwinIR 在不同任务上的性能优于最先进的方法高达 0.14∼0.45dB,而参数总数最多可减少 67%。

作者多了很多实验:

SR:Classical image SR Lightweight image SR 和Real-world image SR


JPEG compression artifact reduction

Image Denoising

结果:

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注