
cvpr2021: https://arxiv.org/abs/2108.10257
代码:https://github.com/JingyunLiang/SwinIR
本文提出了一个基于Swin Transformer的用于图像恢复的强基线模型SwinIR,在图像超分辨率、去噪等任务上表现SOTA!
图像恢复是一个长期存在的低级视觉问题,旨在从低质量图像(例如,缩小、噪声和压缩图像)中恢复高质量图像.虽然最先进的图像恢复方法基于卷积神经网络,但很少有人尝试使用 Transformer,它们在high-level视觉任务中表现出令人印象深刻的性能。
在本文中,我们提出了一种基于 Swin Transformer 的强大基线模型 SwinIR 用于图像恢复。SwinIR由浅层特征提取、深层特征提取和高质量图像重建三部分组成。特别是,深度特征提取模块由几个残差 Swin Transformer 块 (RSTB) 组成,每个残差块都有几个 Swin Transformer 层和一个残差连接。我们对三个具有代表性的任务进行了实验:图像超分辨率(包括经典、轻量级和真实世界的图像超分辨率)、图像去噪(包括灰度和彩色图像去噪)和 JPEG 压缩伪影减少。实验结果表明,SwinIR 在不同任务上的表现优于最先进的方法高达 0.14 ∼ 0.45dB, 而参数的总数可以减少高达 67%.

网络结构:(感觉其实没啥创新点,就是用了swin block + 残差结构,但效果却挺好)

Shallow and deep feature extraction:3 ×3 convolutional layer
HQ Image Reconstruction:sub-pixel convolution layer or single
convolution layer

消融Ablation Study


实验结果
实验结果表明,SwinIR 在不同任务上的性能优于最先进的方法高达 0.14∼0.45dB,而参数总数最多可减少 67%。
作者多了很多实验:
SR:Classical image SR Lightweight image SR 和Real-world image SR

JPEG compression artifact reduction

Image Denoising
结果:

