首个基于纯Transformer的U-Net形的医学图像分割网络，其中利用Swin Transformer构建编码器、bottleneck和解码器，表现SOTA！性能优于TransUnet、Att-UNet等
单位：慕尼黑工业大学, 复旦大学, 华为(田奇等人)
代码：https://github.com/HuCaoFighting/Swin-Unet
论文下载链接：https://arxiv.org/abs/2105.0553
在过去的几年中，卷积神经网络（CNN）在医学图像分析中取得了里程碑式的进展。尤其是，基于U形架构和跳跃连接的深度神经网络已广泛应用于各种医学图像任务中。但是，尽管CNN取得了出色的性能，但是由于卷积操作的局限性，它无法很好地学习全局和远程语义信息交互。
在本文中，我们提出了Swin-Unet，它是用于医学图像分割的类似Unet的纯Transformer。标记化的图像块通过跳跃连接被馈送到基于Transformer的U形En-Decoder架构中，以进行局部全局语义特征学习。
具体来说，我们使用带有偏移窗口的分层Swin Transformer作为编码器来提取上下文特征。
实验结果
在对输入和输出进行4倍的直接下采样和上采样的情况下，对多器官和心脏分割任务进行的实验表明，基于纯Transformer的U形编码器/解码器网络优于那些全卷积或者Transformer和卷积的组合。
个人感觉，这个transformer架构下的参数量应该会大很多吧（近百M）？目前作者好像并未在论文中给出对比。另外就是这个 感觉没啥创新点..感觉没啥有点水。