【导读】近年来，Transformer方兴未艾，但是其内在的二次复杂度阻碍了它在长序列和大模型上的进一步发展。清华大学软件学院机器学习实验室从网络流理论出发，提出任务通用的线性复杂度主干网络Flowformer，在长序列、视觉、自然语言、时间序列、强化学习五大任务上取得优秀效果。

任务通用是基础模型研究的核心目标之一，同时也是深度学习研究通向高级智能的必经之路。
近年来，得益于注意力机制的通用关键建模能力，Transformer在众多领域中表现优异，逐渐呈现出通用架构的趋势。但是随着序列长度的增长，标准注意力机制的计算呈现二次复杂度，严重阻碍了其在长序列建模与大模型中的应用。

为此，来自清华大学软件学院的团队深入探索了这一关键问题，提出了任务通用的线性复杂度主干网络Flowformer，在保持标准Transformer的通用性的同时，将其复杂度降至线性，论文被ICML 2022接受。

作者列表：吴海旭，吴佳龙，徐介晖，王建民，龙明盛

链接：https://arxiv.org/abs/2202.06258

代码：https://github.com/thuml/Flowformer相比于标准Transformer，本文提出的Flowformer模型，具有以下特点：

• 线性复杂度，可以处理数千长度的输入序列；
• 没有引入新的归纳偏好，保持了原有注意力机制的通用建模能力；
• 任务通用，在长序列、视觉、自然语言、时间序列、强化学习五大任务上取得优秀效果。

本文深入研究了注意力机制存在的二次复杂度问题，通过将网络流中的守恒原理引入设计，自然地将竞争机制引入到注意力计算中，有效避免了平凡注意力问题。

我们提出的任务通用的骨干网络Flowformer，实现了线性复杂度，同时在长序列、视觉、自然语言、时间序列、强化学习五大任务上取得优秀效果。

在长序列建模应用上，如蛋白质结构预测、长文本理解等，Flowformer具有良好的应用潜力。此外，Flowformer中“无特殊归纳偏好”的设计理念也对通用基础架构的研究具有良好的启发意义。

MLP-Mixer是ViT团队的另一个纯MLP架构的尝试。如果MLP-Mixer重新引领CV领域主流架构的话，那么CV领域主流架构的演变过程就是MLP->CNN->Transformer->MLP? 要回到最初的起点了吗？？？( Transformer移除了注意力以后就剩MLP了)

这篇论文提出了一种”纯“MLP结构的视觉架构。

先将输入图片拆分成patches，然后通过Per-patch Fully-connected将每个patch转换成feature embedding，然后送入N个Mixer Layer，最后通过Fully-connected进行分类。

Mixer分为channel-mixing MLP和token-mixing MLP两类。channel-mixing MLP允许不同通道之间进行交流；token-mixing MLP允许不同空间位置(tokens)进行交流。这两种类型的layer是交替堆叠的，方便支持两个输入维度的交流。每个MLP由两层fully-connected和一个GELU构成。

从上图我们可以看出，MLP -Mixer 首先使用图片分成很多个小正方形的patch,每个patch的大小定义为patch_size。论文中实现这一步骤使用的是前面提到的卷积，卷积核的大小和步长均patch_size。论文中给的参数，也是2的幂。
网络不再使用传统的RELU激活函数，而是使用了GELU激活函数。

将图片分成小块后，在将它转换为一维结构。如图：

然后将每一个patch进行转换，如下图所示：

通过这样一种方式呢，就将一张图片转换为了一个大矩阵，就可以输入到Mixer Layer 中进行计算。

MLP 是两个全连接层的感知机,W1,W2,对应token_mixer中两个全连接的权重，W3,W4则表示channel_mixer两个全连接的权重。σ表示GELU激活函数。那么公示就很简单了，输入X经过Layer Normalize,再乘以W1，再经过激活函数后乘以W2，再加上X。第二个公式也是相同的计算过程。
将前面通过编码得到的矩阵经过Layer Norm 在将矩阵进行旋转（T 表示旋转）连接MLP1,MLP1 就是文章token_mixer 用来寻找像素与像素之间的关系，其中，MLP1中的权值共享。计算完之后，再将矩阵旋转回来，通过Layer Norm 后再接一个channel_mixer 用于寻找通道与通道之间的关系。其中MixerLayer 还启用了ResNet中的跨连结构，跨连结构的作用可以参考[ResNet原理讲解和复现]，看到这里，是不是感觉它跟卷积的原理很类似。
从上图可以看出Mixer Layer的输入维度和输出维度相同，并且通过MLP的方式来寻找图片像素与像素，通道与通道的关系。
这就是MLP-MIXER的网络结构了

实现的难点在于，矩阵旋转，我们使用einops中的Rearrange实现矩阵旋转

使用Rearrange 实现旋转

Rearrange(‘b n d -> b d n’) #这里是[batch_size, num_patch, dim] -> [batch_size, dim, num_patch]

#定义多层感知机
import torch
import numpy as np
from torch import nn
from einops.layers.torch import Rearrange
from torchsummary import summary
import torch.nn.functional as F

class FeedForward(nn.Module):
    def __init__(self,dim,hidden_dim,dropout=0.):
        super().__init__()
        self.net=nn.Sequential(
            #由此可以看出 FeedForward 的输入和输出维度是一致的
            nn.Linear(dim,hidden_dim),
            #激活函数
            nn.GELU(),
            #防止过拟合
            nn.Dropout(dropout),
            #重复上述过程
            nn.Linear(hidden_dim,dim),

            nn.Dropout(dropout)
        )
    def forward(self,x):
        x=self.net(x)
        return x


class MixerBlock(nn.Module):
    def __init__(self,dim,num_patch,token_dim,channel_dim,dropout=0.):
        super().__init__()
        self.token_mixer=nn.Sequential(
            nn.LayerNorm(dim),
            Rearrange('b n d -> b d n'),   #这里是[batch_size, num_patch, dim] -> [batch_size, dim, num_patch]
            FeedForward(num_patch,token_dim,dropout),
            Rearrange('b d n -> b n d')    #[batch_size, dim, num_patch] -> [batch_size, num_patch, dim]

         )
        self.channel_mixer=nn.Sequential(
            nn.LayerNorm(dim),
            FeedForward(dim,channel_dim,dropout)
        )
    def forward(self,x):

        x=x+self.token_mixer(x)

        x=x+self.channel_mixer(x)

        return x

class MLPMixer(nn.Module):
    def __init__(self,in_channels,dim,num_classes,patch_size,image_size,depth,token_dim,channel_dim,dropout=0.):
        super().__init__()
        assert image_size%patch_size==0
        self.num_patches=(image_size//patch_size)**2
        #embedding 操作，用卷积来分成一小块一小块的
        self.to_embedding=nn.Sequential(nn.Conv2d(in_channels=in_channels,out_channels=dim,kernel_size=patch_size,stride=patch_size),
            Rearrange('b c h w -> b (h w) c')
        )
        #经过Mixer Layer 的次数
        self.mixer_blocks=nn.ModuleList([])
        for _ in range(depth):
            self.mixer_blocks.append(MixerBlock(dim,self.num_patches,token_dim,channel_dim,dropout))
        self.layer_normal=nn.LayerNorm(dim)

        self.mlp_head=nn.Sequential(
            nn.Linear(dim,num_classes)
        )
    def forward(self,x):
        x=self.to_embedding(x)
        for mixer_block in self.mixer_blocks:
            x=mixer_block(x)
        x=self.layer_normal(x)
        x=x.mean(dim=1)

        x=self.mlp_head(x)

        return x

MLP-Mixer用Mixer的MLP来替代ViT的Transformer，减少了特征提取的自由度，并且巧妙的可以交替进行patch间信息交流和patch内信息交流，从结果上来看，纯MLP貌似也是可行的，而且省去了Transformer复杂的结构，变的更加简洁，有点期待后续ViT和MLP-Mixer如何针锋相对的，感觉大组就是东挖一个西挖一个的，又把尘封多年的MLP给挖出来了

———– ConvMixer 网络

论文地址：https://openreview.net/pdf?id=TVHS5Y4dNvM
Github 地址：https://github.com/tmp-iclr/convmixer

ConvMixer is now integrated into the timm framework itself. You can see the PR here.

Conv Mixer 这篇文章提出的初衷是想去弄清楚，ViT系列模型表现优越，到底是图片分块的功劳 还是网络中Attention的功劳。于是作者就根据深度可分离卷积，在ViT 和 MLP Mixer 的启发中 设计了Conv Mixer。并且在表现上超越了一些ViT （某些ViT结构），MLP Mixer 和 ResNet。文章本身并没去追求模型的速度，和表现能力。

网络结构详解：

1、 Patch embedding

这里的Patch embedding实际上是使用一个卷积层 实现的

nn.Conv2d(3,dim,kernel_size=patch_size,stride=patch_size)

其中 kernel_size 就是patch的大小

2、GELU激活函数（高斯误差线性单元）

这个是最近很多模型都在用的函数（dert、高斯误差线性单元激活函数在最近的 Transformer 模型）GELUs正是在激活中引入了随机正则的思想，是一种对神经元输入的概率描述，直观上更符合自然的认识，同时实验效果要比Relus与ELUs都要好。

GELUs其实是 dropout、zoneout、Relus的综合，GELUs对于输入乘以一个0,1组成的mask，而该mask的生成则是依概率随机的依赖于输入。假设输入为X, mask为m，则m服从一个伯努利分布(Φ ( x ) \Phi(x)Φ(x), Φ ( x ) = P ( X < = x ) , X 服 从 标 准 正 太 分 布 \Phi(x)=P(X<=x), X服从标准正太分布Φ(x)=P(X<=x),X服从标准正太分布)，这么选择是因为神经元的输入趋向于正太分布，这么设定使得当输入x减小的时候，输入会有一个更高的概率被dropout掉，这样的激活变换就会随机依赖于输入了。

看得出来，这就是某些函数（比如双曲正切函数 tanh）与近似数值的组合。没什么过多可说的。有意思的是这个函数的图形：

可以看出，当 x 大于 0 时，输出为 x；但 x=0 到 x=1 的区间除外，这时曲线更偏向于 y 轴。

优点：

• 似乎是 NLP 领域的当前最佳；尤其在 Transformer 模型中表现最好；
• 能避免梯度消失问题。

3、ConvMixerLayer

class ConvMixerLayer(nn.Module):
    def __init__(self,dim,kernel_size = 9):
        super().__init__()
        #残差结构
        self.Resnet =  nn.Sequential(
            nn.Conv2d(dim,dim,kernel_size=kernel_size,groups=dim,padding='same'),
            nn.GELU(),
            nn.BatchNorm2d(dim)
        )
        #逐点卷积
        self.Conv_1x1 = nn.Sequential(
            nn.Conv2d(dim,dim,kernel_size=1),
            nn.GELU(),
            nn.BatchNorm2d(dim)
        )
    def forward(self,x):
        x = x +self.Resnet(x)
        x = self.Conv_1x1(x)
        return 

在ConvMixer Layer 中, 使用了深度可分离卷积，GELU 激活函数，逐点卷积。
论文中将图中红色部 称为 “channel wise mixing” 蓝色部分称为 “spatial mixing”
论文得到的结论是当深度可分离卷积部分的卷积核越大，模型的性能越好。文章中的使用的是9×9的卷积核，因为卷积核越大表现越好。

文章最后也认为，ViT 表现如此优越 是因为patch embedding （图片分块）的原因。
作者认为 patch embedding 操作就能完成神经网络的所有下采样过程，降低了图片的分辨率，增加了感受野，更容易找到远处的空间信息。从而模型表现良好

文献链接

图像分类(Classification)

• LeNet http://yann.lecun.com/exdb/lenet/index.html
• AlexNet http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
• ZFNet(Visualizing and Understanding Convolutional Networks) https://arxiv.org/abs/1311.2901
• VGG https://arxiv.org/abs/1409.1556
• GoogLeNet, Inceptionv1(Going deeper with convolutions) https://arxiv.org/abs/1409.4842
• Batch Normalization https://arxiv.org/abs/1502.03167
• Inceptionv3(Rethinking the Inception Architecture for Computer Vision) https://arxiv.org/abs/1512.00567
• Inceptionv4, Inception-ResNet https://arxiv.org/abs/1602.07261
• Xception(Deep Learning with Depthwise Separable Convolutions) https://arxiv.org/abs/1610.02357
• ResNet https://arxiv.org/abs/1512.03385
• ResNeXt https://arxiv.org/abs/1611.05431
• DenseNet https://arxiv.org/abs/1608.06993
• NASNet-A(Learning Transferable Architectures for Scalable Image Recognition) https://arxiv.org/abs/1707.07012
• SENet(Squeeze-and-Excitation Networks) https://arxiv.org/abs/1709.01507
• MobileNet(v1) https://arxiv.org/abs/1704.04861
• MobileNet(v2) https://arxiv.org/abs/1801.04381
• MobileNet(v3) https://arxiv.org/abs/1905.02244
• ShuffleNet(v1) https://arxiv.org/abs/1707.01083
• ShuffleNet(v2) https://arxiv.org/abs/1807.11164
• Bag of Tricks for Image Classification with Convolutional Neural Networks https://arxiv.org/abs/1812.01187
• EfficientNet(v1) https://arxiv.org/abs/1905.11946
• EfficientNet(v2) https://arxiv.org/abs/2104.00298
• CSPNet https://arxiv.org/abs/1911.11929
• RegNet https://arxiv.org/abs/2003.13678
• NFNets(High-Performance Large-Scale Image Recognition Without Normalization) https://arxiv.org/abs/2102.06171
• Vision Transformer https://arxiv.org/abs/2010.11929
• DeiT(Training data-efficient image transformers ) https://arxiv.org/abs/2012.12877
• Swin Transformer https://arxiv.org/abs/2103.14030
• Swin Transformer V2: Scaling Up Capacity and Resolution https://arxiv.org/abs/2111.09883
• BEiT: BERT Pre-Training of Image Transformers https://arxiv.org/abs/2106.08254
• MAE(Masked Autoencoders Are Scalable Vision Learners) https://arxiv.org/abs/2111.06377
• ConvNeXt(A ConvNet for the 2020s) https://arxiv.org/abs/2201.03545
• MobileViT(v1) https://arxiv.org/abs/2110.02178
• MobileOne(An Improved One millisecond Mobile Backbone) https://arxiv.org/abs/2206.04040

目标检测(Object Detection)

• R-CNN https://arxiv.org/abs/1311.2524
• Fast R-CNN https://arxiv.org/abs/1504.08083
• Faster R-CNN https://arxiv.org/abs/1506.01497
• Cascade R-CNN: Delving into High Quality Object Detection https://arxiv.org/abs/1712.00726
• Mask R-CNN https://arxiv.org/abs/1703.06870
• SSD https://arxiv.org/abs/1512.02325
• FPN(Feature Pyramid Networks for Object Detection) https://arxiv.org/abs/1612.03144
• RetinaNet(Focal Loss for Dense Object Detection) https://arxiv.org/abs/1708.02002
• Bag of Freebies for Training Object Detection Neural Networks https://arxiv.org/abs/1902.04103
• YOLOv1 https://arxiv.org/abs/1506.02640
• YOLOv2 https://arxiv.org/abs/1612.08242
• YOLOv3 https://arxiv.org/abs/1804.02767
• YOLOv4 https://arxiv.org/abs/2004.10934
• YOLOX(Exceeding YOLO Series in 2021) https://arxiv.org/abs/2107.08430
• PP-YOLO https://arxiv.org/abs/2007.12099
• PP-YOLOv2 https://arxiv.org/abs/2104.10419
• CornerNet https://arxiv.org/abs/1808.01244
• FCOS(Old) https://arxiv.org/abs/1904.01355
• FCOS(New) https://arxiv.org/abs/2006.09214
• CenterNet https://arxiv.org/abs/1904.07850

语义分割(Semantic Segmentation)

• FCN(Fully Convolutional Networks for Semantic Segmentation) https://arxiv.org/abs/1411.4038
• UNet(U-Net: Convolutional Networks for Biomedical Image Segmentation) https://arxiv.org/abs/1505.04597
• DeepLabv1(Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs) https://arxiv.org/abs/1412.7062
• DeepLabv2(Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs) https://arxiv.org/abs/1606.00915
• DeepLabv3(Rethinking Atrous Convolution for Semantic Image Segmentation) https://arxiv.org/abs/1706.05587
• DeepLabv3+(Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation) https://arxiv.org/abs/1802.02611

实例分割(Instance Segmentation)

• Mask R-CNN https://arxiv.org/abs/1703.06870

关键点检测(Keypoint Detection)

• HRNet(Deep High-Resolution Representation Learning for Human Pose Estimation) https://arxiv.org/abs/1902.09212

自然语言处理

• Attention Is All You Need https://arxiv.org/abs/1706.03762

Others

• Microsoft COCO: Common Objects in Context https://arxiv.org/abs/1405.0312
• The PASCALVisual Object Classes Challenge: A Retrospective http://host.robots.ox.ac.uk/pascal/VOC/pubs/everingham15.pdf
• Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization https://arxiv.org/abs/1610.02391