【导读】近年来，Transformer方兴未艾，但是其内在的二次复杂度阻碍了它在长序列和大模型上的进一步发展。清华大学软件学院机器学习实验室从网络流理论出发，提出任务通用的线性复杂度主干网络Flowformer，在长序列、视觉、自然语言、时间序列、强化学习五大任务上取得优秀效果。

任务通用是基础模型研究的核心目标之一，同时也是深度学习研究通向高级智能的必经之路。
近年来，得益于注意力机制的通用关键建模能力，Transformer在众多领域中表现优异，逐渐呈现出通用架构的趋势。但是随着序列长度的增长，标准注意力机制的计算呈现二次复杂度，严重阻碍了其在长序列建模与大模型中的应用。

为此，来自清华大学软件学院的团队深入探索了这一关键问题，提出了任务通用的线性复杂度主干网络Flowformer，在保持标准Transformer的通用性的同时，将其复杂度降至线性，论文被ICML 2022接受。

作者列表：吴海旭，吴佳龙，徐介晖，王建民，龙明盛

链接：https://arxiv.org/abs/2202.06258

代码：https://github.com/thuml/Flowformer相比于标准Transformer，本文提出的Flowformer模型，具有以下特点：

• 线性复杂度，可以处理数千长度的输入序列；
• 没有引入新的归纳偏好，保持了原有注意力机制的通用建模能力；
• 任务通用，在长序列、视觉、自然语言、时间序列、强化学习五大任务上取得优秀效果。

本文深入研究了注意力机制存在的二次复杂度问题，通过将网络流中的守恒原理引入设计，自然地将竞争机制引入到注意力计算中，有效避免了平凡注意力问题。

我们提出的任务通用的骨干网络Flowformer，实现了线性复杂度，同时在长序列、视觉、自然语言、时间序列、强化学习五大任务上取得优秀效果。

在长序列建模应用上，如蛋白质结构预测、长文本理解等，Flowformer具有良好的应用潜力。此外，Flowformer中“无特殊归纳偏好”的设计理念也对通用基础架构的研究具有良好的启发意义。

MLP-Mixer是ViT团队的另一个纯MLP架构的尝试。如果MLP-Mixer重新引领CV领域主流架构的话，那么CV领域主流架构的演变过程就是MLP->CNN->Transformer->MLP? 要回到最初的起点了吗？？？( Transformer移除了注意力以后就剩MLP了)

这篇论文提出了一种”纯“MLP结构的视觉架构。

先将输入图片拆分成patches，然后通过Per-patch Fully-connected将每个patch转换成feature embedding，然后送入N个Mixer Layer，最后通过Fully-connected进行分类。

Mixer分为channel-mixing MLP和token-mixing MLP两类。channel-mixing MLP允许不同通道之间进行交流；token-mixing MLP允许不同空间位置(tokens)进行交流。这两种类型的layer是交替堆叠的，方便支持两个输入维度的交流。每个MLP由两层fully-connected和一个GELU构成。

从上图我们可以看出，MLP -Mixer 首先使用图片分成很多个小正方形的patch,每个patch的大小定义为patch_size。论文中实现这一步骤使用的是前面提到的卷积，卷积核的大小和步长均patch_size。论文中给的参数，也是2的幂。
网络不再使用传统的RELU激活函数，而是使用了GELU激活函数。

将图片分成小块后，在将它转换为一维结构。如图：

然后将每一个patch进行转换，如下图所示：

通过这样一种方式呢，就将一张图片转换为了一个大矩阵，就可以输入到Mixer Layer 中进行计算。

MLP 是两个全连接层的感知机,W1,W2,对应token_mixer中两个全连接的权重，W3,W4则表示channel_mixer两个全连接的权重。σ表示GELU激活函数。那么公示就很简单了，输入X经过Layer Normalize,再乘以W1，再经过激活函数后乘以W2，再加上X。第二个公式也是相同的计算过程。
将前面通过编码得到的矩阵经过Layer Norm 在将矩阵进行旋转（T 表示旋转）连接MLP1,MLP1 就是文章token_mixer 用来寻找像素与像素之间的关系，其中，MLP1中的权值共享。计算完之后，再将矩阵旋转回来，通过Layer Norm 后再接一个channel_mixer 用于寻找通道与通道之间的关系。其中MixerLayer 还启用了ResNet中的跨连结构，跨连结构的作用可以参考[ResNet原理讲解和复现]，看到这里，是不是感觉它跟卷积的原理很类似。
从上图可以看出Mixer Layer的输入维度和输出维度相同，并且通过MLP的方式来寻找图片像素与像素，通道与通道的关系。
这就是MLP-MIXER的网络结构了

实现的难点在于，矩阵旋转，我们使用einops中的Rearrange实现矩阵旋转

使用Rearrange 实现旋转

Rearrange(‘b n d -> b d n’) #这里是[batch_size, num_patch, dim] -> [batch_size, dim, num_patch]

#定义多层感知机
import torch
import numpy as np
from torch import nn
from einops.layers.torch import Rearrange
from torchsummary import summary
import torch.nn.functional as F

class FeedForward(nn.Module):
    def __init__(self,dim,hidden_dim,dropout=0.):
        super().__init__()
        self.net=nn.Sequential(
            #由此可以看出 FeedForward 的输入和输出维度是一致的
            nn.Linear(dim,hidden_dim),
            #激活函数
            nn.GELU(),
            #防止过拟合
            nn.Dropout(dropout),
            #重复上述过程
            nn.Linear(hidden_dim,dim),

            nn.Dropout(dropout)
        )
    def forward(self,x):
        x=self.net(x)
        return x


class MixerBlock(nn.Module):
    def __init__(self,dim,num_patch,token_dim,channel_dim,dropout=0.):
        super().__init__()
        self.token_mixer=nn.Sequential(
            nn.LayerNorm(dim),
            Rearrange('b n d -> b d n'),   #这里是[batch_size, num_patch, dim] -> [batch_size, dim, num_patch]
            FeedForward(num_patch,token_dim,dropout),
            Rearrange('b d n -> b n d')    #[batch_size, dim, num_patch] -> [batch_size, num_patch, dim]

         )
        self.channel_mixer=nn.Sequential(
            nn.LayerNorm(dim),
            FeedForward(dim,channel_dim,dropout)
        )
    def forward(self,x):

        x=x+self.token_mixer(x)

        x=x+self.channel_mixer(x)

        return x

class MLPMixer(nn.Module):
    def __init__(self,in_channels,dim,num_classes,patch_size,image_size,depth,token_dim,channel_dim,dropout=0.):
        super().__init__()
        assert image_size%patch_size==0
        self.num_patches=(image_size//patch_size)**2
        #embedding 操作，用卷积来分成一小块一小块的
        self.to_embedding=nn.Sequential(nn.Conv2d(in_channels=in_channels,out_channels=dim,kernel_size=patch_size,stride=patch_size),
            Rearrange('b c h w -> b (h w) c')
        )
        #经过Mixer Layer 的次数
        self.mixer_blocks=nn.ModuleList([])
        for _ in range(depth):
            self.mixer_blocks.append(MixerBlock(dim,self.num_patches,token_dim,channel_dim,dropout))
        self.layer_normal=nn.LayerNorm(dim)

        self.mlp_head=nn.Sequential(
            nn.Linear(dim,num_classes)
        )
    def forward(self,x):
        x=self.to_embedding(x)
        for mixer_block in self.mixer_blocks:
            x=mixer_block(x)
        x=self.layer_normal(x)
        x=x.mean(dim=1)

        x=self.mlp_head(x)

        return x

MLP-Mixer用Mixer的MLP来替代ViT的Transformer，减少了特征提取的自由度，并且巧妙的可以交替进行patch间信息交流和patch内信息交流，从结果上来看，纯MLP貌似也是可行的，而且省去了Transformer复杂的结构，变的更加简洁，有点期待后续ViT和MLP-Mixer如何针锋相对的，感觉大组就是东挖一个西挖一个的，又把尘封多年的MLP给挖出来了

———– ConvMixer 网络

论文地址：https://openreview.net/pdf?id=TVHS5Y4dNvM
Github 地址：https://github.com/tmp-iclr/convmixer

ConvMixer is now integrated into the timm framework itself. You can see the PR here.

Conv Mixer 这篇文章提出的初衷是想去弄清楚，ViT系列模型表现优越，到底是图片分块的功劳 还是网络中Attention的功劳。于是作者就根据深度可分离卷积，在ViT 和 MLP Mixer 的启发中 设计了Conv Mixer。并且在表现上超越了一些ViT （某些ViT结构），MLP Mixer 和 ResNet。文章本身并没去追求模型的速度，和表现能力。

网络结构详解：

1、 Patch embedding

这里的Patch embedding实际上是使用一个卷积层 实现的

nn.Conv2d(3,dim,kernel_size=patch_size,stride=patch_size)

其中 kernel_size 就是patch的大小

2、GELU激活函数（高斯误差线性单元）

这个是最近很多模型都在用的函数（dert、高斯误差线性单元激活函数在最近的 Transformer 模型）GELUs正是在激活中引入了随机正则的思想，是一种对神经元输入的概率描述，直观上更符合自然的认识，同时实验效果要比Relus与ELUs都要好。

GELUs其实是 dropout、zoneout、Relus的综合，GELUs对于输入乘以一个0,1组成的mask，而该mask的生成则是依概率随机的依赖于输入。假设输入为X, mask为m，则m服从一个伯努利分布(Φ ( x ) \Phi(x)Φ(x), Φ ( x ) = P ( X < = x ) , X 服 从 标 准 正 太 分 布 \Phi(x)=P(X<=x), X服从标准正太分布Φ(x)=P(X<=x),X服从标准正太分布)，这么选择是因为神经元的输入趋向于正太分布，这么设定使得当输入x减小的时候，输入会有一个更高的概率被dropout掉，这样的激活变换就会随机依赖于输入了。

看得出来，这就是某些函数（比如双曲正切函数 tanh）与近似数值的组合。没什么过多可说的。有意思的是这个函数的图形：

可以看出，当 x 大于 0 时，输出为 x；但 x=0 到 x=1 的区间除外，这时曲线更偏向于 y 轴。

优点：

• 似乎是 NLP 领域的当前最佳；尤其在 Transformer 模型中表现最好；
• 能避免梯度消失问题。

3、ConvMixerLayer

class ConvMixerLayer(nn.Module):
    def __init__(self,dim,kernel_size = 9):
        super().__init__()
        #残差结构
        self.Resnet =  nn.Sequential(
            nn.Conv2d(dim,dim,kernel_size=kernel_size,groups=dim,padding='same'),
            nn.GELU(),
            nn.BatchNorm2d(dim)
        )
        #逐点卷积
        self.Conv_1x1 = nn.Sequential(
            nn.Conv2d(dim,dim,kernel_size=1),
            nn.GELU(),
            nn.BatchNorm2d(dim)
        )
    def forward(self,x):
        x = x +self.Resnet(x)
        x = self.Conv_1x1(x)
        return 

在ConvMixer Layer 中, 使用了深度可分离卷积，GELU 激活函数，逐点卷积。
论文中将图中红色部 称为 “channel wise mixing” 蓝色部分称为 “spatial mixing”
论文得到的结论是当深度可分离卷积部分的卷积核越大，模型的性能越好。文章中的使用的是9×9的卷积核，因为卷积核越大表现越好。

文章最后也认为，ViT 表现如此优越 是因为patch embedding （图片分块）的原因。
作者认为 patch embedding 操作就能完成神经网络的所有下采样过程，降低了图片的分辨率，增加了感受野，更容易找到远处的空间信息。从而模型表现良好

文献链接

图像分类(Classification)

• LeNet http://yann.lecun.com/exdb/lenet/index.html
• AlexNet http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
• ZFNet(Visualizing and Understanding Convolutional Networks) https://arxiv.org/abs/1311.2901
• VGG https://arxiv.org/abs/1409.1556
• GoogLeNet, Inceptionv1(Going deeper with convolutions) https://arxiv.org/abs/1409.4842
• Batch Normalization https://arxiv.org/abs/1502.03167
• Inceptionv3(Rethinking the Inception Architecture for Computer Vision) https://arxiv.org/abs/1512.00567
• Inceptionv4, Inception-ResNet https://arxiv.org/abs/1602.07261
• Xception(Deep Learning with Depthwise Separable Convolutions) https://arxiv.org/abs/1610.02357
• ResNet https://arxiv.org/abs/1512.03385
• ResNeXt https://arxiv.org/abs/1611.05431
• DenseNet https://arxiv.org/abs/1608.06993
• NASNet-A(Learning Transferable Architectures for Scalable Image Recognition) https://arxiv.org/abs/1707.07012
• SENet(Squeeze-and-Excitation Networks) https://arxiv.org/abs/1709.01507
• MobileNet(v1) https://arxiv.org/abs/1704.04861
• MobileNet(v2) https://arxiv.org/abs/1801.04381
• MobileNet(v3) https://arxiv.org/abs/1905.02244
• ShuffleNet(v1) https://arxiv.org/abs/1707.01083
• ShuffleNet(v2) https://arxiv.org/abs/1807.11164
• Bag of Tricks for Image Classification with Convolutional Neural Networks https://arxiv.org/abs/1812.01187
• EfficientNet(v1) https://arxiv.org/abs/1905.11946
• EfficientNet(v2) https://arxiv.org/abs/2104.00298
• CSPNet https://arxiv.org/abs/1911.11929
• RegNet https://arxiv.org/abs/2003.13678
• NFNets(High-Performance Large-Scale Image Recognition Without Normalization) https://arxiv.org/abs/2102.06171
• Vision Transformer https://arxiv.org/abs/2010.11929
• DeiT(Training data-efficient image transformers ) https://arxiv.org/abs/2012.12877
• Swin Transformer https://arxiv.org/abs/2103.14030
• Swin Transformer V2: Scaling Up Capacity and Resolution https://arxiv.org/abs/2111.09883
• BEiT: BERT Pre-Training of Image Transformers https://arxiv.org/abs/2106.08254
• MAE(Masked Autoencoders Are Scalable Vision Learners) https://arxiv.org/abs/2111.06377
• ConvNeXt(A ConvNet for the 2020s) https://arxiv.org/abs/2201.03545
• MobileViT(v1) https://arxiv.org/abs/2110.02178
• MobileOne(An Improved One millisecond Mobile Backbone) https://arxiv.org/abs/2206.04040

目标检测(Object Detection)

• R-CNN https://arxiv.org/abs/1311.2524
• Fast R-CNN https://arxiv.org/abs/1504.08083
• Faster R-CNN https://arxiv.org/abs/1506.01497
• Cascade R-CNN: Delving into High Quality Object Detection https://arxiv.org/abs/1712.00726
• Mask R-CNN https://arxiv.org/abs/1703.06870
• SSD https://arxiv.org/abs/1512.02325
• FPN(Feature Pyramid Networks for Object Detection) https://arxiv.org/abs/1612.03144
• RetinaNet(Focal Loss for Dense Object Detection) https://arxiv.org/abs/1708.02002
• Bag of Freebies for Training Object Detection Neural Networks https://arxiv.org/abs/1902.04103
• YOLOv1 https://arxiv.org/abs/1506.02640
• YOLOv2 https://arxiv.org/abs/1612.08242
• YOLOv3 https://arxiv.org/abs/1804.02767
• YOLOv4 https://arxiv.org/abs/2004.10934
• YOLOX(Exceeding YOLO Series in 2021) https://arxiv.org/abs/2107.08430
• PP-YOLO https://arxiv.org/abs/2007.12099
• PP-YOLOv2 https://arxiv.org/abs/2104.10419
• CornerNet https://arxiv.org/abs/1808.01244
• FCOS(Old) https://arxiv.org/abs/1904.01355
• FCOS(New) https://arxiv.org/abs/2006.09214
• CenterNet https://arxiv.org/abs/1904.07850

语义分割(Semantic Segmentation)

• FCN(Fully Convolutional Networks for Semantic Segmentation) https://arxiv.org/abs/1411.4038
• UNet(U-Net: Convolutional Networks for Biomedical Image Segmentation) https://arxiv.org/abs/1505.04597
• DeepLabv1(Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs) https://arxiv.org/abs/1412.7062
• DeepLabv2(Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs) https://arxiv.org/abs/1606.00915
• DeepLabv3(Rethinking Atrous Convolution for Semantic Image Segmentation) https://arxiv.org/abs/1706.05587
• DeepLabv3+(Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation) https://arxiv.org/abs/1802.02611

实例分割(Instance Segmentation)

• Mask R-CNN https://arxiv.org/abs/1703.06870

关键点检测(Keypoint Detection)

• HRNet(Deep High-Resolution Representation Learning for Human Pose Estimation) https://arxiv.org/abs/1902.09212

自然语言处理

• Attention Is All You Need https://arxiv.org/abs/1706.03762

Others

• Microsoft COCO: Common Objects in Context https://arxiv.org/abs/1405.0312
• The PASCALVisual Object Classes Challenge: A Retrospective http://host.robots.ox.ac.uk/pascal/VOC/pubs/everingham15.pdf
• Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization https://arxiv.org/abs/1610.02391

摘自 BeyondSelf

这是一篇节省你翻论坛、查资料的文章。

我将把每一步尽量写的清楚，能够让新手按照这篇文章进行完整的投稿。

即使你从未投过稿，完全不了解IEEE的投稿流程，希望按照这篇文章，能够帮助你流畅无误的投稿

这是针对本科生和低年级研究生，对投稿流程还不清楚，或者在初次投稿时可以参考的文章。

（零）预备：账号注册

这一步是为了注册ORCID和IEEE的账号，已经有账号的可以忽略不看

对于IEEE的不同杂志，是由不同的投稿账号的，这一点需要注意

1.注册ORCID，ORCID类似于你的身份证号码，即使你的名字改变，但是号码是不变的。

（1）进入orcid官网ORCID​orcid.org/

（2）选择右上方的SIGN IN/REGISTER

(3)依次填入所需的信息

2.注册IEEE账号

（1）进入IEEE查文献的主页https://ieeexplore.ieee.org/Xplore/home.jsp​ieeexplore.ieee.org/Xplore/home.jsp

（2）搜索期刊名字，会展示如下画面，这里以IEEE Transactions on communications 举例：

点击你想要投稿的期刊

（3）找到Submit Manusript，这个选项几乎所有的期刊都有。

（4）点击创建账户

（5）点击Associate your existing ORCID id

（6）在弹出页面中点击授权

（7）依次填入姓名和邮箱，只填必须项即可

之后就是输入地址和密码，按实际情况填写即可

（一）论文写作

1.下载模板

IEEE的期刊都会给一个模板，但是不同期刊会共用同一套模板。下载模板的网址为：https://journals.ieeeauthorcenter.ieee.org/create-your-ieee-journal-article/authoring-tools-and-templates/tools-for-ieee-authors/ieee-article-templates/​journals.ieeeauthorcenter.ieee.org/create-your-ieee-journal-article/authoring-tools-and-templates/tools-for-ieee-authors/ieee-article-templates/

IEEE Article Templates – IEEE Author Center JournalsIEEE Article Templates – IEEE Author Center Journals​journals.ieeeauthorcenter.ieee.org/create-your-ieee-journal-article/authoring-tools-and-templates/tools-for-ieee-authors/ieee-article-templates/

（0）点击 IEEE Template Selector 进入模板下载页面

（1）首先会让选择要写的文章类型，给了三个选项：

如果写常规的文章的话，就选第一个，包含trans和letter。会议的话，就选第三个。Magazine一般是指总结或者科普类的文章，影响因子高，但是一般你的第一篇文章，导师不会让你写这个。

（2）其次选择期刊的名字

这里直接输入即可，如“IEEE Transactions on Communications”.

（3）之后会依次选择文章的类型和格式，这里可供选择的格式有Latex和Word，首选Latex，一方面是因为格式好调，另一方面是因为敲公式快一些

（4）下载好模板之后，就可以开始写作了

2.论文写作准备

有了模板之后，还需要知道该期刊对于文章的要求，比如说页数，单栏还是双栏。这里不同期刊的要求不一样，对于新手来说，由于网页的设置，找到它并不容易。我这里来详细介绍下。

（1）进入IEEE查文献的主页https://ieeexplore.ieee.org/Xplore/home.jsp​ieeexplore.ieee.org/Xplore/home.jsp

（2）搜索期刊名字，会展示如下画面，这里以IEEE Transactions on communications 举例：

点击你想要投稿的期刊

（3）找到Submit Manusript，这个选项几乎所有的期刊都有。

（4）点进去之后，发现左下角有一个Journal Home，点击

（5）在上述网页中，找到你想要投稿的期刊（当然，你也可以跳过上述步骤，直接进入到这里~之所以要经过这些步骤，是因为接下来会用到其中一些步骤）

在出现的页面中，会有submission guidelines：

这里就说明，此期刊提交的时候要求单栏，12号字，不超过30页

这里教大家一个小技巧，如果整个网页页面太长的话，直接按Ctrl+F 搜索column关键词，因为所有的期刊都会要求单栏还是双栏，所以主要要求就在这个附近

（6）在第（4）步中，如果页面的右边已经有guidelines，那么就不需要再进入journal home了

对TPAMI杂志来说，直接点击红线所示，就可以得到文章要求，双栏，不超过12页

对于IEEE trans系列的杂志，基本上模板都是差不多的，如果在官网上找不到，也可以直接百度搜索一个模板

（二）论文投稿

在得到模板以及文章的要求之后，就可以开始论文写作了。当然，如果在上述步骤中找不到期刊的具体要求也没事，可以先写，一些格式问题可以之后再说，在文章正式发表前，编辑还会进行修改。这里假设你的论文已经写完，开始进入投稿环节

1.进入想要投稿期刊的主页，点击submit mannusript

2. 这里会要求你登入账号，一般是用导师的账号或者自己注册。投稿的账号一般就是通信作者

3.登录成功后，点击Author

4.点击Start New Submission中的Begin Submission，会出现如下信息

依次填入文章的类型、上传文件、作者等相关信息，就可以完成整篇文章的上传。这里以IEEE transactions on communications 举例，展示提交的流程

Step 1:

（1）首先选择类型，一般的话，就选常规的

（2）然后输入题目和摘要

Step 2:上传文件，一般是上传PDF

Step 3:输入关键字，下拉列表找到最贴合论文的，点击添加

Step 4：输入作者信息，与论文保持一致

Step 5 ：选择审稿人，如果没有想选的话，可以跳过

Step 6 ：是一些与文章相关的细节，可以按文章情况填写。

Step 7 ：检查环节，确认无误后就可以正式提交了

注：邮箱是最重要的联系方式，之后会通过邮件联系你，请及时查看，而且对于修改等是有截止日期的。

（三）等待

论文会首先分配编辑，然后分配审稿人。可能会给你返回的状态有：Reject,Reject(Resubmission Allowed),Major,Minor,Accept

1.Reject并且不允许重投的话，说明就凉了

2.Reject且允许重投的话，也还凑合，重投的话可能被接受

3.Major大修，一般Major的话，如果修改没问题的话，大概率被接收

4.Minor小修，这样子的话基本也没问题

5.Accept是最好的，但不会刚投稿就这样，起码得有个minor，都得为难你一下

（四）接收后

当文章被接收后，编辑会给你发一个邮件，让你填一些内容，大概是著作权之类的。这些就按照要求来即可

之后会有一个校对环节，你需要在编辑给你发送的PDF上修改，而不能再重新提交PDF。此时的文章状态一般是Early Access，如果没有挂arxiv的话，在这个阶段，你就可以搜到自己的文章，并且也可以被引用了。再过一段时间，状态就会更新为Publish，就说明正式发表了。

​