以下文章来源于微信公众号：集智书童

作者：ChaucerG

原文链接：https://mp.weixin.qq.com/s/MYU82hGH47-2JUl13MmgmA

本文仅用于学术分享，如有侵权，请联系后台作删文处理

自从Vision Transformers (ViT) 出现以来，Transformers迅速在计算机视觉领域大放异彩。卷积神经网络 (CNN) 的主导作用似乎受到越来越有效的基于Transformer的模型的挑战。最近，一些先进的卷积模型使用受局部大注意力机制驱动设计了大Kernel的卷积模块进行反击，并显示出吸引人的性能和效率。其中之一，即 RepLKNet，以改进的性能成功地将Kernel-size扩展到 31×31，但与 Swin Transformer 等高级 ViT 的扩展趋势相比，随着Kernel-size的持续增长，性能开始饱和。

在本文中，作者探索了训练大于 31×31 的极端卷积的可能性，并测试是否可以通过策略性地扩大卷积来消除性能差距。这项研究最终得到了一个从稀疏性的角度应用超大kernel的方法，它可以平滑地将kernel扩展到 61×61，并具有更好的性能。基于这个方法，作者提出了Sparse Large Kernel Network(SLaK)，这是一种配备 51×51 kernel-size的纯 CNN 架构，其性能可以与最先进的分层 Transformer 和现代 ConvNet 架构（如 ConvNeXt 和 RepLKNet，关于 ImageNet 分类以及典型的下游任务。

1应用超过 31×31 的超大卷积核

作者首先研究了大于 31×31 的极端Kernel-size的性能，并总结了3个主要观察结果。这里作者以 ImageNet-1K 上最近开发的 CNN 架构 ConvNeXt 作为进行这项研究的 benchmark。

作者关注最近使用 Mixup、Cutmix、RandAugment 和 Random Erasing 作为数据增强的作品。随机深度和标签平滑作为正则化应用，具有与 ConvNeXt 中相同的超参数。用 AdamW 训练模型。在本节中，所有模型都针对 120 个 epoch 的长度进行了训练，以仅观察大Kernel-size的缩放趋势。

观察1：现有的技术不能扩展卷积超过31×31

最近，RepLKNet 通过结构重新参数化成功地将卷积扩展到 31×31。作者进一步将Kernel-size增加到 51×51 和 61×61，看看更大的kernel是否能带来更多的收益。按照RepLKNet中的设计，依次将每个阶段的Kernel-size设置为[51,49,47,13]和[61,59,57,13]。

测试精度如表 1 所示。正如预期的那样，将Kernel-size从 7×7 增加到 31×31 会显着降低性能，而 RepLKNet 可以克服这个问题，将精度提高 0.5%。然而，这种趋势不适用于较大的kernel，因为将Kernel-size增加到 51×51 开始损害性能。

一种合理的解释是，虽然感受野可以通过使用非常大的kernel，如51×51和61×61来扩大感受野，但它可能无法保持某些理想的特性，如局部性。由于标准ResNet和ConvNeXt中的stem cell导致输入图像的4×降采样，具有51×51的极端核已经大致等于典型的224×224 ImageNet的全局卷积。因此，这一观察结果是有意义的，因为在ViTs的类似机制中，局部注意力通常优于全局注意力。在此基础上，通过引入局部性来解决这个问题的机会，同时保留了捕获全局关系的能力。

观察2：将一个方形的大kernel分解为2个矩形的parallel kernels，可以将Kernel-size平滑地缩放到 61。

虽然使用中等大小的卷积（例如，31×31）似乎可以直接避免这个问题，但作者就是想看看是否可以通过使用（全局）极端卷积来进一步推动cnn的性能。作者这里使用的方法是用2个平行和矩形卷积的组合来近似大的 M×M kernel，它们的Kernel-size分别为M×N和N×M(其中N<M)，如图1所示。在RepLKNet之后，保持一个5×5层与大kernel并行，并在一个批处理范数层之后汇总它们的输出。

这种分解不仅继承了大kernel捕获远程依赖关系的能力，而且可以提取边缘较短的局部上下文特征。更重要的是，随着深度Kernel-size的增加，现有的大kernel训练技术会受到二次计算和内存开销的影响。

与之形成鲜明对比的是，这种方法的开销随着Kernel-size线性增加（图 4）。N = 5 的kernel分解的性能在表 2 中报告为“分解”组。由于分解减少了 FLOP，与具有中等kernel的结构重新参数化 (RepLKNet) 相比，预计网络会牺牲一些准确性，即 31×31。然而，随着卷积大小增加到全局卷积，它可以惊人地将Kernel-size扩展到 61 并提高性能。

观察3：“use sparse groups, expand more”显着提高了模型的容量

最近提出的 ConvNeXt 重新访问了ResNeXt中引入的原理，该原理将卷积滤波器分成小但更多的组。ConvNeXt没有使用标准的组卷积，而是简单地使用增加宽度的深度卷积来实现“use more groups, expand width”的目标。在本文中，作者试图从另一个替代的角度来扩展这一原则——“use sparse groups, expand more”。

具体来说，首先用稀疏卷积代替密集卷积，其中稀疏核是基于SNIP的分层稀疏比随机构造的。构建完成后，用动态稀疏度训练稀疏模型，其中稀疏权值在训练过程中通过修剪最小幅值的权值，随机增加相同数量的权值进行动态调整。这样做可以动态地适应稀疏权值，从而获得更好的局部特征。

由于kernel在整个训练过程中都是稀疏的，相应的参数计数和训练/推理流只与密集模型成正比。为了评估，以40%的稀疏度稀疏化分解后的kernel，并将其性能报告为“稀疏分解”组。可以在表2的中间一列中观察到，动态稀疏性显着降低了FLOPs超过2.0G，导致了暂时的性能下降。

接下来，作者证明了上述动态稀疏性的高效率可以有效地转移到模型的可扩展性中。动态稀疏性允许能够友好地扩大模型的规模。例如，使用相同的稀疏性（40%），可以将模型宽度扩展1.3×，同时保持参数计数和FLOPs与密集模型大致相同。这带来了显着的性能提高，在极端的51×51 kernel下，性能从81.3%提高到81.6%。令人印象深刻的是，本文方法配备了61×61内核，性能超过了之前的RepLKNet，同时节省了55%的FLOPs。

2 Sparse Large Kernel Network – SLaK

到目前为止，已经发现了本文的方法可以成功地将Kernel-size扩展到61，而不需要反向触发性能。它包括2个受稀疏性启发的设计。

在宏观层面上，构建了一个本质稀疏网络，并进一步扩展网络，以提高在保持相似模型规模的同时的网络容量。

在微观层面上，将一个密集的大kernel分解为2个具有动态稀疏性的互补kernel，以提高大kernel的可扩展性。

与传统的训练后剪枝不同，直接从头开始训练的网络，而不涉及任何预训练或微调。在此基础上提出了Sparse Large Kernel Network(SLaK)，这是一种纯CNN架构，使用了极端的51×51 kernel。

SLaK 是基于 ConvNeXt 的架构构建的。阶段计算比和干细胞的设计继承自ConvNeXt。每个阶段的块数对于 SLaK-T 为 [3, 3, 9, 3]，对于 SLaK-S/B 为 [3, 3, 27, 3]。stem cell只是一个具有 kernel-size为4×4和stride=4的卷积层。作者将 ConvNeXt 阶段的Kernel-size分别增加到 [51, 49, 47, 13]，并将每个 M×M kernel替换为 M×5 和 5×M kernel的组合，如图 1 所示。作者发现添加在对输出求和之前，直接在每个分解的kernel之后的 BatchNorm 层是至关重要的。

遵循 “use sparse groups, expand more”的指导方针，进一步稀疏整个网络，将阶段宽度扩大 1.3 倍，最终得到 SLaK-T/S/B。尽管知道通过调整模型宽度和稀疏度之间的权衡来提高 SLaK 的性能有很大的空间，但为了简单起见，将所有模型的宽度保持为 1.3 倍。所有模型的稀疏度设置为 40%。

虽然模型配置了极端的 51×51 kernel，但整体参数计数和 FLOP 并没有增加太多，并且由于RepLKNet提供的出色实现，它在实践中非常有效。

3实验

3.1 分类实验

3.2 语义分割

4参考

[1].More ConvNets in the 2020s : Scaling up Kernels Beyond 51 × 51 using Sparsity.

论文地址： https://arxiv.org/abs/1609.05158

代码：https://github.com/leftthomas/ESPCN

Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network

ESPCN 是在2016年在CVPR上发表的一片论文，中提出的一种实时的基于卷积神经网络的图像超分辨率方法。

这篇论文主要就是提出了一种新的亚像素卷积层(sub-pixel convolutional layer)，以往的方法，为了生成高分辨率的输出，一般是先对输入进行上采样扩大图像分辨率，得到与高分辨率图像同样的大小，再作为网络输入，意味着卷积操作在较高的分辨率上进行，相比于在低分辨率的图像上计算卷积，会降低效率。 ESPCN(Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network，CVPR 2016)提出一种在低分辨率图像上直接计算卷积得到高分辨率图像的高效率方法。

如果想最后的分辨率从 n 到 rn，ESPCN会生成r*r个通道，再进行sub-pixel convolutional，生成高分辨率的图片。假设是9通道 混合，这里的通道混合是将每个通道对应位置的元素重新排列成3*3的图像。这个变换虽然被称作sub-pixel convolution, 但实际上并没有卷积操作。

通过使用sub-pixel convolution, 图像从低分辨率到高分辨率放大的过程，插值函数被隐含地包含在前面的卷积层中，可以自动学习到。只在最后一层对图像大小做变换，前面的卷积运算由于在低分辨率图像上进行，因此效率会较高。

ESPCN激活函数采用tanh替代了ReLU。损失函数为均方误差。

pytorch中已经集成了 sub-pixel convolution ：

nn.PixelShuffle(upscale_factor)

以四维输入(N,C,H,W)为例，Pixelshuffle会将为(∗,r 2 C r^2Cr2C,H,W)的Tensor给reshape成(∗,C,rH,rW)的Tensor

Upsample：

对给定多通道的1维（temporal）、2维（spatial）、3维（volumetric）数据进行上采样。

对volumetric输入（3维——点云数据），输入数据Tensor格式为5维：minibatch x channels x depth x height x width
对spatial输入（2维——jpg、png等数据），输入数据Tensor格式为4维：minibatch x channels x height x width
对temporal输入（1维——向量数据），输入数据Tensor格式为3维：minibatch x channels x width

此算法支持最近邻，线性插值，双线性插值，三次线性插值对3维、4维、5维的输入Tensor分别进行上采样（Upsample）。

【导读】近年来，Transformer方兴未艾，但是其内在的二次复杂度阻碍了它在长序列和大模型上的进一步发展。清华大学软件学院机器学习实验室从网络流理论出发，提出任务通用的线性复杂度主干网络Flowformer，在长序列、视觉、自然语言、时间序列、强化学习五大任务上取得优秀效果。

任务通用是基础模型研究的核心目标之一，同时也是深度学习研究通向高级智能的必经之路。
近年来，得益于注意力机制的通用关键建模能力，Transformer在众多领域中表现优异，逐渐呈现出通用架构的趋势。但是随着序列长度的增长，标准注意力机制的计算呈现二次复杂度，严重阻碍了其在长序列建模与大模型中的应用。

为此，来自清华大学软件学院的团队深入探索了这一关键问题，提出了任务通用的线性复杂度主干网络Flowformer，在保持标准Transformer的通用性的同时，将其复杂度降至线性，论文被ICML 2022接受。

作者列表：吴海旭，吴佳龙，徐介晖，王建民，龙明盛

链接：https://arxiv.org/abs/2202.06258

代码：https://github.com/thuml/Flowformer相比于标准Transformer，本文提出的Flowformer模型，具有以下特点：

• 线性复杂度，可以处理数千长度的输入序列；
• 没有引入新的归纳偏好，保持了原有注意力机制的通用建模能力；
• 任务通用，在长序列、视觉、自然语言、时间序列、强化学习五大任务上取得优秀效果。

本文深入研究了注意力机制存在的二次复杂度问题，通过将网络流中的守恒原理引入设计，自然地将竞争机制引入到注意力计算中，有效避免了平凡注意力问题。

我们提出的任务通用的骨干网络Flowformer，实现了线性复杂度，同时在长序列、视觉、自然语言、时间序列、强化学习五大任务上取得优秀效果。

在长序列建模应用上，如蛋白质结构预测、长文本理解等，Flowformer具有良好的应用潜力。此外，Flowformer中“无特殊归纳偏好”的设计理念也对通用基础架构的研究具有良好的启发意义。

MLP-Mixer是ViT团队的另一个纯MLP架构的尝试。如果MLP-Mixer重新引领CV领域主流架构的话，那么CV领域主流架构的演变过程就是MLP->CNN->Transformer->MLP? 要回到最初的起点了吗？？？( Transformer移除了注意力以后就剩MLP了)

这篇论文提出了一种”纯“MLP结构的视觉架构。

先将输入图片拆分成patches，然后通过Per-patch Fully-connected将每个patch转换成feature embedding，然后送入N个Mixer Layer，最后通过Fully-connected进行分类。

Mixer分为channel-mixing MLP和token-mixing MLP两类。channel-mixing MLP允许不同通道之间进行交流；token-mixing MLP允许不同空间位置(tokens)进行交流。这两种类型的layer是交替堆叠的，方便支持两个输入维度的交流。每个MLP由两层fully-connected和一个GELU构成。

从上图我们可以看出，MLP -Mixer 首先使用图片分成很多个小正方形的patch,每个patch的大小定义为patch_size。论文中实现这一步骤使用的是前面提到的卷积，卷积核的大小和步长均patch_size。论文中给的参数，也是2的幂。
网络不再使用传统的RELU激活函数，而是使用了GELU激活函数。

将图片分成小块后，在将它转换为一维结构。如图：

然后将每一个patch进行转换，如下图所示：

通过这样一种方式呢，就将一张图片转换为了一个大矩阵，就可以输入到Mixer Layer 中进行计算。

MLP 是两个全连接层的感知机,W1,W2,对应token_mixer中两个全连接的权重，W3,W4则表示channel_mixer两个全连接的权重。σ表示GELU激活函数。那么公示就很简单了，输入X经过Layer Normalize,再乘以W1，再经过激活函数后乘以W2，再加上X。第二个公式也是相同的计算过程。
将前面通过编码得到的矩阵经过Layer Norm 在将矩阵进行旋转（T 表示旋转）连接MLP1,MLP1 就是文章token_mixer 用来寻找像素与像素之间的关系，其中，MLP1中的权值共享。计算完之后，再将矩阵旋转回来，通过Layer Norm 后再接一个channel_mixer 用于寻找通道与通道之间的关系。其中MixerLayer 还启用了ResNet中的跨连结构，跨连结构的作用可以参考[ResNet原理讲解和复现]，看到这里，是不是感觉它跟卷积的原理很类似。
从上图可以看出Mixer Layer的输入维度和输出维度相同，并且通过MLP的方式来寻找图片像素与像素，通道与通道的关系。
这就是MLP-MIXER的网络结构了

实现的难点在于，矩阵旋转，我们使用einops中的Rearrange实现矩阵旋转

使用Rearrange 实现旋转

Rearrange(‘b n d -> b d n’) #这里是[batch_size, num_patch, dim] -> [batch_size, dim, num_patch]

#定义多层感知机
import torch
import numpy as np
from torch import nn
from einops.layers.torch import Rearrange
from torchsummary import summary
import torch.nn.functional as F

class FeedForward(nn.Module):
    def __init__(self,dim,hidden_dim,dropout=0.):
        super().__init__()
        self.net=nn.Sequential(
            #由此可以看出 FeedForward 的输入和输出维度是一致的
            nn.Linear(dim,hidden_dim),
            #激活函数
            nn.GELU(),
            #防止过拟合
            nn.Dropout(dropout),
            #重复上述过程
            nn.Linear(hidden_dim,dim),

            nn.Dropout(dropout)
        )
    def forward(self,x):
        x=self.net(x)
        return x


class MixerBlock(nn.Module):
    def __init__(self,dim,num_patch,token_dim,channel_dim,dropout=0.):
        super().__init__()
        self.token_mixer=nn.Sequential(
            nn.LayerNorm(dim),
            Rearrange('b n d -> b d n'),   #这里是[batch_size, num_patch, dim] -> [batch_size, dim, num_patch]
            FeedForward(num_patch,token_dim,dropout),
            Rearrange('b d n -> b n d')    #[batch_size, dim, num_patch] -> [batch_size, num_patch, dim]

         )
        self.channel_mixer=nn.Sequential(
            nn.LayerNorm(dim),
            FeedForward(dim,channel_dim,dropout)
        )
    def forward(self,x):

        x=x+self.token_mixer(x)

        x=x+self.channel_mixer(x)

        return x

class MLPMixer(nn.Module):
    def __init__(self,in_channels,dim,num_classes,patch_size,image_size,depth,token_dim,channel_dim,dropout=0.):
        super().__init__()
        assert image_size%patch_size==0
        self.num_patches=(image_size//patch_size)**2
        #embedding 操作，用卷积来分成一小块一小块的
        self.to_embedding=nn.Sequential(nn.Conv2d(in_channels=in_channels,out_channels=dim,kernel_size=patch_size,stride=patch_size),
            Rearrange('b c h w -> b (h w) c')
        )
        #经过Mixer Layer 的次数
        self.mixer_blocks=nn.ModuleList([])
        for _ in range(depth):
            self.mixer_blocks.append(MixerBlock(dim,self.num_patches,token_dim,channel_dim,dropout))
        self.layer_normal=nn.LayerNorm(dim)

        self.mlp_head=nn.Sequential(
            nn.Linear(dim,num_classes)
        )
    def forward(self,x):
        x=self.to_embedding(x)
        for mixer_block in self.mixer_blocks:
            x=mixer_block(x)
        x=self.layer_normal(x)
        x=x.mean(dim=1)

        x=self.mlp_head(x)

        return x

MLP-Mixer用Mixer的MLP来替代ViT的Transformer，减少了特征提取的自由度，并且巧妙的可以交替进行patch间信息交流和patch内信息交流，从结果上来看，纯MLP貌似也是可行的，而且省去了Transformer复杂的结构，变的更加简洁，有点期待后续ViT和MLP-Mixer如何针锋相对的，感觉大组就是东挖一个西挖一个的，又把尘封多年的MLP给挖出来了

———– ConvMixer 网络

论文地址：https://openreview.net/pdf?id=TVHS5Y4dNvM
Github 地址：https://github.com/tmp-iclr/convmixer

ConvMixer is now integrated into the timm framework itself. You can see the PR here.

Conv Mixer 这篇文章提出的初衷是想去弄清楚，ViT系列模型表现优越，到底是图片分块的功劳 还是网络中Attention的功劳。于是作者就根据深度可分离卷积，在ViT 和 MLP Mixer 的启发中 设计了Conv Mixer。并且在表现上超越了一些ViT （某些ViT结构），MLP Mixer 和 ResNet。文章本身并没去追求模型的速度，和表现能力。

网络结构详解：

1、 Patch embedding

这里的Patch embedding实际上是使用一个卷积层 实现的

nn.Conv2d(3,dim,kernel_size=patch_size,stride=patch_size)

其中 kernel_size 就是patch的大小

2、GELU激活函数（高斯误差线性单元）

这个是最近很多模型都在用的函数（dert、高斯误差线性单元激活函数在最近的 Transformer 模型）GELUs正是在激活中引入了随机正则的思想，是一种对神经元输入的概率描述，直观上更符合自然的认识，同时实验效果要比Relus与ELUs都要好。

GELUs其实是 dropout、zoneout、Relus的综合，GELUs对于输入乘以一个0,1组成的mask，而该mask的生成则是依概率随机的依赖于输入。假设输入为X, mask为m，则m服从一个伯努利分布(Φ ( x ) \Phi(x)Φ(x), Φ ( x ) = P ( X < = x ) , X 服 从 标 准 正 太 分 布 \Phi(x)=P(X<=x), X服从标准正太分布Φ(x)=P(X<=x),X服从标准正太分布)，这么选择是因为神经元的输入趋向于正太分布，这么设定使得当输入x减小的时候，输入会有一个更高的概率被dropout掉，这样的激活变换就会随机依赖于输入了。

看得出来，这就是某些函数（比如双曲正切函数 tanh）与近似数值的组合。没什么过多可说的。有意思的是这个函数的图形：

可以看出，当 x 大于 0 时，输出为 x；但 x=0 到 x=1 的区间除外，这时曲线更偏向于 y 轴。

优点：

• 似乎是 NLP 领域的当前最佳；尤其在 Transformer 模型中表现最好；
• 能避免梯度消失问题。

3、ConvMixerLayer

class ConvMixerLayer(nn.Module):
    def __init__(self,dim,kernel_size = 9):
        super().__init__()
        #残差结构
        self.Resnet =  nn.Sequential(
            nn.Conv2d(dim,dim,kernel_size=kernel_size,groups=dim,padding='same'),
            nn.GELU(),
            nn.BatchNorm2d(dim)
        )
        #逐点卷积
        self.Conv_1x1 = nn.Sequential(
            nn.Conv2d(dim,dim,kernel_size=1),
            nn.GELU(),
            nn.BatchNorm2d(dim)
        )
    def forward(self,x):
        x = x +self.Resnet(x)
        x = self.Conv_1x1(x)
        return 

在ConvMixer Layer 中, 使用了深度可分离卷积，GELU 激活函数，逐点卷积。
论文中将图中红色部 称为 “channel wise mixing” 蓝色部分称为 “spatial mixing”
论文得到的结论是当深度可分离卷积部分的卷积核越大，模型的性能越好。文章中的使用的是9×9的卷积核，因为卷积核越大表现越好。

文章最后也认为，ViT 表现如此优越 是因为patch embedding （图片分块）的原因。
作者认为 patch embedding 操作就能完成神经网络的所有下采样过程，降低了图片的分辨率，增加了感受野，更容易找到远处的空间信息。从而模型表现良好

文献链接

图像分类(Classification)

• LeNet http://yann.lecun.com/exdb/lenet/index.html
• AlexNet http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
• ZFNet(Visualizing and Understanding Convolutional Networks) https://arxiv.org/abs/1311.2901
• VGG https://arxiv.org/abs/1409.1556
• GoogLeNet, Inceptionv1(Going deeper with convolutions) https://arxiv.org/abs/1409.4842
• Batch Normalization https://arxiv.org/abs/1502.03167
• Inceptionv3(Rethinking the Inception Architecture for Computer Vision) https://arxiv.org/abs/1512.00567
• Inceptionv4, Inception-ResNet https://arxiv.org/abs/1602.07261
• Xception(Deep Learning with Depthwise Separable Convolutions) https://arxiv.org/abs/1610.02357
• ResNet https://arxiv.org/abs/1512.03385
• ResNeXt https://arxiv.org/abs/1611.05431
• DenseNet https://arxiv.org/abs/1608.06993
• NASNet-A(Learning Transferable Architectures for Scalable Image Recognition) https://arxiv.org/abs/1707.07012
• SENet(Squeeze-and-Excitation Networks) https://arxiv.org/abs/1709.01507
• MobileNet(v1) https://arxiv.org/abs/1704.04861
• MobileNet(v2) https://arxiv.org/abs/1801.04381
• MobileNet(v3) https://arxiv.org/abs/1905.02244
• ShuffleNet(v1) https://arxiv.org/abs/1707.01083
• ShuffleNet(v2) https://arxiv.org/abs/1807.11164
• Bag of Tricks for Image Classification with Convolutional Neural Networks https://arxiv.org/abs/1812.01187
• EfficientNet(v1) https://arxiv.org/abs/1905.11946
• EfficientNet(v2) https://arxiv.org/abs/2104.00298
• CSPNet https://arxiv.org/abs/1911.11929
• RegNet https://arxiv.org/abs/2003.13678
• NFNets(High-Performance Large-Scale Image Recognition Without Normalization) https://arxiv.org/abs/2102.06171
• Vision Transformer https://arxiv.org/abs/2010.11929
• DeiT(Training data-efficient image transformers ) https://arxiv.org/abs/2012.12877
• Swin Transformer https://arxiv.org/abs/2103.14030
• Swin Transformer V2: Scaling Up Capacity and Resolution https://arxiv.org/abs/2111.09883
• BEiT: BERT Pre-Training of Image Transformers https://arxiv.org/abs/2106.08254
• MAE(Masked Autoencoders Are Scalable Vision Learners) https://arxiv.org/abs/2111.06377
• ConvNeXt(A ConvNet for the 2020s) https://arxiv.org/abs/2201.03545
• MobileViT(v1) https://arxiv.org/abs/2110.02178
• MobileOne(An Improved One millisecond Mobile Backbone) https://arxiv.org/abs/2206.04040

目标检测(Object Detection)

• R-CNN https://arxiv.org/abs/1311.2524
• Fast R-CNN https://arxiv.org/abs/1504.08083
• Faster R-CNN https://arxiv.org/abs/1506.01497
• Cascade R-CNN: Delving into High Quality Object Detection https://arxiv.org/abs/1712.00726
• Mask R-CNN https://arxiv.org/abs/1703.06870
• SSD https://arxiv.org/abs/1512.02325
• FPN(Feature Pyramid Networks for Object Detection) https://arxiv.org/abs/1612.03144
• RetinaNet(Focal Loss for Dense Object Detection) https://arxiv.org/abs/1708.02002
• Bag of Freebies for Training Object Detection Neural Networks https://arxiv.org/abs/1902.04103
• YOLOv1 https://arxiv.org/abs/1506.02640
• YOLOv2 https://arxiv.org/abs/1612.08242
• YOLOv3 https://arxiv.org/abs/1804.02767
• YOLOv4 https://arxiv.org/abs/2004.10934
• YOLOX(Exceeding YOLO Series in 2021) https://arxiv.org/abs/2107.08430
• PP-YOLO https://arxiv.org/abs/2007.12099
• PP-YOLOv2 https://arxiv.org/abs/2104.10419
• CornerNet https://arxiv.org/abs/1808.01244
• FCOS(Old) https://arxiv.org/abs/1904.01355
• FCOS(New) https://arxiv.org/abs/2006.09214
• CenterNet https://arxiv.org/abs/1904.07850

语义分割(Semantic Segmentation)

• FCN(Fully Convolutional Networks for Semantic Segmentation) https://arxiv.org/abs/1411.4038
• UNet(U-Net: Convolutional Networks for Biomedical Image Segmentation) https://arxiv.org/abs/1505.04597
• DeepLabv1(Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs) https://arxiv.org/abs/1412.7062
• DeepLabv2(Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs) https://arxiv.org/abs/1606.00915
• DeepLabv3(Rethinking Atrous Convolution for Semantic Image Segmentation) https://arxiv.org/abs/1706.05587
• DeepLabv3+(Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation) https://arxiv.org/abs/1802.02611

实例分割(Instance Segmentation)

• Mask R-CNN https://arxiv.org/abs/1703.06870

关键点检测(Keypoint Detection)

• HRNet(Deep High-Resolution Representation Learning for Human Pose Estimation) https://arxiv.org/abs/1902.09212

自然语言处理

• Attention Is All You Need https://arxiv.org/abs/1706.03762

Others

• Microsoft COCO: Common Objects in Context https://arxiv.org/abs/1405.0312
• The PASCALVisual Object Classes Challenge: A Retrospective http://host.robots.ox.ac.uk/pascal/VOC/pubs/everingham15.pdf
• Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization https://arxiv.org/abs/1610.02391

摘自 BeyondSelf

这是一篇节省你翻论坛、查资料的文章。

我将把每一步尽量写的清楚，能够让新手按照这篇文章进行完整的投稿。

即使你从未投过稿，完全不了解IEEE的投稿流程，希望按照这篇文章，能够帮助你流畅无误的投稿

这是针对本科生和低年级研究生，对投稿流程还不清楚，或者在初次投稿时可以参考的文章。

（零）预备：账号注册

这一步是为了注册ORCID和IEEE的账号，已经有账号的可以忽略不看

对于IEEE的不同杂志，是由不同的投稿账号的，这一点需要注意

1.注册ORCID，ORCID类似于你的身份证号码，即使你的名字改变，但是号码是不变的。

（1）进入orcid官网ORCID​orcid.org/

（2）选择右上方的SIGN IN/REGISTER

(3)依次填入所需的信息

2.注册IEEE账号

（1）进入IEEE查文献的主页https://ieeexplore.ieee.org/Xplore/home.jsp​ieeexplore.ieee.org/Xplore/home.jsp

（2）搜索期刊名字，会展示如下画面，这里以IEEE Transactions on communications 举例：

点击你想要投稿的期刊

（3）找到Submit Manusript，这个选项几乎所有的期刊都有。

（4）点击创建账户

（5）点击Associate your existing ORCID id

（6）在弹出页面中点击授权

（7）依次填入姓名和邮箱，只填必须项即可

之后就是输入地址和密码，按实际情况填写即可

（一）论文写作

1.下载模板

IEEE的期刊都会给一个模板，但是不同期刊会共用同一套模板。下载模板的网址为：https://journals.ieeeauthorcenter.ieee.org/create-your-ieee-journal-article/authoring-tools-and-templates/tools-for-ieee-authors/ieee-article-templates/​journals.ieeeauthorcenter.ieee.org/create-your-ieee-journal-article/authoring-tools-and-templates/tools-for-ieee-authors/ieee-article-templates/

IEEE Article Templates – IEEE Author Center JournalsIEEE Article Templates – IEEE Author Center Journals​journals.ieeeauthorcenter.ieee.org/create-your-ieee-journal-article/authoring-tools-and-templates/tools-for-ieee-authors/ieee-article-templates/

（0）点击 IEEE Template Selector 进入模板下载页面

（1）首先会让选择要写的文章类型，给了三个选项：

如果写常规的文章的话，就选第一个，包含trans和letter。会议的话，就选第三个。Magazine一般是指总结或者科普类的文章，影响因子高，但是一般你的第一篇文章，导师不会让你写这个。

（2）其次选择期刊的名字

这里直接输入即可，如“IEEE Transactions on Communications”.

（3）之后会依次选择文章的类型和格式，这里可供选择的格式有Latex和Word，首选Latex，一方面是因为格式好调，另一方面是因为敲公式快一些

（4）下载好模板之后，就可以开始写作了

2.论文写作准备

有了模板之后，还需要知道该期刊对于文章的要求，比如说页数，单栏还是双栏。这里不同期刊的要求不一样，对于新手来说，由于网页的设置，找到它并不容易。我这里来详细介绍下。

（1）进入IEEE查文献的主页https://ieeexplore.ieee.org/Xplore/home.jsp​ieeexplore.ieee.org/Xplore/home.jsp

（2）搜索期刊名字，会展示如下画面，这里以IEEE Transactions on communications 举例：

点击你想要投稿的期刊

（3）找到Submit Manusript，这个选项几乎所有的期刊都有。

（4）点进去之后，发现左下角有一个Journal Home，点击

（5）在上述网页中，找到你想要投稿的期刊（当然，你也可以跳过上述步骤，直接进入到这里~之所以要经过这些步骤，是因为接下来会用到其中一些步骤）

在出现的页面中，会有submission guidelines：

这里就说明，此期刊提交的时候要求单栏，12号字，不超过30页

这里教大家一个小技巧，如果整个网页页面太长的话，直接按Ctrl+F 搜索column关键词，因为所有的期刊都会要求单栏还是双栏，所以主要要求就在这个附近

（6）在第（4）步中，如果页面的右边已经有guidelines，那么就不需要再进入journal home了

对TPAMI杂志来说，直接点击红线所示，就可以得到文章要求，双栏，不超过12页

对于IEEE trans系列的杂志，基本上模板都是差不多的，如果在官网上找不到，也可以直接百度搜索一个模板

（二）论文投稿

在得到模板以及文章的要求之后，就可以开始论文写作了。当然，如果在上述步骤中找不到期刊的具体要求也没事，可以先写，一些格式问题可以之后再说，在文章正式发表前，编辑还会进行修改。这里假设你的论文已经写完，开始进入投稿环节

1.进入想要投稿期刊的主页，点击submit mannusript

2. 这里会要求你登入账号，一般是用导师的账号或者自己注册。投稿的账号一般就是通信作者

3.登录成功后，点击Author

4.点击Start New Submission中的Begin Submission，会出现如下信息

依次填入文章的类型、上传文件、作者等相关信息，就可以完成整篇文章的上传。这里以IEEE transactions on communications 举例，展示提交的流程

Step 1:

（1）首先选择类型，一般的话，就选常规的

（2）然后输入题目和摘要

Step 2:上传文件，一般是上传PDF

Step 3:输入关键字，下拉列表找到最贴合论文的，点击添加

Step 4：输入作者信息，与论文保持一致

Step 5 ：选择审稿人，如果没有想选的话，可以跳过

Step 6 ：是一些与文章相关的细节，可以按文章情况填写。

Step 7 ：检查环节，确认无误后就可以正式提交了

注：邮箱是最重要的联系方式，之后会通过邮件联系你，请及时查看，而且对于修改等是有截止日期的。

（三）等待

论文会首先分配编辑，然后分配审稿人。可能会给你返回的状态有：Reject,Reject(Resubmission Allowed),Major,Minor,Accept

1.Reject并且不允许重投的话，说明就凉了

2.Reject且允许重投的话，也还凑合，重投的话可能被接受

3.Major大修，一般Major的话，如果修改没问题的话，大概率被接收

4.Minor小修，这样子的话基本也没问题

5.Accept是最好的，但不会刚投稿就这样，起码得有个minor，都得为难你一下

（四）接收后

当文章被接收后，编辑会给你发一个邮件，让你填一些内容，大概是著作权之类的。这些就按照要求来即可

之后会有一个校对环节，你需要在编辑给你发送的PDF上修改，而不能再重新提交PDF。此时的文章状态一般是Early Access，如果没有挂arxiv的话，在这个阶段，你就可以搜到自己的文章，并且也可以被引用了。再过一段时间，状态就会更新为Publish，就说明正式发表了。

​