论文 – 第 10 页

多模态预训练 | ViLT

paper: https://arxiv.org/abs/2102.03334 ICML 2021

code: https://github.com/dandelin/ViLT

图1 Visual comparison of conventional VLP architectures
and our proposed ViLT.

视觉文本多模态任务，极其简单的多模态结构。模态的特征抽取做到了极小化，主要的计算量放在后边的模态融合上，提高了推理速度。多模态领域里程碑式工作。将区域特征，region 从多模态框架中移除。

Vision and Language Pre-training(VLP)已经已经在视觉语言的多模态下游任务中发展的很好。然而，当前VLP的工作主要集中在图像特征抽取上，一般来讲，图像特征抽取的越好，下游任务中的表现就越好。但是，现在主要有两个问题，一是效率太低，速度太慢，抽取图像特征花费大量时间，比多模态融合都多。我们应该花费更多时间在融合上。第二个是，你用一个预训练好的模型去抽取特征，表达能力受限。目标检测数据集不够大，规模不够大。如果模型不是端到端学习，只是从预训练模型抽取特征，大概率来说不是最优解。

Motivation

目前参数量最小的多模态Transformer方法。ViLT使用预训练的ViT来初始化交互的transformer，这样就可以直接利用交互层来处理视觉特征，不需要额外增加一个视觉encoder（如Faster-RCNN）。

Contribution

第一个基于patch projection的多模态预训练模型，其是首个使用patch projection来做visual embedding的方法。
证明了可以将BERT的方法和Vison Transformer结合起来用于多模态transformer。
体现了全词掩码在预训练时以及图像增强在微调时的重要性。

Method

现有的视觉语言模型的三种结构类别：

VE = Vision Embedding

TE = Text Embedding

MI = Modality Interaction

上图是4种不同类型的VLP模型示意图。其中每个矩形的高表示相对计算量大小，VE、TE和MI分别是visual embedding、text embedding和modality interaction的简写。

作者提出这4种类型的主要依据有两点：

1.在参数或者计算上，两种模态是否保持平衡。

2.在网络深层中，两种模态是否相互作用。

VSE、VSE++和SCAN属于(a)类型。对图像和文本独立使用encoder，图像的更重，文本的更轻，使用简单的点积或者浅层attention层来表示两种模态特征的相似性。

CLIP属于(b)类型。每个模态单独使用重的transformer encoder，使用池化后的图像特征点积计算特征相似性。

ViLBERT、UNTER和Pixel-BERT属于(c)类型。这些方法使用深层transformer进行交互作用，但是由于VE仍然使用重的卷积网络进行特征抽取，导致计算量依然很大。

作者提出的ViLT属于(d)类型。ViLT是首个将VE设计的如TE一样轻量的方法，该方法的主要计算量都集中在模态交互上。

Modality Interaction Schema

模态交互部分可以分成两种方式：一种是single-stream(如BERT和UNITER)，另一种是dual-stream(如ViLBERT和LXMERT)。其中single-stream是对图像和文本concate然后进行交互操作，而dual-stream是不对图像和文本concate然后进行交互操作。ViLT延用single-stream的交互方式，因为dual-stream会引入额外的计算量。

现有的VLP模型的text embedding基本上都使用类BERT结构(图1)，但是visual embedding存在着差异。在大多数情况下，visual embedding是现有VLP模型的瓶颈。visual embedding的方法总共有三大类，其中region feature方法通常采用Faster R-CNN二阶段检测器提取region的特征，grid feature方法直接使用CNN提取grid的特征，patch projection方法将输入图片切片投影提取特征。ViLT是首个使用patch projection来做visual embedding的方法。

网络结构ViLT

作者提出的ViLT可以认为是目前最简单的多模态Transformer方法。ViLT使用预训练的ViT来初始化交互的transformer，这样就可以直接利用交互层来处理视觉特征，不需要额外增加一个视觉encoder。

文本特征输入部分，将文本看成一个词序列，通过word embedding matrix转化成word embedding，然后和position embedding进行相加，最后和modal-type embedding进行concate。

图像特征输入部分，将图像切块看成一个图像块序列，通过linear projection转化成visual embedding，然后和postion embedding进行相加，最后和modal-type embedding进行concate。

其中word embedding和visual embedding通过可学习的modal-type embedding标志位来区分，其中0标志位表示word embedding部分，1标志位表示visual embedding部分。

wrod embedding和visual embedding分别都嵌入了一个额外的可学习[class] embedding，方便和下游任务对接。

Pretraining Objectives

ViLT预训练的优化目标有两个：一个是image text matching(ITM)，另一个是masked language modeling(MLM)。

ImageText Matching：随机以0.5的概率将文本对应的图片替换成不同的图片，然后对文本标志位对应输出使用一个线性的ITM head将输出feature映射成一个二值logits，用来判断图像文本是否匹配。另外ViLT还设计了一个word patch alignment (WPA)来计算teextual subset和visual subset的对齐分数。

Masked Language Modeling：MLM的目标是通过文本的上下文信息去预测masked的文本tokens。随机以0.15的概率mask掉tokens，然后文本输出接两层MLP与车mask掉的tokens。

Whole Word Masking：另外ViLT还使用了whole word masking技巧。whole word masking是将连续的子词tokens进行mask的技巧，避免了只通过单词上下文进行预测。比如将“giraffe”词tokenized成3个部分[“gi”, “##raf”, “##fe”]，可以mask成[“gi”, “[MASK]”, “##fe”]，模型会通过mask的上下文信息[“gi”，“##fe”]来预测mask的“##raf”，就会导致不利用图像信息。

Experiment

本文提出的方法在效率上大大提升且表现出相似的性能，相比于region feature的方法速度快了60倍，相比于grid feature的方法快了4倍，而且下游任务表现出相似甚至更好的性能。

如图所示，ViLT相比于region feature的方法速度快了60倍，相比于grid feature的方法快了4倍，而且下游任务表现出相似甚至更好的性能。

缺点：

1、性能不够高，在一些数据集上得表现比不过C类方法，有可能因为对于现有的任务来说，因为数据集的bias，或者这个任务需要更多的视觉信息，因此需要更多得视觉部分，最后的效果才能好。

2、虽然推理时间快，但是训练速度很慢。只是结构上简化了多模态学习，但一般人还是玩不起。

CCF（中国计算机学会）推荐国际学术会议和期刊目录（2022年拟定）

CCF（中国计算机学会）推荐国际学术会议和期刊目录（2022年拟定）终于来了！较前一版本（2019）拟新增期刊4个，会议6个；升级期刊18个，会议19个；移除期刊1个。值得注意的是：当前的目录正在公示期，并非2022最终版本，所以后面会再次发布最终版本。

https://www.ccf.org.cn/Academic_Evaluation/By_category/

本文将重点关注 AI 领域，特别是计算机视觉方向的会议/期刊变动情况

【重点总结—拟定】

MICCAI 首次被收录，空降B类会议
PRCV 首次被收录，空降C类会议
NAACL 从C类升级到B类会议
ICLR 继续陪跑，没有被收录推荐目录
AI和图形学/多媒体两大领域的A类会议/期刊均没有变化（无新增/无降级/无移除）
WINE（Conference on Web and Internet Economics）空降A类期刊（属于交叉/综合/新兴领域）
SCIS（Science China Information Sciences）从B类期刊升级到A类期刊（属于交叉/综合/新兴领域）

仅以当前目录（拟定）来看，Amusi猜测：MICCAI、PRCV 的投稿量一定会爆炸增长。

Amusi侃侃：2019-2022这几年里，关于CCF 人工智能会议中争议最多的应该就是：建议ICLR新增到A类，而这次ICLR居然还是连目录（拟定）都没有进，A类/B类/C类中都没有；如果最终版确定没有，那不知道CCF目录下次更新是何时了…

下面完整罗列了推荐目录（拟定）中的【人工智能】和【计算机图形学与多媒体】两大领域的会议和期刊：

人工智能会议

A类不变，仍是7个会议：AAAI、NeurIPS、ACL、CVPR、ICCV、ICML和IJCAI，如下图所示：

B类有13个会议，新增一个NAACL（NAACL从C类升级到B类），如下图所示：

C类有20个会议，减少一个NAACL（NAACL从C类升级到B类），如下图所示：

人工智能期刊

A类不变，仍是4个期刊：AI、TPAMI、IJCV、JMLR，如下图所示：

B类有22个期刊，新增（空降）TACL 期刊，如下图所示：

C类有37个期刊，新增（空降）TIIS 期刊，如下图所示：

计算机图形学与多媒体会议

A类不变，仍是4个会议：ACM MM、SIGGRAPH、VR和IEEE VIS，如下图所示：

B类有14个会议，新增（空降）MICCAI，如下图所示：

C类有15个会议，新增（空降）PRCV、ICVRV和CVM，如下图所示：

计算机图形学与多媒体期刊

A类不变，仍是3个期刊：TOG、TIP和TCVG，如下图所示：

B类不变，仍是10个期刊，如下图所示：

C类有13个期刊，新增（空降）CVMJ，如下图所示：

基于扩散模型的语义分割

论文标题：LABEL-EFFICIENT SEMANTIC SEGMENTATION WITH DIFFUSION MODELS

论文地址：https://arxiv.org/pdf/2112.03126.pdf

论文代码：https://github.com/yandex-research/ddpm-segmentation

摘要

背景介绍：去噪扩散概率模型DDPM最近受到了很多研究关注，因为它们优于其他方法，如GAN，并且目前提供了最先进的生成性能。差分融合模型的优异性能使其在修复、超分辨率和语义编辑等应用中成为一个很有吸引力的工具。
研究方法：作者为了证明扩散模型也可以作为语义分割的工具，特别是在标记数据稀缺的情况下。对于几个预先训练的扩散模型，作者研究了网络中执行逆扩散过程马尔可夫步骤的中间激活。结果表明这些激活有效地从输入图像中捕获语义信息，并且似乎是分割问题的出色像素级表示。基于这些观察结果，作者描述了一种简单的分割方法，即使只提供了少量的训练图像也可以使用。
实验结果：提出的算法在多个数据集上显着优于现有的替代方法。

图像生成模型 Stable Diffusion|CVPR ’22 Oral

项目地址：https://ommer-lab.com/research/latent-diffusion-models/

试玩： https://huggingface.co/spaces/stabilityai/stable-diffusion

High-Resolution Image Synthesis with Latent Diffusion Models

Stable Diffusion 是一个“文本到图像”的人工智能模型。近日，Stable AI 公司向公众开放了它的预训练模型权重。当输入一个文字描述时，Stable Diffusion 可以生成 512×512 像素的图像，这些图像如相片般真实，反映了文字描述的场景。

这个项目先是经历了早期的代码发布，而后又向研究界有限制地发布了模型权重，现在模型权重已经向公众开放。对于最新版本，任何人都可以在为普通消费者设计的硬件上下载和使用 Stable Diffusion。该模型不仅支持文本到图像的生成，而且还支持图像到图像的风格转换和放大。与之一同发布的还有 DreamStudio 测试版，这是一个用于该模型的 API 和 Web 用户界面。

Stable AI 公司表示：

“Stable Diffusion 是一个文本到图像的模型，它将使数十亿人在几秒钟内创造出令人惊叹的艺术。它在速度和质量上的突破意味着它可以在消费者级的 GPU 上运行。这将允许研究人员和公众在一系列条件下运行它，并使图像生成普及化。我们期待着有围绕这个模型和其他模型的开放生态系统出现，以真正探索潜伏空间的边界。”

Latent Diffusion 模型（LDM）是 Stable Diffusion 模型建立的一种图像生成方法。LDM 通过在潜伏表示空间(latent representation space)中迭代“去噪”输入来创建图像，然后将表示解码为完整的图像，这与其他著名的图像合成技术，如生成对抗网络（GAN）和 DALL-E 采用的自动回归方法不同。最近的 IEEE/CVF 计算机视觉和模式识别会议（CVPR）上有一篇关于 LDM 的论文，它是由慕尼黑路德维希-马克西米利安大学的机器视觉和学习研究小组创建的。今年早些时候，InfoQ 也报道的另一个基于扩散的图片生成 AI 是谷歌的 Imagen 模型。

Stable Diffusion 可以支持众多的操作。与 DALL-E 类似，它可以生成一个高质量的图像，并使其完全符合所需图像的文字描述。我们也可以使用一个直观的草图和所需图像的文字描述，从而创建一个看起来很真实的图像。类似的“图像到图像”的能力可以在 Meta AI 的 Make-A-Scene 模型中找到，该模型刚发布不久。

一些人公开分享了 Stable Diffusion 创建的照片的例子，Stable AI 的首席开发人员 Katherine Crowson 也在 Twitter 上分享了许多照片。毫无疑问，基于人工智能的图片合成技术将对艺术家和艺术界产生影响，这令一些观察家感到担忧。值得注意的是，在 Stable Diffusion 发布的同一周，一幅由人工智能生成的作品在科罗拉多州博览会的艺术竞赛中获得了最高荣誉。

Stable Diffusion 的源代码可以在 GitHub 上查阅。

试玩地址： https://huggingface.co/spaces/stabilityai/stable-diffusion

Contribution

Diffusion model是一种likelihood-based的模型，相比GAN可以取得更好的生成效果。然而该模型是一种自回归模型，需要反复迭代计算，因而训练和推理都十分昂贵。本文提出一种diffusion的过程改为在latent space上做的方法，从而大大减少计算复杂度，同时也能达到十分不错的生成效果。（ “democratizing” research on DMs），在unconditional image synthesis, inpainting, super-resolution都能表现不错~
相比于其它进行压缩的方法，本文的方法可以生成更细致的图像，并且在高分辨率（风景图之类的，最高达10242px都无压力）的生成也表现得很好。
提出了cross-attention的方法来实现多模态训练，使得class-condition, text-to-image, layout-to-image也可以实现。

方法We condition LDMs either via concatenation or by a
more general cross-attention mechanism.

整体框架如图，先训练好一个AutoEncoder（包括一个encoder和decoder）。因此，我们可以利用encoder压缩后的数据做diffusion操作，再用decoder恢复即可。

Autoencoder训练： L1/L2loss来作为重建损失，用GAN来做对抗攻击？，用KL loss来把latent space拉到正态分布，防止搜索空间过大。
用了encoder降维后，就可以使用latent space diffusion了~ 具体扩散过程其实没有变，只不过现在扩散和重建的目标为latent space的向量了。Diffusion model具体实现为 time-conditional UNet。

为了引入conditioning的信息，提出了domain specific encoder τθ(y)不同模态的（比如text, class, image…）转成中间表达(intermediate representation)，再利用cross-attention来嵌入到UNet中去。

Experiments

展示一些可用的任务：

layout-to-image 输入bounding box输出图像。
text-to-image输入文本，输出图像。

输入landscape输出高分辨率的风景图。

超分辨率

inpainting （图像修复/编辑）

效率对比。大概时间上缩短为1/3~ 并且，FID的值更小。

ICCV2021|极大似然法做点云降噪

论文标题：Score-Based Point Cloud Denoising

论文链接：https://arxiv.org/abs/2107.10981

作者单位：北京大学

本文提出了一种新的点云去噪范式，利用噪声点云的分布模型并利用分布的分数，表现SOTA！性能优于DMR、GPDNet等网络。

从扫描设备获取的点云通常会受到噪声的干扰，这会影响表面重建和分析等下游任务。噪声点云的分布可以看作是一组无噪声样本 p(x) 与某个噪声模型 n 卷积的分布，导致 (p∗n)(x) 的模式是底层清洁表面。为了对嘈杂的点云去噪，我们建议通过梯度上升从 p∗n 增加每个点的对数似然——迭代更新每个点的位置。由于 p∗n 在测试时是未知的，我们只需要分数（即对数概率函数的梯度）来执行梯度上升，我们提出了一种神经网络架构来估计 p∗n 的分数只给定嘈杂的点云作为输入。我们推导出用于训练网络的目标函数，并利用估计的分数开发去噪算法。实验表明，所提出的模型在各种噪声模型下优于最先进的方法，并显示出应用于其他任务（如点云上采样）的潜力。

VirtualCube: An Immersive 3D Video Communication System

3D视频会议系统VirtualCube：相隔万里也如近在咫尺般身临其境
https://www.microsoft.com/en-us/research/project/virtualcube/

微软亚洲研究院的研究项目 3D 视频会议系统 VirtualCube，可以让在线会议的与会者建立自然的眼神交互，沉浸式的体验就像在同一个房间内面对面交流一样。该技术的相关论文被全球虚拟现实学术会议 IEEE Virtual Reality 2022 接收并获得了大会的最佳论文奖（Best Paper Award – Journal Papers Track）。

在日常交谈中，相互注视和摆动头部等动作都是自然对话的组成部分，尤其是当我们在面对面交流中变换话题、控制发言或转换交流对象时，都会伴随眼神和肢体动作的交流。然而，当前的视频会议技术却存在着一定的缺陷——由于摄像头和屏幕不在同一高度，如果看向屏幕眼神往往很不自然，如果看向摄像头则无法关注到其他与会者的反应，因此视频会议缺少了线下交流的真实感和互动感。而且在实际的工作中，我们还会有各种不同的会议场景，比如多人会议、同排而坐协同工作等情况，对于捕捉与会者的侧方视线和动作来说，现有的视频会议系统就更无能为力了。

如果有一个会议系统，可以让人们即使身处不同的地方，也能像在同一房间里一样交流，视线转动就能与同伴建立起眼神沟通，这是否会给远程办公增添一份沉浸式的真实感呢？

利用现有的普通硬件设备搭建的 3D 视频系统：

为了解决这些问题，微软亚洲研究院提出了创新的 3D 视频会议系统——VirtualCube，它可以在远程视频会议中建立起真人等大的 3D 形象，无论是正面沟通，还是侧方交流，系统都能够正确捕捉到与会者的眼神、动态，建立起眼神和肢体交流。相关论文被全球虚拟现实学术会议 IEEE Virtual Reality 2022 接收并获得了大会的最佳论文奖（Best Paper Award – Journal Papers Track）

VirtualCube 系统具有三大优势：

标准化、简单化，全部使用现有的普通硬件设备。与办公场所中常见的格子间（Cubicle）类似，每个 VirtualCube 都提供了一致的物理环境和设备配置：与会者正前方安装有6个 Azure Kinect RGBD 摄像头，以捕捉真人的图像和眼神等动作；在与会者的正面和左右两侧还各有一个大尺寸的显示屏，以创造出身临其境的参会感。使用现有的、标准化的硬件能够大大简化用户设备校准的工作量，从而实现 3D 视频系统的快速部署和应用。

感。使用现有的、标准化的硬件能够大大简化用户设备校准的工作量，从而实现 3D 视频系统的快速部署和应用。

6个 Azure Kinect RGBD 摄像头捕捉人像和眼神等动作

多人、多场景，任意组合。作为在线视频会议的基础构建，VirtualCube 的虚拟会议环境可由多个空间（Cube）按照不同的布局组成，以支持不同的会议场景，例如两人的面对面会议、两人并排会议，以及多人的圆桌会议等。

多个空间（Cube）可实现任意组合

实时、高质量渲染真人图像。VirtualCube 可以捕捉到参与者的各种细微变化，包括人的皮肤颜色、纹理，面部或衣服上的反射光泽等，并实时渲染生成真人大小的 3D 形象，显示在远程与会者的屏幕中。而且虚拟会议环境的背景也可以根据用户的需求自由选择。

任意变换会议场景，都能身临其境

V-Cube View和V-Cube Assembly算法双剑合璧，沉浸式会议体验不再是难题

其实业界对 3D 视频会议的研究从未间断过。早在2000年，就有人曾提出过与类似混合现实技术有关的畅想。基于这个设想，科研人员一直在探索如何将视频会议以更逼真、更自然的方式呈现，期间也出现了不同的技术路线和解决方案，但都没有达到理想的效果。对此，微软亚洲研究院主管研究员张译中和杨蛟龙表示，过往的研究仍然有很多没有解决的问题：首先，在真实环境下，无论放置怎样的单目摄像设备，即使图像质量再高，与会者也很难形成自然的眼神交流，特别是多人会议的情况；其次，很多研究针对特定的会议场景进行优化，如两个人面对面的会议或三人的圆桌会议，很难支持不同的会议设置；第三，虽然在影视界我们能够看到一些逼真的虚拟人，但那是需要专业的技术和影视团队长时间打磨和优化才能实现的，仍然需要一定的手工劳动，目前无法进行实时捕捉和实时渲染。

为此，微软亚洲研究院提出了 V-Cube View 和 V-Cube Assembly 两大全新算法，在 VirtualCube 中实现了自动捕捉参与者的手势动作和眼神变化，实时渲染形成高保真图像，让参与者在虚拟会议中体验到真实会议的氛围。

“两个人在交谈且相互注视对方时，对方看到的自己就相当于在自己眼睛的位置放置一个摄像头。但屏幕和摄像头的位置存在高低差，所以当一方注视屏幕中对方的眼睛时，摄像头捕捉到的眼神就会偏离。因此在 VirtualCube 中，我们在与会者正前方的屏幕边缘放置了六个摄像头，通过 V-Cube View 算法合成正确的视点图像，并利用 V-Cube Assembly 确定正确的相对位置，进而给与会者一个沉浸式的会议体验”，张译中介绍道。

基于深度学习的 V-Cube View 算法，通过 VirtualCube 中的六个摄像头的 RGBD 图像作为输入，实时渲染任意目标视点下人的高保真视频。这里的技术挑战是如何同时做到高保真和实时。对此，微软亚洲研究院主管研究员杨蛟龙解释道：“实时渲染高保真的人像，特别是高保真的人脸一直是个具有挑战性的研究课题。传统的三维重建和纹理贴图的做法虽然可以做到实时绘制，却无法重现出真实人脸复杂的材质和在不同视点下外观的变化。为此我们提出了一种新的 Lumi-Net 渲染方法，其核心思想是利用重构的三维几何作为参考来实现一个四维光场的实时渲染，并结合神经网络进行图像增强，从而提高了渲染的质量，特别是人脸区域的高保真度。”

具体而言，V-Cube View 算法分为三步进行。首先，研究员设计了一个神经网络来快速求解目标视点深度图作为人体的几何参考（geometry proxy）。然后，算法在给定的几何参考下将获取的多视角 RGB 图像（即光线）进行融合，实现绘制。在这一步中，研究员受传统的非结构化流明图（Unstructured Lumigraph）方法启发，将输入光线与目标像素光线的方向和深度差异作为先验，通过神经网络学习最合适的融合权重。最后，为了进一步提升绘制质量，研究员们使用了神经网络对上一步的绘制结果进行图像增强。整个算法实现了端到端的训练，并在训练过程中引入了感知损失函数及对抗学习技术，使得算法可以自动学习出最优的神经网络，实现高保真的绘制。而且为了保证绘制的实时性，算法的前两步都在低分辨率图像上执行，这样可以在不损失太多精度的情况下大大降低所需计算量。经过精心设计和优化的 V-Cube View 算法，将实时的三维人物渲染质量提升到了一个新的高度。

V-Cube View 算法示意图

另外，为了让 VirtualCube 的使用者拥有和线下交流同样的体验，在将与会者映射到虚拟环境时，系统还要考虑他们之间的相对位置关系，这时 V-Cube Assembly 算法就发挥了重要的作用。“在整个虚拟会议环境中，V-Cube Assembly 可以被定义为全局坐标系统，单个的 VirtualCube 则为局部坐标系统。全局坐标系与局部坐标系之间的正确 3D 几何变化，对在视频显示器上正确呈现远程与会者的图像至关重要”杨蛟龙介绍。

研究员们首先会在 VirtualCube 中捕捉与会者的 3D 几何体，形成局部坐标系，然后将这些局部坐标系的 3D 几何体数据，投射到全局坐标系，经过 V-Cube Assembly 处理，在全局虚拟会议环境中确定每个 VirtualCube 参与者正确的相对位置，最后再将全局 3D 几何体转换为 VirtualCube 的局部坐标系，影射到 VirtualCube 的屏幕上。

V-Cube Assembly 算法示意图

抛砖引玉，畅想未来办公无限可能

VirtualCube 给 3D 视频会议系统提供了一种全新的思路。无论从算法设计、端到端设备部署还是工程调试上，VirtualCube 都证明了利用现有的普通硬件设备就可以实现沉浸式的 3D 视频会议体验。

除了让与会者“共享”同一个物理空间外，研究员们还在探索利用 VirtualCube 系统满足远程办公中的更多协作需求。例如，研究员们展示了这样一种场景：在协同工作时，两位与会者及其电脑桌面都将是视频会议的一部分，因此与会者并排而坐，并且跨屏幕传递自己桌面上的文档和应用程序会让远程协作更加方便。

随着技术的不断精进，未来，大家或许都可以实现身隔万里，却能亲临其境一起办公，自然沟通的遥在体验，而这将极大地提高混合办公的效率。微软亚洲研究院的研究员们也希望 VirtualCube 可以成为一颗探索的种子，给更多研究人员带来启发，在大家共同的努力下，找到更好的虚拟空间交互形式，打开未来办公的更多可能。

PointCLIP 用CLIP巧解点云分类

论文： CVPR2022 PointCLIP: Point Cloud Understanding by CLIP

代码：https://github.com/ZrrSkywalker

本文提出PointCLIP：第一个将 CLIP 应用于点云识别的工作，它将2D预训练的知识迁移到3D领域，可在没有任何 3D 训练的情况下对点云进行跨模态零样本识别。

在本文中，我们通过提出 PointCLIP 来确定这种设置是可行的，它在 CLIP 编码的点云和 3D 类别文本之间进行对齐。

因为重新训练clip的代价太大（原始clip的训练数据有4yi对文本图像对），因此没法去修改clip的模型结构，因此也就意味之模型的输入：text-image形式。因此作者将三d点云数据经过不同视角的渲染，变成M个RGB的二维maps，送如encoder中并获得M个特征，通过与对应的文本特征做一个相似度，来确定当前的点云类别。

具体来说，我们通过将点云投影到多视图深度图中而不进行渲染来编码点云，并聚合视图方式的零样本预测以实现从 2D 到 3D 的知识迁移。最重要的是，我们设计了一个视图间适配器，以更好地提取全局特征，并将从 3D 中学到的小样本知识自适应地融合到 2D 中预训练的 CLIP 中。

通过在小样本设置中微调轻量级适配器，PointCLIP 的性能可以大大提高。此外，我们观察到 PointCLIP 和经典 3D 监督网络之间的互补特性。通过简单的集成，PointCLIP 提高了基线的性能，甚至超越了最先进的模型。因此，PointCLIP 是在低资源成本和数据机制下通过 CLIP 进行有效 3D 点云理解的有前途的替代方案。

ensembling聚合部分：可以认为是把pointclip作为一个即插即用的模块，用于辅助3D点云分类网络做分类任务。

实验结果

我们对广泛采用的 ModelNet10、ModelNet40 和具有挑战性的 ScanObjectNN 进行了彻底的实验，以证明 PointCLIP 的有效性。

Mask Scoring RCNN

论文： https://arxiv.org/abs/1903.00241 CVPR2019

code: https://github.com/zjhuang22/maskscoring_rcnn

这篇论文从实例分割中mask 的分割质量角度出发，提出过去的经典分割框架存在的一个缺陷：用Bbox bounding box的classification confidence作为mask score，导致mask score和mask quality不配准。因此文章基于Mask R-CNN提出一个新的框架Mask Scoring R-CNN，能自动学习出mask quality，试图解决不配准的问题。

摘要

让一个深度网络意识到自己预测的质量是一个有趣但重要的问题。在实例分割任务中，大多数实例分割框架使用实例分类的置信度作为mask质量分数。然而，将mask质量量化为实例mask与其ground truth之间的IoU，通常与分类分数的相关性并不好。

在本文中，我们提出Mask Scoring R-CNN来学习预测实例mask的质量。提出的网络块将实例特征和相应的预测mask结合起来回归mask IoU。Mask评分策略校准mask质量和mask评分之间的偏差，并通过在COCO AP评估期间优先处理更准确的mask预测来改进实例分割性能。

通过对COCO数据集的广泛评估，Mask Scoring R-CNN与不同的模型带来一致和显着的增益，并优于Mask RCNN。

总而言之，这项工作的主要贡献突出如下：

1. 提出Mask Scoring R-CNN，这是第一个解决实例分割假设得分问题的框架。它探索了改善实例分割模型性能的新方向。通过考虑实例mask的完整性，如果实例mask的得分较高而mask不够好，则可以对实例mask的分数进行惩罚。

2. MaskIoU head非常简单有效。能够在各个backbone上涨点。

正文：

在实例分割（instance segmentation）中，比如Mask R-CNN，mask 分支的分割质量（quality）来源于检测分支的classification confidence。Mask R-CNN其实Faster R-CNN系列的延伸，其在Faster R-CNN的基础上添加一个新的分支用来预测object mask，该分支以检测分支的输出作为输入，mask的质量一定程度上依赖于检测分支。这种简单粗暴的做法取得了SOTA的性能，近年来COCO比赛的冠军或者前几名基本是Mask R-CNN及其变体，但依然有上升的空间。

更仔细的来讲，Mask R-CNN存在的问题是：bounding box的classification confidence不能代表mask的分割质量。classification confidence高可以表示检测框的置信度高（严格来讲不能表示框的定位精准），但也会存在mask分割的质量差的情况。高的分类置信度也应该同时有好的mask 结果。

回到原始的初衷，文章希望得到精准的mask质量，那么如何评价输出的mask质量呢？

是AP，或者说是instance-level的IoU。这个IoU和检测用到的IoU是一个东西，前者是predict mask和gt mask的pixel-level的Intersection-over-Union，而后者则是predict box和gt box的box-level的Intersection-over-Union。所以一个直观的方法就是用IoU来表示分割的质量，那么让网络自己学习输出分割的质量也是简单直观的做法。学习出mask的IoU，那么最后的mask score就等于maskIoU乘以classification score，mask score就同时表示分类置信度和分割的质量。

作者在Mask R-CNN的基础上添加了一个MaskIoU分支用于预测当前输出的mask和gt mask的IoU。MaskIoU的输入由两部分组成，一是ROIAlign得到的RoI feature map，二是mask分支输出的mask。两者concat之后经过3层卷积和2层全连接输出MaskIoU。

training过程：

box分支和mask保持不变，输出的mask先经过阈值为0.5的binarize，再计算binary mask和gt的IoU作为target，采用L2 loss作为损失函数，loss weight设为1，3个分支同时end-to-end训练。

inference过程：

检测分支输出score最高的100个框，再送入mask分支，得到mask结果，RoI feature map再和mask送入MaskIoU分支得到mask iou，与box的classification score相乘就得到最后的mask score。

实验结果，在COCO 2017 test集上，相对于Mask R-CNN，mask AP有1个点多的提升。

同时作者还做了对比实验，验证不同的MaskIoU输入对性能的影响。文章列举了4种输入方式：

target mask和ROI feature concat
target mask和ROI feature 相乘
所有mask和ROI feature concat
target mask和高分辨率的ROI feature concat

其网络结构示意图如下：

验证不同training target对性能的影响：

只学习target类别的MaskIoU,忽略其他类别
学习所有类别的MaskIoU，相应的其他类别的MaskIoU的学习目标就是0
学习出现在ROI区域的类别的MaskIoU。

可以看出，setting#1的效果最好，setting#2的效果最差。

同时作者还做了实验探索Mask Scoring R-CNN的性能上界。

对每个输出的MaskIoU，用输出的mask 和匹配的gt mask iou来代替，MaskIoU分支就输出了mask分支的真实quality，这时就得到了Mask Scoring R-CNN的性能上界。实验结果表明Mask Scoring R-CNN依然比Mask R-CNN更好，说明MaskIoU起到了alignment的效果，但很显然会比用gt mask iou 代替的效果差，说明一方面box的准确性和mask分支本身也会影响mask任务的性能，另一方面MaskIoU 分支的学习能力可以进一步提升，Mask Scoring R-CNN依然有提升的空间。

速度方面，作者在Titan V GPU上测试一张图片，对于ResNet18-FPN用时0.132s，Resnet101-DCN-FPN用时0.202s，Mask Scoring R-CNN和Mask R-CNN速度一样。

总结：

作者motivation就是想让mask的分数更合理，从而基于mask rcnn添加一个新的分支预测来得到更准确的分数，做法简单粗暴，从结果来看也有涨点。其实mask的分割质量也跟box输出结果有很大关系，这种detection-based分割方法不可避免，除非把detection结果做的非常高，不然mask也要受制于box的结果。这种做法与IoU-Net类似，都是希望直接学习最本质的metric方式来提升性能。

为了同时提升detection和mask的效果，最近的Cascade方法很受欢迎，从人脸检测领域的Cascade CNN，到Cascade R-CNN: Delving into High Quality Object Detection，再到友商的HTC不仅在COCO中拿了冠军，同时也被CVPR2019接收，Cascade方式展现了强大实力，相信在未来会出现越来越多的Cascade，如Cascade RetinaNet，Cascade TridentNet。。。

Point Transformer –ICCV2021

论文：Point Transformer
作者单位：牛津大学, 港中文(贾佳亚等), Intel Labs

transformer应用到了点云任务处理中。为点云设计了自注意力层，并使用它们来构造诸如语义场景分割，object part分割和对象分类等任务的自注意力网络。

attention层设计：

这里的y是输出的feature，ϕ、ψ、α都是逐点特征变换的一种方式（比如mlp），δ是一个位置编码函数，ρ是正则化函数，简单来说，x_i是点i的feature向量，先通过特征变换将点i和点j（Xj是Xi的邻域上的点，而非全局的，目的是减少计算量）的特征得到，这里的β是关系函数，通过这个函数得到两个点特征之间的关系，也就是建立每个点特征之间的关系，然后加上位置编码函数δ，γ是映射函数，也就是映射到某一维度而用。在这基础上就可以设计这里的重点，Point transformer层了

输入是(x,p)也就是每个点的位置信息，首先通过两个线性函数编码不同主次点的特征向量（也就是得到前面的key向量），再用一个MLP得到位置函数，也就是前面的查询向量），两者结合得到relation关系，然后再用一个线性函数得到它的值向量，将relation和值向量结合，也就是前面说的对于每个点既关注它的和其他点之间的语义关系，也关注它和其他点之间的位置关系，最后输出y作为点云处理结果。

位置函数也就是计算查询向量的那个函数：

p就是各自点的三维坐标值，θ是一个MLP层，而前面的线性函数也就是ax+b的形式（就是linear层）

定义完了transformer层，就可以定义一个block来作为基本的block（下图a）：

输入是点集合x（拥有各自的三维点坐标等点特征），输出就是将每个点x的更新后的特征输出：

down的功能是根据需要减少点集的基数，简单来说就是减少点，而up就是根据两个不同数量的点来得到结合后的结果，常常使用在U型网络设计中（也就是当前层结果是结合了当前层的输入和之前某一层不同维度的输出而得到）

transition down:

step1：farthest point sample，把p1个点采样到 p个点，通过MLP改变特征向量（y，p），通过KNN算法，把p个点分成p2类，每个类内部做最大池化得到最终输出（y,p2）。

up模块：input1 如何才能扩充点数：通过线性插值算法

网络结构：

实验结果：

用于大规模语义场景分割的具有挑战性的S3DIS数据集上，Point Transformer在Area 5上的mIoU达到70.4％，比最强的现有模型高3.3个绝对百分点，并首次超过70％mIoU阈值。

在ModelNet40和ShapeNetPart数据集上的性能表现：

目前paper with code 网站的排名：

3D Point Cloud Classification on ModelNet40

3D Semantic Segmentation on SemanticKITTI

Induction Networks for Few-Shot TextClassification

论文：https://arxiv.org/abs/1902.10482?context=cs.CL

                            IJCNLP 2019 paper

代码： https://github.com/wuzhiye7/Induction-Network-on-FewRel

在深度学习领域，监督式深度学习对大型标记数据集的贪婪需求是出了名的，然而又由于标注数据集的昂贵成本，这就限制了深度模型对新类的可泛化性。本文提出了一个用于在文本分类领域的小样本学习训练工作。

什么是小样本学习：（以图片为例）

few-shot learing 的训练目标与传统的监督学习目标不同，传统的分类是学会识别训练集合里面的图片，并且泛化到测试集合，神经网络识别出该图片属于哪个类。而few shot learing是让机器自己学会学习，学习的目的不是让机器学会那个是大象那个是老虎，而是让模型学会学习不同类别的不同之处，给定两张图片，模型知道两个图片是否是同一类别。哪怕模型训练集中没有出现过该类别。

当前的小样本学习技术经常会将输入的query和support的样本集合进行sample-wise级别的对比。但是，如果跟同一个类别下的不同表达的样本去对比的时候产生的效果就不太好，除此之外，目前的技术会使用简单地求和或平均表示来计算类别，这会丢失一些信息。因此本文利用胶囊网络，通过学习sample所属于的类别的表示得到class-wise的向量，然后跟输入的query进行对比。