作者： chenpaopao

OpenAI 开源语音识别模型 Whisper & 相关应用

Robust Speech Recognition via Large-Scale Weak Supervision

https://github.com/openai/whisper

Blog：https://openai.com/blog/whisper/

论文精度

OpenAI Whisper 

拥有 GTP-3 语言模型，并为 GitHub Copilot 提供技术支持的人工智能公司 OpenAI 近日开源了 Whisper 自动语音识别系统，Open AI 强调 Whisper 的语音识别能力已达到人类水准。

Whisper 是一个自动语音识别（ASR，Automatic Speech Recognition）系统（transformer模型），OpenAI 通过从网络上收集了 68 万小时的多语言（98 种语言）和多任务（multitask）监督数据对 Whisper 进行了训练。OpenAI 认为使用这样一个庞大而多样的数据集，可以提高对口音、背景噪音和技术术语的识别能力。除了可以用于语音识别，Whisper 还能实现多种语言的转录，以及将这些语言翻译成英语。OpenAI 开放模型和推理代码，希望开发者可以将 Whisper 作为建立有用的应用程序和进一步研究语音处理技术的基础。

Overview of our approach. A sequence-to-sequence Transformer model is trained on many different speech processing tasks,
including multilingual speech recognition, speech translation, spoken language identification, and voice activity detection

Whisper 执行操作的大致过程：

输入的音频被分割成 30 秒的小段、转换为 log-Mel 频谱图，然后传递到编码器。解码器经过训练以预测相应的文字说明，并与特殊的标记进行混合，这些标记指导单一模型执行诸如语言识别、短语级别的时间戳、多语言语音转录和语音翻译等任务。

相比目前市面上的其他现有方法，它们通常使用较小的、更紧密配对的「音频 – 文本」训练数据集，或使用广泛但无监督的音频预训练集。因为 Whisper 是在一个大型和多样化的数据集上训练的，而没有针对任何特定的数据集进行微调，虽然它没有击败专攻 LibriSpeech 性能的模型（著名的语音识别基准测试），然而在许多不同的数据集上测量 Whisper 的 Zero-shot（不需要对新数据集重新训练，就能得到很好的结果）性能时，研究人员发现它比那些模型要稳健得多，犯的错误要少 50%。

目前 Whisper 有 9 种模型（分为纯英文和多语言），其中四种只有英文版本，开发者可以根据需求在速度和准确性之间进行权衡，以下是现有模型的大小，及其内存要求和相对速度：

Whisper的表现因语言而异。下图显示了使用largeV2模型使用Fleurs数据集的语言进行细分。

论文：稳健的语音识别通过大规模的弱监督

弱监督的意思是指我们的语音数据是有标号的，但是标号的可行度不是那么高，质量一般这也是，这也是作者能够采集到近70万h的数据的原因。(在样本数量和质量之间做权衡)

摘要

我们研究了互联网上的大量的训练好的的语音处理系统的功能。当把我们的数据集扩大到680,000小时，且是一个多语言和多任务监督训练时，最终的模型可以与在标准数据集训练好的其他模型相比具有相同的效果，但whisper无需进行任何微调，在面对新数据集时候无需微调。与人类相比，模型具有准确性和鲁棒性。我们正在发布模型和推理代码，以作为在强大语音处理上进一步工作的基础。

引言

目前主流的语音识别方法是先进行大规模的无监督预训练（Wav2Vec 2.0），比如， Wav2Vec 采集了1000000h的无标签训练数据，先用这些数据进行预训练一个编码器（使用对比学习 or 字训练），encoder能够对语音数据做一个很好的编码，然后在面向下游任务时，可以在标准训练集中做微调（只需要几十小时的数据就可），这样比只在标准数据集上训练的结果好很多。

这些预训练好的语音编码器能够学习到语音的一个高质量表示，但是用无监督方法训练的编码器仍然需要训练一个解码器，需要用带标签的数据来微调，微调是一个很复杂的过程，如果不需要微调就好了，这也是本文要做的工作。此外，过去的工作缺乏一个很好的解码器，这是一个巨大的缺陷，而语音识别系统就是应该是“out of box”，也就是拿来即用。

有监督学习很多方法是把多个有监督的数据集合并成一个大的数据集，这样确实保证比在单个数据集上的准确性和泛化性都要好，但是之前的工作最多也就是5000h的数据集，跟之前的100万h的无监督数据集相比差的太多。

顺着这个思路，如果我们把数据集的标号放松一下，就会获得个更多的数据集。在数量和质量之间做权衡是一个不错的选择，比如在yutube上采集视频和字幕作为数据集，为了追求样本的多样性和数量，稍微降低一点质量也是可以的。因此本文就是把弱监督数据集扩展到了68万h，并将模型取名whisper.

方法

数据处理：不需要对标号做任何后处理。从互联网中采集到的数据多种多样，比如声音的环境、录制的设备、说话的人、语言。这样让模型更加稳健，但是对应的我们希望标号质量应该要一致，因此需要做一个过滤系统，把一些质量差的文本删除（一般是一些机器自动生成的文本，如果使用其作为标号，那训练出来的模型效果也不会很好）、去重等等。训练数据30s以及对应的标号作为一个样本。

数据部分是本文最核心的贡献。由于数据够多，模型够强，本文模型直接预测原始文本，而不经过任何标准化（standardization）。从而模型的输出就是最终识别结果，而无需经过反向的文本归一化（inverse text normalization）后处理。所谓文本归一化包括如将所有单词变小写，所有简写展开，所有标点去掉等操作，而反向文本归一化就是上述操作的反过程。在 Whisper 中，这些操作统统不用，因为数据足够多，可以覆盖所有的情况。

在本文收集的语音数据中，包含了不同环境、不同语言、不同说话人等多样的数据，这有助于训练出文件的语音识别系统。然而，文本标签的多样性对模型的学习是一种阻碍。为了解决这个问题，本文使用了几种自动过滤方法，来提高文本标签的质量。

  • 首先，收集自互联网的语音识别数据，很有可能文本标签就是来自现有的语音识别系统的识别结果。之前有研究工作表明，在训练数据中混有机器生成的标签数据会损害模型的性能。为此，本文根据机器识别结果的一些特点，过滤掉了这些数据。
  • 另外，本文对数据中语音所属语言和文本所属语言进行检测。如果文本是非英语的其他语言，则要求语音也必须是同种语言；如果文本是英语，则语音可以是任何语言（因为本文方法中有一个其他语言到英语的翻译任务）。
  • 本文用一个语音识别模型在收集的数据上进行测试，发现在一些错误率极高的数据中，存在音频信息不完整、字幕声音不匹配等低质量数据，这些数据同样会被过滤掉。

另外，可能在收集的数据中含有标准语音识别数据集中的内容，为了避免对测试结果产生影响，这部分数据同样需要去掉。

最后，将音频切分为 30s 的片段，配上对应文本，得到训练数据。

2、模型

由于我们的工作重点是研究大规模监督预训练的语音识别能力，因此我们使用现成的架构来避免将我们的发现与模型改进混淆。具体来说就是使用最原始的encoder-decoder Transformer (Vaswani et al., 2017)模型作为网络。将所有音频重新采样至16,000 Hz，80通道的Mel频谱图表示，其步幅为10毫秒。对于特征归一化，我们将输入归一化到-1和1之间，整个训练数据集的平均值约为零。

输入（80*3000）在送入transformer之前先经过卷积层（kernel=3），主要是考虑卷积具有局部相关性，输出80*1500，降低维度。剩下的部分就是一个经典 transformer 架构。

Whisper 使用的模型改动不大，就是 Transformer 第一次提出时的 encoder-decoder 架构。Whisper 的入出侧是声音信号，声音信号的预处理是将音频文件重采样到 16000 Hz，并计算出 80 通道的梅尔频谱，计算时窗口大小为 25ms，步长为 10ms。然后将数值归一化到 -1 到 1 之间，作为输入数据。可以认为是对于每一个时间点，提取了一个 80 维的特征。之前数据处理部分提到每个音频悲切氛围 30s 的片段，这里步长为 10，所以每 30 秒有 3000 个时间点。综上，对于一个 30 秒的音频数据，我们提取到形状为 3000×80 的特征。对应到 NLP 中，可以理解为句子长度为 3000，每个词的词嵌入维度为 80。

3000×80 的输入数据首先通过两个 1D 卷积层，得到 1500×80 的特征。后面的处理就是标准的 Transformer encoder-decoder结构了。将这个特征送入到 Transformer encoder 中，提取处的特征作为交叉注意力输入送给 decoder。decoder 每次预测下一个 token，其输入是对应多任务学习的一些预设 token 和 prompt。

3、核心：多任务训练

虽然语音系统主要的任务是给一段话，把里面说的词识别出来，但是实际上大部分语言识别系统来说，还需要进行其他的后处理：检测是否有人说话（VAD）、谁在说话、识别的语音文本添加标点等等。作者希望一个模型可以同时做转录、VAD、时间戳、检测等等任务。

all in one的方法会带来两个问题：比如要做VAD，可能我只需要一个小模型就可以完成，但现在必须要用这个超大模型。另外，假如我这个模型在某个任务表现不好，那么我需要多添加该任务数据继续训练，但继续训练，其他任务的效果是否会受影响。

具体任务如下：

一是给定英文语音，转录成英文文本；二是给定其他语言语音，转录并翻译成英文文本；三是给定其他语言语音，转录成该语言文本；四是给定只有背景音乐的音频，识别出无人说话。

所有这些任务都由解码器预测的 token 序列表示，从而使得一个模型能够处理多个任务。这几个任务及模型输出 token 的关系可以从图中下方的图示中的 token 序列看出：在 START OF TRANSCRIPT token 之后，如果当前无人说话，则识别为 NO SPEECH 。如果有人说话，则识别出当前语音所属的语言 LANGUAGE TAG 。然后有两种可能的任务 TRANSCRIBE 还是翻译任务 TRANSLATE ，这两种任务又分为两种形式：带时间戳的和不带时间戳的，分别穿插或不穿插时间戳 token ，预测出文本 token。最后到达 EOT token，整个流程结束。

那么如何训练这些任务呢？使用的是一个prompt格式，不同的任务通过不同的tokens组合来区别的，三种：特殊控制token、文本token、时间戳token。

从起点开始，有一定概率走prev这个，表示前面一段我已经转录的内容（包括文本和时间戳），也有一定概率直接走到start token，然后学习语言类别token（包括99种语言+空白），接下来分两个token（转录还是翻译），然后有分两中（是否预测时间戳），有时间戳token则需要预测这句话的开始结束时间+内容，没有时间戳的话，直接预测这三十秒的文字，最后EOT结束。这样相比bert使用不同的输出头，对应不同的损失来说。whisper多任务只需要一个输出头，一个损失函数就可以，通过控制输入的流来控制不同的任务。但这样设计也有缺陷：某个任务表现不好，需要模型完全训练，这样对其他任务来说也会有影响，牵一发动全身。

实验

作者实验的数据集是模型训练集没有使用过的，认为是zero-shot。验证标准：WER

结论

Whisper 说明在语音识别领域，对于把大规模的弱监督训练的认识还是不够，我们的模型结果说明不需要做自监督 或者自训练，只要在大规模数据集上训练好模型，推理时无需任何微调，只需要zero-shot就可以。

基于Whisper开发应用工具：

AutoCut: 通过字幕来剪切视频

github: https://github.com/mli/autocut

AutoCut 使用 Whisper 来对你的视频自动生成字幕。然后在字幕文件中你选择需要保留的句子，AutoCut 将对你视频中对应的片段裁切并保存。你无需使用视频编辑软件，只需要编辑文本文件即可完成视频剪切。

假如你录制的视频放在 2022-11-04/ 这个文件夹里。那么运行

autocut -d 2022-11-04

提示：如果你使用 OBS 录屏，可以在 设置->高级->录像->文件名格式 中将空格改成 /，即 %CCYY-%MM-%DD/%hh-%mm-%ss。那么视频文件将放在日期命名的文件夹里。

AutoCut 将持续对这个文件夹里视频进行字幕抽取和剪切。例如，你刚完成一个视频录制，保存在 11-28-18.mp4。AutoCut 将生成 11-28-18.md。你在里面选择需要保留的句子后，AutoCut 将剪切出 11-28-18_cut.mp4，并生成 11-28-18_cut.md 来预览结果。

你可以使用任何的 Markdown 编辑器。例如我常用 VS Code 和 Typora。下图是通过 Typora 来对 11-28-18.md 编辑。

全部完成后在 autocut.md 里选择需要拼接的视频后，AutoCut 将输出 autocut_merged.mp4 和对应的字幕文件。

转录某个视频生成 .srt 和 .md 结果。

autocut -t 22-52-00.mp4
  1. 如果对转录质量不满意，可以使用更大的模型，例如autocut -t 22-52-00.mp4 –whisper-model large默认是 small。更好的模型是 medium 和 large，但推荐使用 GPU 获得更好的速度。也可以使用更快的 tiny 和 base，但转录质量会下降。

剪切某个视频

autocut -c 22-52-00.mp4 22-52-00.srt 22-52-00.md
  1. 默认视频比特率是 --bitrate 10m，你可以根据需要调大调小。
  2. 如果不习惯 Markdown 格式文件，你也可以直接在 srt 文件里删除不要的句子，在剪切时不传入 md 文件名即可。就是 autocut -c 22-52-00.mp4 22-52-00.srt
  3. 如果仅有 srt 文件，编辑不方便可以使用如下命令生成 md 文件，然后编辑 md 文件即可，但此时会完全对照 srt 生成，不会出现 no speech 等提示文本。autocut -m test.srt test.mp4 autocut -m test.mp4 test.srt # 支持视频和字幕乱序传入 autocut -m test.srt # 也可以只传入字幕文件

一些小提示

  1. 讲得流利的视频的转录质量会高一些，这因为是 Whisper 训练数据分布的缘故。对一个视频，你可以先粗选一下句子，然后在剪出来的视频上再剪一次。
  2. 最终视频生成的字幕通常还需要做一些小编辑。你可以直接编辑md文件（比srt文件更紧凑，且嵌入了视频）。然后使用 autocut -s 22-52-00.md 22-52-00.srt 来生成更新的字幕 22-52-00_edited.srt。注意这里会无视句子是不是被选中，而是全部转换成 srt。
  3. 最终视频生成的字幕通常还需要做一些小编辑。但 srt 里面空行太多。你可以使用 autocut -s 22-52-00.srt 来生成一个紧凑些的版本 22-52-00_compact.srt 方便编辑（这个格式不合法，但编辑器，例如 VS Code，还是会进行语法高亮）。编辑完成后，autocut -s 22-52-00_compact.srt 转回正常格式。
  4. 用 Typora 和 VS Code 编辑 Markdown 都很方便。他们都有对应的快捷键 mark 一行或者多行。但 VS Code 视频预览似乎有点问题。
  5. 视频是通过 ffmpeg 导出。在 Apple M1 芯片上它用不了 GPU，导致导出速度不如专业视频软件。

Prompting—ERNIE-Layout

类别：跨模态大模型（用于文档分类、信息抽取、文档问答等）

•ERNIE-Layout: Layout Knowledge Enhanced Pre-training for Visually-rich Document Understanding (EMNLP 2022)

•Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing (arxiv 2021)

模型试玩：https://huggingface.co/spaces/PaddlePaddle/ERNIE-Layout

Github: https://github.com/PaddlePaddle/PaddleNLP/tree/develop/applications/document_intelligence

随着众多行业的数字化转型，电子文档的结构化分析和内容提取成为一项热门的研究课题。电子文档包括扫描图像文件和计算机生成的数字文档两大类，涉及单据、行业报告、合同、雇佣协议、发票、简历等多种类型。智能文档理解任务以理解格式、布局、内容多种多样的文档为目标，包括了文档分类、文档信息抽取、文档问答等任务。与纯文本文档不同的是，文档包含表格、图片等多种内容，包含丰富的视觉信息。因为文档内容丰富、布局复杂、字体样式多样、数据存在噪声，文档理解任务极具挑战性。随着ERNIE等预训练语言模型在NLP领域取得了巨大的成功，人们开始关注在文档理解领域进行大规模预训练。百度提出跨模态文档理解模型 ERNIE-Layout，首次将布局知识增强技术融入跨模态文档预训练，在 4 项文档理解任务上刷新世界最好效果，登顶 DocVQA 榜首。同时，ERNIE-Layout 已集成至百度智能文档分析平台 TextMind，助力企业数字化升级。

原理介绍

对文档理解来说，文档中的文字阅读顺序至关重要，目前主流的基于 OCR（Optical Character Recognition，文字识别）技术的模型大多遵循「从左到右、从上到下」的原则，然而对于文档中分栏、文本图片表格混杂的复杂布局，根据 OCR 结果获取的阅读顺序多数情况下都是错误的，从而导致模型无法准确地进行文档内容的理解。

而人类通常会根据文档结构和布局进行层次化分块阅读，受此启发，百度研究者提出在文档预训模型中对阅读顺序进行校正的布局知识增强创新思路。TextMind 平台上业界领先的文档解析工具（Document Parser）能够准确识别文档中的分块信息，产出正确的文档阅读顺序，将阅读顺序信号融合到模型的训练中，从而增强对布局信息的有效利用，提升模型对于复杂文档的理解能力。

基于布局知识增强技术，同时依托文心 ERNIE，百度研究者提出了融合文本、图像、布局等信息进行联合建模的跨模态通用文档预训练模型 ERNIE-Layout。如下图所示，ERNIE-Layout 创新性地提出了阅读顺序预测和细粒度图文匹配两个自监督预训练任务，有效提升模型在文档任务上跨模态语义对齐能力和布局理解能力。

image (14).png

文心ERNIE-Layout以文心ERNIE为底座，融合文本、图像、布局等信息进行跨模态联合建模，创新性引入布局知识增强，提出阅读顺序预测、细粒度图文匹配等自监督预训练任务，升级空间解耦注意力机制。输入基于VIMER-StrucTexT大模型提供的OCR结果，在各数据集上效果取得大幅度提升，相关工作已被EMNLP 2022 Findings 会议收录。

▲ 文心ERNIE-Layout 技术框架

Embedding

Embedding 的输入包括：文本的token_ids，文本内容对应的 bounding box（包含 x1, x2,y1,y2,h,w），图片，以及图片对应的 bounding box。

其中 bounding box 的数值被转换到 0-1000 范围。而后通过一个 Embedding 来分别计算得到对应的 x1_embedding, x2_embedding, y1_embedding 等等 6 个 embeddings。

文字 Embedding

embeddings = (input_embedings + position_embeddings + x1 + y1 + x2 +
              y2 + h + w + token_type_embeddings)
# x1, y1, x2 , y2 , h , w ： bounding box 各个值对应的 embedding
​
embeddings = self.layer_norm(embeddings)
text_embeddings = self.dropout(embeddings)
  • 其中采用可学习的 position_embeddings。
  • 采用 Layout-Parser 对图片中的文本内容，根据阅读顺序进行排序，安排对应的 position_ids。
  • Layout Embedding:the OCR tool provides its 2D coordinates with the width and height of the bounding box

图像 Embedding

图片被转换成 224* 224 的格式，经过 backbone 编码后，分割成了 7*7 个 patch。

x = self.visual(image)  # x [batch, 49, 256]
visual_embeddings = self.visual_act_fn(self.visual_proj(x)  # batch, 49, hidden_size

与文本 Embedding 相同，visual_embeddings 需要再加上 position_embeddings, token_type_embeddigns, bbox_embeddigns 等，得到最终图像 embedding。

预训练

  • Reading Order Prediction：对文字部分，判断token之间的先后阅读顺序。可以通过阅读顺序构建一个包含 01 的邻接矩阵，而后与 attention matrix 计算交叉熵。
  • Replaced Region Prediction：对于图片部分，有 10% 的概率替换图片 patch，通过 cls 位置的编码判断哪些 patch 被替换了
  • Masked Visual-Language Modeling：类似 MLM，只是这次我们可以用图片部分的embedding信息来预测被遮盖的文字内容。
  • Text-Image Alignment：随意覆盖一些文字，然后用一个线性层进行分类任务，判断文字是否被覆盖住了。

文心ERNIE-mmLayout为进一步探索不同粒度元素关系对文档理解的价值，在文心ERNIE-Layout的基础上引入基于GNN的多粒度、多模态Transformer层，实现文档图聚合（Document Graph Aggregation）表示。最终，在多个信息抽取任务上以更少的模型参数量超过SOTA成绩，相关论文被ACM MM 2022会议收录 。▲ 文心ERNIE-mmLayout 技术框架

Ernie-layout 整体采用 Transformer Encoder 架构，特点在于：

  • 借鉴了 DeBERTa 的解耦注意力，依靠额外的 Layout-Parser 来设计 position_ids。
  • 同时对文档图片及文档中的文字进行编码，并设计了4种图文结合的预训练方式。
  • 需要依靠额外的 OCR 工具来获得图片中的文字内容，及其对应位置信息。

以下是文档智能技术的一些应用场景展示：

  • 发票抽取问答
  • 海报抽取问答
  • 网页抽取问答
  • 表格抽取问答
  • 试卷抽取问答
  • 英文票据多语种（中、英、日、泰、西班牙、俄语）抽取问答
  • 中文票据多语种（中简、中繁、英、日、法语）抽取问答

Visual Prompting

(a)Fine-tuning adapts the entire model parameters.

(b)Linear probes adapt the model outputs (usually activations at the penultimate layer) by learning a linear layer.

(c)Prompting adapts the (downstream) dataset by reformulating the input and/or output.

相关论文：https://github.com/thunlp/PromptPapers

Novelty in Science–A guide for reviewers

作者：Michael J. Black

迈克尔·布莱克（Michael J. Black）是出生在美国的计算机科学家，在德国图宾根工作。他是马克斯·普朗克智能系统研究所的创始理事，负责领导感知系统部门的计算机视觉，机器学习和计算机图形研究。他还是图宾根大学的名誉教授。

研究价值 = 新意度 x 有效性 x 问题大小 ，这篇博客的标题叫做科学中的新意度，来看看大佬是如何解释 论文新意度的（Novelty）。

审稿人对怎样才能使一篇论文被 CVPR 这样的顶级会议所接受有着强烈的想法。他们知道，要进入这样的会议是很难的，而且得到一篇论文是很有声望的。
因此，被录用的论文必须是非常特别的。这是事实，但什么使一篇论文特别呢？许多审稿人关注的一个重点是新颖性。但什么是科学中的新颖性？

我看到评审员经常把复杂性、难度和技术性误认为是新颖性。在科学评审中，新颖性似乎意味着这些东西。我们最好把 “新颖性 “这个词从审查说明中去掉，用美来代替。

美感消除了 “技术性 “和 “复杂性 “的概念，并更多地涉及到科学新颖性的核心。 一幅画可以是美丽的，即使它很简单，技术复杂度很低。一张纸也可以。毕加索的一个小插曲可以和伦勃朗的复杂画作一样美丽。考虑到美，让我们看看审查员对新颖性的一些常见误解。

Reviewers have strong ideas about what makes a paper acceptable in top conferences like CVPR. They know that getting into such conferences is hard and that getting a paper in is prestigious. So, the papers that get in must be really special. This is true, but what makes a paper special? A key focus of many reviewers is novelty. But what is novelty in science?

I see reviewers regularly mistake complexity, difficulty, and technicality for novelty. In science reviewing, novelty seems to imply these things. We might be better served by removing the word “novelty” from the review instructions and replacing it with beauty. 

Beauty removes the notions of “technical” and “complex” and gets more to the heart of scientific novelty.  A painting can be beautiful even if it is simple and the technical complexity is low. So can a paper. A little squiggle of paint by Picasso can be as beautiful as an intricate painting by Rembrandt.  

Keeping beauty in mind, let’s look at some common reviewer misunderstandings about novelty.

Novelty as complexity

The simplicity of an idea is often confused with a lack of novelty when exactly the opposite is often true.  A common review critique is

The idea is very simple. It just changes one term in the loss and everything else is the same as prior work.

If nobody thought to change that one term, then it is ipso facto novel. The inventive insight is to realize that a small change could have a big effect and to formulate the new loss.  

Such reviews lead my students to say that we should make an idea appear more complex so that reviewers will find it of higher value.  I value simplicity over unnecessary complexity; the simpler the better. Taking an existing network and replacing one thing is better science than concocting a whole new network just to make it look more complex.

Novelty as difficulty

It’s hard to get a paper into a top conference, therefore reviewers often feel that the ideas and technical details must be difficult.  The authors have to shed blood, sweat, and tears to deserve a paper. Inexperienced reviewers, in particular, like to see that the authors have really worked hard. 

Formulating a simple idea means stripping away the unnecessary to reveal the core of something. This is one of the most useful things that a scientist can do. 

A simple idea can be important. But it can also be trivial. This is where reviewers struggle. A trivial idea is an unimportant idea. If a paper has a simple idea that works better than the state of the art, then it is most likely not trivial.  The authors are onto something and the field will be interested.

Novelty as surprise

Novelty and surprise are closely related. A novel idea is a surprising one by definition — it’s one that nobody in the field thought of.  But there is a flip side to this as surprise is a fleeting emotion. If you hear a good idea, there is a moment of surprise and then, the better it is, the more obvious it may seem. A common review:

The idea is obvious because the authors just combined two well known ideas.

Obvious is the opposite of novelty. So, if an idea is obvious after you’ve heard it, reviewers quickly assume it isn’t novel.  The novelty, however, must be evaluated before the idea existed. The inventive novelty was to have the idea in the first place.  If it is easy to explain and obvious in hindsight, this in no way diminishes the creativity (and novelty) of the idea.

Novelty as technical novelty

The most common misconception of reviewers is that novelty pertains to technical details. Novelty (and value) come in many forms in papers. A new dataset can be novel if it does something no other dataset has done, even if all the methods used to generate the dataset are well known. A new use of an old method can be novel if nobody ever thought to use it this way. Replacing a complex algorithm with a simple one provides insight. 

Novelty reveals itself in as many ways as beauty. Before critiquing a paper for a lack to technical novelty ask yourself if the true novelty lies elsewhere.

Novelty as usefulness or value

Not all novel ideas are useful. Just the property of being new does not connote value.  We want new ideas that lead us somewhere.  Here, reviewers need to be very careful.  It’s very hard to know where a new idea will take the field because any predictions that we make are based on the field as it is today.

A common review I get is

The authors describe a new method but I don’t know why anyone needs this.

Lack of utility is indeed an issue but it is very hard to assess with a new idea. Reviewers should be careful here and aware that we all have limited imagination. 

A personal note

My early career was built on seeing and formalizing connections between two established fields: robust statistics and Markov random fields. The novelty arose from the fact that nobody had put these ideas together before. It turned out to be a fertile space with many surprising connections that led to new theory. Fortunately, these connections also turned out to be valuable, resulting in practical algorithms that were state of the art. 

With hindsight, the connection between robust statistics and outliers in computer vision seems obvious. Today, the use of robust estimators in vision is the norm and seems no more novel than breathing air. But to see the connections for the first time, before others saw them, was like breathing for the first time. 

There is little in life more exciting than that spark of realization in science when you glimpse a new way of seeing.  You feel as if you were the first to stand on a mountain peak. You are seeing the world for a moment the way nobody before you has ever seen it. This is novelty and it happens in an instant but is enabled by all of one’s experience. 

The resulting paper embodies the translation of the idea into code, experiments, and text. In this translation, the beauty of the spark may be only dimly glimpsed.  My request of reviewers is to try to imagine the darkness before the spark. 

总结：

1、新意度 ！=复杂度、困难度、惊讶度、技术新意度、有效性

2、新意度 ~=优美 （要懂得欣赏）

DETR :End to End Object Detection with Transformers

目标检测领域的里程碑式的工作

https://arxiv.org/abs/2005.12872

code：https://github.com/facebookresearch/detr Facebook AI（meta AI）

DETR： Detection Transformers

文章题目：简单明了，包含两个关键词：端到端、transformer

目标检测领域：从目标检测开始火到detr都很少有端到端的方法，大部分方法最后至少需要后处理操作（NMS,non-maximum suppression非极大值抑制）。无论是proposal based方法、anchor based方法、non-anchor based方法，最后都会生成很多预测框，如何去除这些冗余的框就是NMS要做的事情。

问题：有了NMS，模型调参就会很复杂，而且即使训练好了一个模型，部署起来也非常困难（NMS不是所有硬件都支持）。所以一个简单的、端到端模型一直是大家梦寐以求的，而detr的出现解决了这些痛点。

一、Detr目标：

1、不需要proposal、不需要anchor，直接利用transformer这种全局建模的能力，把目标检测看做是集合预测问题

2、因为有了这种全局建模的能力，detr不会有那么多冗余框，最后出什么结果就是什么结果，不需要NMS做后处理，让模型的训练和部署简单不少

目的：不想让大家觉得目标检测是比图像分类难很多的任务，都可以用简单的，优雅的框架做出来

二、摘要

作者说，他们就是把目标检测的任务看成是一个集合预测问题：目标检测本来任务就是给定一个图像，预测一堆框，每个框不仅要知道的其坐标，还要知道框里包含物体的类别，这些框就是一个集合，不同的图像对应的集合也是不同的，给定一个图片，我要预测这个集合。

因此这篇文章就是把目标检测做成一个端到端的框架，把之前特别依赖人的先验知识的部分删掉了（NMS部分、anchor），一旦把这两个部分拿掉之后，我们也不用费尽心思设计这种anchor，最后不会出现这么多框，不会用到NMS，也不会用到很多超参去调。两个贡献：1、使用新的目标函数，通过二分图匹配的方式，强制模型输出一组独一无二的预测（没有那么多冗余框，每个物体理想状态下就会生成一个框）。2、另外使用encoder-decoder的架构。

两个小贡献：

1、decoder还有另外一个输入learned object query，类似anchor的意思（给定这些object query之后，detr就可以把learned object query和全局图像信息结合一起，通过不同的做注意力操作，从而让模型直接输出最后的一组预测框）

2、想法&&实效性：并行比串行更合适，并不是检测一个大物体前必须先检测一个小物体，或从左到右检测，我们希望越快越好

DETR的好处：

1、简单性：想法上简单，不需要一个特殊的library，只要硬件支持transformer或CNN，就一定支持detr

2、性能：在coco数据集上，detr和一个训练非常好的faster RCNN基线网络取得了差不多的效果，模型内存和速度也和faster RCNN差不多

3、想法好，解决了目标检测领域很多痛点，写作好

4、别的任务：全景分割任务上detr效果很好，detr能够非常简单拓展到其他任务上

三、引言

1、目标检测任务：对每一个感兴趣的物体，去预测一些框，和物体类别，就是一个集合预测问题。

2、现在大多数好用的目标检测器，都是用间接的方式去处理集合预测问题，（1）比如proposal方式（如RCNN系列工作），（2）anchor方式（YOLO系列，focal loss），non-anchor based方法（物体中心点center net，FCOS），他们都没有直接做集合预测任务，而是设计一个替代（回归、分类）解决目标检测问题。所有这些方法性能受限于后处理操作（NMS），由于用了anchor和NMS导致检测器都非常复杂，难以优化和调参。

3、端到端的思想已经在别的很多任务里大范围使用，而且使任务更加简单好用，我们不要先验知识，就是要用一个端到端网络。

detr流程（训练）：

1、CNN提特征

2、特征拉直，送到encoder-decoder中，encoder作用：进一步学习全局信息，为近下来的decoder，也就是最后出预测框做铺垫。直观的解释为什么需要使用transformer encoder呢？如果使用了transformer encoder，那么每一个点或者说每一个特征就会跟着图片里面的其他的特征有交互了，这样大概就知道那块是那个物体，对于同一个物体就应该只出一个框而不是好多框，所以全局的建模有利于移除冗余的框。

3、decoder生成框的输出，当你有了图像特征之后，还会有一个object query（限定了你要出多少框），通过query和特征在decoder里进行自注意力操作，得到输出的框（文中是100，无论是什么图片都会预测100个框）

4、生成的100个框如何与ground truth这个框做匹配并计算 loss？ ：二分图匹配，如上图，我们计算100个预测的框和2个GT框的matching loss，决定100个预测框哪两个是独一无二对应到红黄色的GT框，用匹配的框去算目标检测的loss。而没有匹配到的98个框就会被标记为没有物体。

5、推理1、2、3一致，第四步loss不需要，直接在最后的输出上用一个阈值卡一个输出的置信度，置信度比较大（>0.7的）保留，置信度小于0.7的当做背景物体。

结果:

1、detr对大物体预测很准，归功于transformer，能进行全局建模（原来使用anchor的话就会受限于anchor大小）

2、缺陷：对小物体效果不好（多尺度、多特征，可以提高小物体的检测）后续改进：Deformable DETR

3、detr训练很慢，500个epoch（coco大多数模型一般训练几十个epoch就行）

检测效果:

detr由于使用transformer全局建模，没有用anchor，想检测多大物体就检测多大，所以检测大物体效果较好。detr框架太简单，没有多尺度特征，没有FPN，没有复杂的目标检测头，所以在小目标检测效果不好

四、相关工作

目标检测：

目前大多数的检测器是根据初始猜测做预测：

1、two-stage:初始猜测是中间的proposal

2、one-stage:初始猜测是anchor或物体中心点

最近一篇论文做了详细比较，发现他们的性能和刚开始的初始猜测非常相关，怎么做后处理对性能影响至关重要

怎么后处理：

1、集合思想：可学习的NMS方法、关系型网络，可以利用自注意力方法去处理物体之间的联系，得出独一无二的预测，就不需要后处理的步骤（性能较低）

解决：人工干预：手工设计的场景特征帮助模型学习，但是detr目标是想让目标检测任务更加简单，不希望用到过多人工先验知识

2、循环检测器：encoder-decoder：让detr工作主要原因：transformer

五、方法

分两块：1、基于集合的目标函数怎么做，作者如何通过二分图匹配把预测的框和GT框连接在一起，算得目标函数 2、detr具体模型架构

目标函数部分：

detr模型最后输出是一个固定集合，无论图片是什么，最后都会输出n个（本文n=100）预测框

问题：detr每次都会出100个输出，但是实际上一个图片的GT的bounding box可能只有几个，如何匹配？如何计算loss？怎么知道哪个预测框对应GT框？

作者这里把这个问题转换成了一个二分图匹配的问题：

二分图又称作二部图，是图论中的一种特殊模型。 设G=(V,E)是一个无向图，如果顶点V可分割为两个互不相交的子集(A,B)，并且图中的每条边（i，j）所关联的两个顶点i和j分别属于这两个不同的顶点集(i in A,j in B)，则称图G为一个二分图。简而言之，就是顶点集V可分割为两个互不相交的子集，并且图中每条边依附的两个顶点都分属于这两个互不相交的子集，两个子集内的顶点不相邻。

加权二分图匹配可以认为是有ABC三个工人，以及xyz三个工作，每个工人去做xyz工作的花费不同，如何去为每一个个人安排一个工作，使得最后我们的花费最低，可以使用遍历的方法，亦可以有很多高效的方法：匈牙利算法。

另外scipy包提供的linear sum assignment可以完成这个最优排列。detr论文里：代码也用的linear sum assignment函数来计算对应的匹配关系，只需要提供一个cost matrix矩阵就可以。a,b,c看成100个预测框，x,y,z看成GT框， cost matrix 损失矩阵未必都是正方形，最后丢到这个函数里面得到一个最优匹配。

那么对于目标检测任务，cost matrix 损失矩阵的值应该放些什么？loss包含两部分：分类loss、出框的准确度。所以也就是遍历所有的预测的框，那这些预测的框和gt框去算两个loss，然后把这个loss放到cost matrix矩阵 就可以了。这样就得到了对应gt的预测框（一对一），进而计算loss，梯度回传更新模型参数。

detr主体网络框架：

输入图片大小：3*800*1066（3：rgb），首先使用卷积网络获得特征：2048*25*34，然后降维变成256*25*34，然后给transformer添加位置信息：大小也是256*25*34，特征+位置作为transformer输入，特征拉直： 256*25*34 ==》 850*256，850就是序列长度，256是向量维度。后面的transformer encoder就跟普通的transformer encoder一样，输出==输出，仍然是850*256，接下来送入decoder里面。不同于一般的decoder，这里的object queries是一个可学习的，100*256大小的向量。在decoder里面做cross attension。输入 object queries ，另外一个输入是来自encoder的全局特征850*256.这两个去做自注意力操作，得到一个100*256的特征的decoder输出。最后添加一个检测头全连接层（FFN），获得类别预测（91类）和框预测（4：框的中心的+高度宽度），获得了100个框，利用匈牙利算法跟gt匹配，然后求loss，更新模型。

六、实验

检测效果：detr由于使用transformer全局建模，没有用anchor，想检测多大物体就检测多大，所以检测大物体效果较好。detr框架太简单，没有多尺度特征，没有FPN，没有复杂的目标检测头，所以在小目标检测效果不好。

下面的表格给出了 DETR 与基线 Faster RCNN 的定量性能对比。最上面一部分的 Faster RCNN 的性能结果是 Detectron2 的实现，之所以将 Faster RCNN 分成两部分，是因为 DETR 中使用了近年来很多新的训练 trick，如 GIoU loss、更强的数据增强策略、更长的训练时间，因此作者团队添加这些策略重新训练了 Faster RCNN，以作公平的对比。

近年来的新的训练策略对于目标检测模型的提升非常明显。对比表格的第一、第二部分，完全相同的模型，只是用了更优的训练策略，基本能稳定涨两个点。在同样的训练策略、网络规模大小的情况下，DETR 比 Faster RCNN 高 1-2 个点。对比表格的后两部分可以观察到这一点，DETR 对比基线的 Faster RCNN 还是还是有提升的。

DETR 在大物体的检测上远超 Faster RCNN，但是在小物体的检测上却也低了不少。

表格的后三列分别是小、中、大物体的检测性能，可以观察到 DETR 在大物体的检测上更出色，但是对于小物体的检测甚至远不如 Faster RCNN。大物体检测性能的提升得益于 Transformer 结构的全局建模能力，且没有预置的固定 anchor 的限制，因此预测框想多大就多大。而 DETR 在小物体上表现不佳，是因为本文中 DETR 的模型还是一个比较简单的模型，没有做很多针对目标检测的优化设计，比如针对小物体、多尺度的 FPN 设计。DETR 的网络结构还有待后续工作来改进。

表 1 detr和faster RCNN的对比，+表示用更好的训练策略把三个模型重新训练一遍

gflops参数：每秒进行的浮点运算次数，flops越小，模型越小，跑起来越快？X。如果更关心速度，比较fps

首先我们来看对于 Encoder 的可视化，下图展示了对于一组参考点的 Encoder 注意力热力图的可视化，即参考点对于图像中所有其他点自注意力值的大小。可以观察到，Transformer Encoder 基本已经能够非常清晰地区分开各个物体了，甚至热力图已经有一点实例分割的 mask 图的意思了。在有一定遮挡的情况下（左侧两头牛），也能够清楚地分开哪个是哪个。这种效果正是 Transformer Encoder 的全局建模能力所带来的，每个位置能够感知到图像中所有的其他位置。因此能够区分出图像中的不同物体，从而对于一个物体，尽量只出一个预测框。

通过前面的可视化，我们已经看到，Encoder 学习了一个全局的特征，基本已经能够区分开图中不同的物体。但是对于目标检测来说，大致地区分开不同的物体是不够的，我们还需要精确的物体的边界框坐标，这部分就由 Decoder 来做。

下图在 Decoder 特征中对每个不同的物体做了注意力的可视化，比如左图中的两头大象分别由蓝色和橙色表示。可以观察到，Decoder 网络中对于每个物体的注意力都集中在物体的边界位置，如大象的鼻子、尾巴、象腿等处。作者认为这是 Decoder 在区分不同物体边界的极值点（extremities），在 Encoder 能够区分开不同的物体之后，Decoder 再来关注不同物体边界的具体位置，最终精准地预测出不同物体的边框位置。因此，Encoder-Decoder 的结构是必要的，它们各司其职，一个都不能少。

扩展到全景分割任务

作者同时还将该网络应用于全景分割任务中.增加一个分割的head就可以。

结论

下图是20个object query可视化（n=100，这里只有20个）

object query 到底学了什么（绿色代表小的bounding box，红色代表大的横向bounding box，蓝色代表大的竖向bounding box）object query和anchor有些像，anchor是提前定一些bounding box，把预测和这些提前定好的bounding box对比，object query是可以学习的。以第一个 object query 来说：对于一个图片， object query 会去问图片的左下角有没有小物体，以及中间有没有横向的大物体。

为了说明端到端的 DETR 框架的简洁性，作者在论文末尾给出了 DETR 模型定义、推理的 “伪代码”，总共不到 50 行。之所以这里的伪代码要加引号，是因为其实这已经不算是伪代码了，而是直接可运行的 PyTorch 代码。当然这个版本缺少了一些细节，但也完全能够展现出 DETR 的流程了。该版本直接用来训练，最终也能达到 40 的 AP。读者可以对应伪代码再过一遍刚才介绍的 DETR 完成流程，体会一下一个端到端的目标检测框架有多幺简洁。

代码实现：

后续关于detr的改进工作：

1、Deformable DETR: Deformable Transformers for End-to-End Object Detection

2、Omni-DETR: Omni-Supervised Object Detection with Transformers、

3、UP-DETR: Unsupervised Pre-training for Object Detection with Transformers

4、PnP-DETR: Towards Efficient Visual Analysis with Transformers

5、SMAC-DETR

6、DAB-DETR: Dynamic Anchor Boxes are Better Queries for DETR

7、Accelerating DETR Convergence via Semantic-Aligned Matching

8、DN-DETR: Accelerate DETR Training by Introducing Query DeNoising

9、Open-Vocabulary DETR with Conditional Matching

10、OW-DETR: Open-world Detection Transformer

多模态| ALBEF

视频：多模态论文串讲

https://arxiv.org/abs/2107.07651

code: https://github.com/salesforce/ALBEF

写在前面：最近看了很多多模态的工作，现有的设计有哪些不足？我们又该如何去改进呢？首先来看模型的结构，因为需要处理文本和图片，所以模型开始需要有两个分支，分别抽取图像和文本特征。但是在多模态领域，视觉特征的重要性远远大于文本特征，所以要使用更强大的vision Embed，比如vit，同时对于多模态任务，多模态之间的融合也是十分重要的，也要保证模态融合的模型也要尽可能的大，因此网络应该跟（c）相近。模型确定了，接下来如何去训练呢？我们知道CLIP模型使用了一个对比学习的loss：ITCloss，这个效果很好，所以可以使用。另外常见的两个loss： image text matching(ITM)，另一个是masked language modeling(MLM) 也可以继续使用。再回到ALBEF论文，其实它就是按照上述思路进行的设计。

它由一个图像编码器、一个文本编码器和一个多模态编码器组成。文章提出了一种图像文本对比损失，在图像文本融合之前对图像文本进行统一表示建模。图像文本匹配损失和掩码语言建模损失被应用于学习图像和文本之间的多模态交互。为了改进噪声数据的学习，我们使用动量模型生成伪目标来作为训练期间的额外监督。

为了改进在噪声监督下的学习，作者提出了动量蒸馏(MoD) ，使模型能够利用一个更大的web数据集。在训练过程中，作者通过取模型参数的移动平均来保持模型的动量版本，并使用动量模型生成伪目标作为额外的监督。 动量蒸馏可以解释为一种在线自我蒸馏的形式，其中使用学生模型组成的集合作为老师。类似的方法已经在半监督学习、标签噪声学习以及最近的对比学习中进行了探索应用。与现有研究不同，本文从理论上和实验上表明，动量蒸馏是一种通用的学习算法，可以提高模型在许多V+L 任务上的性能。

Pre-training Objectives

作者对ALBEF进行了三个目标的预训练：单模态编码器上的图像-文本对比学习(ITC) 、掩蔽语言建模(MLM) 和多模态编码器上的图像-文本匹配(ITM) 。作者通过在线对比 hard negative挖掘来改进ITM。

Image-Text Contrastive Learning

图像-文本对比学习的目的是在融合预训练更好的单模态表示。它学习了一个相似性函数，使匹配的图像-文本对具有更高的相似性得分。和是将[CLS]嵌入映射到标准化的低维(256d)表示的线性变换。

受MoCo的启发，作者维护了两个队列来存储动量单模态编码器的最新的M个图像-文本表示。动量编码器的归一化特征记为和。作者定义了和。

对于每个图像和文本，作者计算softmax归一化的图像到文本和文本到图像的相似度如下：

其中，τ是一个可学习的温度参数。设和表示ground truth的one-hot形式相似性，其中负对的概率为0，正对的概率为1。图像文本对比损失定义为p和y之间的交叉熵H：

Masked Language Modeling

Masked Language Modeling 同时利用图像和上下文文本来预测mask词。作者以15%的概率随机mask输入token，并用特殊token [MASK]替换它们。设表示mask文本，表示模型对mask token的预测概率。MLM使交叉熵损失最小化：

其中是一个one-hot形式的词汇分布，ground truth token的概率为1。

Image-Text Matching

图像-文本匹配可以预测一对图像和文本是正的（匹配）还是负的（不匹配）。作者使用多模态编码器的输出嵌入的[CLS] token作为图像-文本对的联合表示，并附加一个全连接(FC)层，然后是softmax来预测一个两类概率。

其中，是一个表示ground truth标签的二维one-hot向量。

作者提出了一种基于零计算开销的ITM任务进行 hard negatives采样的策略。如果负的图像-文本对共享相似的语义，但细粒度细节不同，那么它们是很难的。作者利用对比相似性来寻找batch内的 hard negatives。

对于一个batch中的每一幅图像，作者按照对比相似性分布从同一batch中抽取一个负文本，其中与图像更相似的文本有更高的机会被采样。同样地，作者还为每个文本采样一个hard negative图像。

Momentum Distillation

用于预训练的图像-文本对大多是从网络中收集起来的，而且它们往往会有噪声。正样本对通常是弱相关的：文本可能包含与图像无关的单词，或者图像可能包含文本中没有描述的实体 。

对于ITC学习，图像的负样本文本也可能与图像的内容相匹配。对于MLM，可能存在其他与描述图像相同（或更好）的标注不同的词。然而，ITC和MLM的one-hot标签会惩罚所有负标签预测，不管它们的正确性如何。为了解决这个问题，作者提出从动量模型生成的伪目标中学习。动量模型是一个连续发展的教师模型，它由单模态和多模态编码器的指数移动平均版本组成。

在训练过程中，训练基础模型，使其预测与动量模型的预测相匹配。具体来说，对于ITC，作者首先使用动量单模态编码器的特征计算图像-文本相似性，这个可以认为是一个softmax score,不再是一个 one hot向量。这样在模型训练的时候，我们希望在训练原始model的时候，不只是让预测跟目标值one hot尽可能接近，也希望能够和动量模型的输出保持一致，这样就能达到一个比较好的折中点，很多信息从one hot label来学习，但是当one hot label是错误的或者是有噪声的时候，我们希望这个稳定的动量模型提供一些改进。

多模态预训练 | ViLT

paper: https://arxiv.org/abs/2102.03334 ICML 2021

code: https://github.com/dandelin/ViLT

图1 Visual comparison of conventional VLP architectures
and our proposed ViLT.

视觉文本多模态任务，极其简单的多模态结构。模态的特征抽取做到了极小化，主要的计算量放在后边的模态融合上，提高了推理速度。多模态领域里程碑式工作。将区域特征，region 从多模态框架中移除。

Vision and Language Pre-training(VLP)已经已经在视觉语言的多模态下游任务中发展的很好。然而，当前VLP的工作主要集中在图像特征抽取上，一般来讲，图像特征抽取的越好，下游任务中的表现就越好。但是，现在主要有两个问题，一是效率太低，速度太慢，抽取图像特征花费大量时间，比多模态融合都多。我们应该花费更多时间在融合上。第二个是，你用一个预训练好的模型去抽取特征，表达能力受限。目标检测数据集不够大，规模不够大。如果模型不是端到端学习，只是从预训练模型抽取特征，大概率来说不是最优解。

Motivation

目前参数量最小的多模态Transformer方法。ViLT使用预训练的ViT来初始化交互的transformer，这样就可以直接利用交互层来处理视觉特征，不需要额外增加一个视觉encoder（如Faster-RCNN）。

Contribution

  1. 第一个基于patch projection的多模态预训练模型，其是首个使用patch projection来做visual embedding的方法。
  2. 证明了可以将BERT的方法和Vison Transformer结合起来用于多模态transformer。
  3. 体现了全词掩码在预训练时以及图像增强在微调时的重要性。

Method

现有的视觉语言模型的三种结构类别：

VE = Vision Embedding

TE = Text Embedding

MI = Modality Interaction

上图是4种不同类型的VLP模型示意图。其中每个矩形的高表示相对计算量大小，VE、TE和MI分别是visual embedding、text embedding和modality interaction的简写。

作者提出这4种类型的主要依据有两点：

1.在参数或者计算上，两种模态是否保持平衡。

2.在网络深层中，两种模态是否相互作用。

VSE、VSE++和SCAN属于(a)类型。对图像和文本独立使用encoder，图像的更重，文本的更轻，使用简单的点积或者浅层attention层来表示两种模态特征的相似性。

CLIP属于(b)类型。每个模态单独使用重的transformer encoder，使用池化后的图像特征点积计算特征相似性。

ViLBERT、UNTER和Pixel-BERT属于(c)类型。这些方法使用深层transformer进行交互作用，但是由于VE仍然使用重的卷积网络进行特征抽取，导致计算量依然很大。

作者提出的ViLT属于(d)类型。ViLT是首个将VE设计的如TE一样轻量的方法，该方法的主要计算量都集中在模态交互上。

Modality Interaction Schema

模态交互部分可以分成两种方式：一种是single-stream(如BERT和UNITER)，另一种是dual-stream(如ViLBERT和LXMERT)。其中single-stream是对图像和文本concate然后进行交互操作，而dual-stream是不对图像和文本concate然后进行交互操作。ViLT延用single-stream的交互方式，因为dual-stream会引入额外的计算量。

现有的VLP模型的text embedding基本上都使用类BERT结构(图1)，但是visual embedding存在着差异。在大多数情况下，visual embedding是现有VLP模型的瓶颈。visual embedding的方法总共有三大类，其中region feature方法通常采用Faster R-CNN二阶段检测器提取region的特征，grid feature方法直接使用CNN提取grid的特征，patch projection方法将输入图片切片投影提取特征。ViLT是首个使用patch projection来做visual embedding的方法。

网络结构ViLT

作者提出的ViLT可以认为是目前最简单的多模态Transformer方法。ViLT使用预训练的ViT来初始化交互的transformer，这样就可以直接利用交互层来处理视觉特征，不需要额外增加一个视觉encoder。

文本特征输入部分，将文本看成一个词序列，通过word embedding matrix转化成word embedding，然后和position embedding进行相加，最后和modal-type embedding进行concate。

图像特征输入部分，将图像切块看成一个图像块序列，通过linear projection转化成visual embedding，然后和postion embedding进行相加，最后和modal-type embedding进行concate。

其中word embedding和visual embedding通过可学习的modal-type embedding标志位来区分，其中0标志位表示word embedding部分，1标志位表示visual embedding部分。

wrod embedding和visual embedding分别都嵌入了一个额外的可学习[class] embedding，方便和下游任务对接。

Pretraining Objectives

ViLT预训练的优化目标有两个：一个是image text matching(ITM)，另一个是masked language modeling(MLM)。

ImageText Matching：随机以0.5的概率将文本对应的图片替换成不同的图片，然后对文本标志位对应输出使用一个线性的ITM head将输出feature映射成一个二值logits，用来判断图像文本是否匹配。另外ViLT还设计了一个word patch alignment (WPA)来计算teextual subset和visual subset的对齐分数。

Masked Language Modeling：MLM的目标是通过文本的上下文信息去预测masked的文本tokens。随机以0.15的概率mask掉tokens，然后文本输出接两层MLP与车mask掉的tokens。

Whole Word Masking：另外ViLT还使用了whole word masking技巧。whole word masking是将连续的子词tokens进行mask的技巧，避免了只通过单词上下文进行预测。比如将“giraffe”词tokenized成3个部分[“gi”, “##raf”, “##fe”]，可以mask成[“gi”, “[MASK]”, “##fe”]，模型会通过mask的上下文信息[“gi”，“##fe”]来预测mask的“##raf”，就会导致不利用图像信息。

Experiment

本文提出的方法在效率上大大提升且表现出相似的性能，相比于region feature的方法速度快了60倍，相比于grid feature的方法快了4倍，而且下游任务表现出相似甚至更好的性能。

如图所示，ViLT相比于region feature的方法速度快了60倍，相比于grid feature的方法快了4倍，而且下游任务表现出相似甚至更好的性能。

缺点：

1、性能不够高，在一些数据集上得表现比不过C类方法，有可能因为对于现有的任务来说，因为数据集的bias，或者这个任务需要更多的视觉信息，因此需要更多得视觉部分，最后的效果才能好。

2、虽然推理时间快，但是训练速度很慢。只是结构上简化了多模态学习，但一般人还是玩不起。

GIRAFFE—NeRF、GRAF工作的延申

GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields

论文报告： https://www.bilibili.com/video/BV1TX4y1P7ou/

github: https://github.com/autonomousvision/giraffe

GIRAFFE：composition方向的代表作

2021CVPR的最佳论文奖得主GIRAFFE是NeRF、GRAF工作的延申。

在NeRF之后，有人提出了GRAF（Generative Radiance Fields），关键点在于引入了GAN来实现Neural Radiance Fields；并使用conditional GAN实现对渲染内容的可控性。

在GRAF之后，GIRAFFE实现了composition（创作）。在NeRF、GRAF中，一个Neural Radiance Fields表示一个场景，one model per scene。而在GIRAFFE中，一个Neural Radiance Fields只表示一个物体，one object per scene（背景也算一个物体）。这样做的妙处在于可以随意组合不同场景的物体，可以改变同一场景中不同物体间的相对位置，渲染生成更多训练数据中没有的全新图像。

GIRAFFE实现composition

如图所示，GIRAFFE可以平移、旋转场景中的物体，还可以在场景中增添原本没有的新物体。另外，GIRAFFE还可以改变物体的形状和外观，因为网络中加入了形状编码、外观编码变量（shape codes zsi , appearance codes zai ）。

GIRAFFE是一个基于学习的、完全可微的渲染引擎，用于将场景合成为多个“特征域”的总和。

简单回顾一下nerf，它们是一种描述和渲染3D场景的方法，在3D体积中任何给定的点上它的密度和辐射。它与光场的概念密切相关，光场是表达光如何流经给定空间的函数。对于空间中给定的(x,y,z)视点，图像将方向(θ, φ)的射线投射到一个场景中。对于这条线上的每个点，我们收集其密度和视相关的发射辐射，并以类似于传统光线追踪的方式将这些光线合成为单个像素值。这些NeRF场景是从各种姿势拍摄的图像收集学习，你会使用在结构从运动应用程序。

传统的GAN架构使用编码器和解码器设置，就像下图这样。在训练过程中，编码器接收一个图像，将其编码成一个压缩的表征，解码器利用这个表征来创建一个改变样式的新图像。在我们的训练数据集中的所有图像中重复多次，以便编码器和解码器学习如何在训练期间最大化我们想要实现的任务的结果。一旦训练完成，你可以发送一个图像到编码器，它会做同样的过程，生成一个新的和看不见的图像，根据你的需要。无论做什么工作，它都会起到非常相似的作用，不管是把一张脸的图像翻译成卡通画家那样的另一种风格，还是用草图创造出一幅美丽的风景。仅使用解码器，我们也称之为生成器，因为它是负责创建新图像的模型，我们可以在这个编码信息空间中行走，并对发送给生成器的信息进行采样，以生成无限量的新图像。这种编码的信息空间通常被称为潜在空间，而我们用来生成新图像的信息就是潜在代码。我们基本上是在这个最优空间内随机选择一些潜在的代码，然后它会根据我们想要完成的任务生成一个新的随机图像，当然，也会遵循这个生成器的训练过程。这是难以置信的酷，但正如我刚才所说，图像是完全随机的，我们没有或很少的想法，它看起来像什么，这已经是一个非常少有用的创造者。

这就是他们用这篇论文解决的问题。实际上，通过获取物体形状和外观的潜在代码并将其发送给解码器或生成器，他们能够控制物体的姿势，这意味着他们可以移动物体，改变物体的外观，添加其他物体，改变背景，甚至改变相机的姿势。所有这些变换都可以在每个对象或背景上独立完成，而不会影响图像中的任何其他内容！

如你看到的那样子，它比其他基于GAN的方法要好得多，这些方法通常无法将对象彼此分离，并且都会受到特定对象修改的影响。

与他们的方法不同的是，他们在三维场景表示中解决这个问题，就像我们如何看待现实世界一样，而不是像其他GANs那样停留在二维图像世界中。但除此之外，过程非常相似。它们对信息进行编码，识别对象，在潜在空间内对其进行编辑，然后解码生成新的图像。在这里，在这个潜在的空间里还有更多的步骤要做。我们可以将其视为经典GAN图像合成网络与神经渲染器的结合，神经渲染器用于从发送到网络的图像生成3D场景，正如我们看到的。

实现这一目标主要有三个步骤。对输入图像进行编码后，意味着我们已经处于潜在空间中，第一步是将图像转换为三维场景。但不仅仅是一个简单的3D场景，一个由3D元素组成的3D场景，即物体和背景。这种将图像视为由生成的体渲染组成的场景的方式允许它们更改生成图像中的摄影机角度并独立地控制对象。这是通过使用模型NERV来实现的，但是它们没有使用一个模型从输入图像生成整个锁定场景，而是使用两个单独的模型独立地生成对象和背景。这里称为采样特征字段。该网络的参数也在训练过程中学习。它与NERF非常相似。

有了这个场景和分离的元素，我们可以单独编辑它们而不影响图像的其余部分。这是第二步。他们可以对物体做任何他们想做的事情，比如改变它的位置和方向。换句话说，它们改变了物体或背景的姿势。在这一点上，他们甚至可以添加新的对象放置在他们想要的任何地方。然后，通过将所有特征字段添加到一起，将它们简单地组合到包含所有对象和背景的最终三维场景中。

最后，我们必须回到自然图像的二维世界。所以最后一步是把这个3D场景渲染成一个规则的图像。由于我们仍然处于三维世界中，我们可以改变相机的视点来决定我们将如何看待场景。然后，我们根据该相机光线和其他参数（如alpha值和透射率）对每个像素进行评估。这就是他们所说的特征图像，但是这个特征图像是由每个像素的特征向量组成的图像。由于我们仍处于潜在空间，这些特征需要转化为RGB颜色和高分辨率图像。这是通过使用典型的解码器来完成的，就像其他GAN架构一样，将其放大到原始尺寸，同时学习RGB通道的特征转换。瞧à, 你有你的新形象，有更多的控制，什么是生成！

当然，正如你所看到的，它在实际数据中使用时仍然不是完美的。尽管如此，它仍然令人印象深刻，是朝着正确方向迈出的重要一步，特别是考虑到这些都是完全由GANs生成的合成图像，而且它只是第一篇能够以这种精度控制生成图像的论文。

参考资料：

  • Michael Niemeyer and Andreas Geiger, (2021), “GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields”, Published in CVPR 2021.
  • Project link with paper and more: https://m-niemeyer.github.io/project-pages/giraffe/index.html
  • Code: https://github.com/autonomousvision/giraffe
  • NERF video: https://youtu.be/ZkaTyBvS2w4

Cityscapes数据集

官网：https://www.cityscapes-dataset.com/

这个大型数据集包含了来自50个不同城市的街景场景中记录的多样化的双目视频序列，除了20000个弱注释帧以外，还有5000帧的高质量像素级注释。

主要参考如下：

下载前3个文件即可。其中3文件代表训练使用的原图，1文件代表精细标注label，2文件代表非精细标注label。有的同学要问了，那我下载1、3不就行了吗？我要这2有何用？其实Cityscapes数据集提供了34种分类，但有时我们不需要那么多，比如仅需要19分类（默认的）或任意多个分类，进行图像语意分割的神经网络训练，我们就需要用到他Cityscapes提供的自带工具进行label的转换，若缺少2文件，转换代码会报错无法进行。

该数据集由gtFine和leftImg8bit这两个目录组成，结构如下所示，其中aachen等表示拍摄场景的城市名：

├── gtFine
│   ├── train
│   │   ├── aachen
│   │   ├── bochum
│   │   └── bremen
│   └── val
│       └── frankfurt
└── leftImg8bit
    ├── train
    │   ├── aachen
    │   ├── bochum
    │   └── bremen
    └── val
        └── frankfurt

   原图存放在leftImg8bit文件夹中，精细标注的数据存放在gtFine (gt : ground truth) 文件夹中 。其中训练集共2975张（train)，验证集500张（val)，都是有相应的标签的。但测试集(test)只给了原图，没有给标签，官方用于线上评估大家提交的代码（防止有人用test集训练刷指标）。因此，实际使用中可以用validation集做test使用。

   标签文件中每张图像对应4个文件，其中_gtFine_polygons.json存储的是各个类和相应的区域（用多边形顶点的位置表示区域的边界）；_gtFine_labelIds.png的值是0-33，不同的值代表不同的类，值和类的对应关系在代码中cityscapesscripts/helpers/labels.py中定义；_gtFine_instaceIds.png是示例分割的; _gtFine_color.png是给大家可视化的，不同颜色与类别的对应关系也在labels.py文件中说明。

可以使用Cityscapes的coarse标签做初步训练然后再用精细标签训练

这个数据集包含语义分割，实例分割，深度估计等标签数据，对应的训练标签如下所示：

cd $CITYSCAPES_ROOT
# 训练和校准对应的数据集
ls leftImg8bit/train/*/*.png > trainImages.txt
ls leftImg8bit/val/*/*.png > valImages.txt

# 训练和校准标签对应的数据集
ls gtFine/train/*/*labelIds.png > trainLabels.txt
ls gtFine/val/*/*labelIds.png.png > valLabels.txt

# 训练和校准实例标签对应的数据集
ls gtFine/train/*/*instanceIds.png > trainInstances.txt
ls gtFine/val/*/*instanceIds.png.png > valInstances.txt

# 训练和校准深度标签对应的数据集
ls disparity/train/*/*.png > trainDepth.txt
ls disparity/val/*/*.png.png > valDepth.txt

另外，torchvision支持很多现成数据集：

Class Definitions：

cityscapesscripts 脚本工具：

cityscapes scripts公开以下工具：

  • csDownload: 命令行下载cityscapes包
  • csViewer: 查看图像并覆盖批注（overlay the annotations）。
  • csLabelTool: 标注工具.
  • csEvalPixelLevelSemanticLabeling: Evaluate pixel-level semantic labeling results on the validation set. This tool is also used to evaluate the results on the test set.像素级评估
  • csEvalInstanceLevelSemanticLabeling: Evaluate instance-level semantic labeling results on the validation set. This tool is also used to evaluate the results on the test set.实例级评估
  • csEvalPanopticSemanticLabeling: Evaluate panoptic segmentation results on the validation set. This tool is also used to evaluate the results on the test set.全景分割评估
  • csCreateTrainIdLabelImgs: Convert annotations in polygonal format to png images with label IDs, where pixels encode “train IDs” that you can define in labels.py.将多边形格式的注释转换为带标签ID的png图像，其中像素编码“序列ID”，可以在labels.py中定义。
  • csCreateTrainIdInstanceImgs: Convert annotations in polygonal format to png images with instance IDs, where pixels encode instance IDs composed of “train IDs”.将多边形格式的注释转换为具有实例ID的png图像，其中像素对由“序列ID”组成的实例ID进行编码。
  • csCreatePanopticImgs: Convert annotations in standard png format to COCO panoptic segmentation format.将标准png格式的注释转换为COCO全景分割格式。

cityscapes scripts文件夹

文件夹内容如下：

  • helpers: 被其他脚本文件调用的帮助文件
  • viewer: 用于查看图像和标注的脚本
  • preparation: 用于将GroundTruth注释转换为适合您的方法的格式的脚本
  • evaluation: 评价你的方法的脚本
  • annotation: 被用来标注数据集的标注工具
  • download: 下载Cityscapes packages

请注意，所有文件顶部都有一个小型documentation。 非常重要

  • helpers/labels.py: 定义所有语义类ID的中心文件，并提供各种类属性之间的映射。
  • helpers/labels_cityPersons.py: 文件定义所有CityPersons行人类的ID并提供各种类属性之间的映射。
  • viewer/cityscapesViewer.py 查看图像并覆盖注释。
  • preparation/createTrainIdLabelImgs.py 将多边形格式的注释转换为带有标签ID的png图像，其中像素编码可以在“labels.py”中定义的“训练ID”。
  • preparation/createTrainIdInstanceImgs.py 将多边形格式的注释转换为带有实例ID的png图像，其中像素编码由“train ID”组成的实例ID。
  • evaluation/evalPixelLevelSemanticLabeling.py 该脚本来评估验证集上的像素级语义标签结果。该脚本还用于评估测试集的结果。
  • evaluation/evalInstanceLevelSemanticLabeling.py 该脚本来评估验证集上的实例级语义标签结果。该脚本还用于评估测试集的结果。
  • setup.py 运行 setup.py build_ext --inplace 启用cython插件以进行更快速的评估。仅针对Ubuntu进行了测试。

CCF（中国计算机学会）推荐国际学术会议和期刊目录（2022年拟定）

CCF（中国计算机学会）推荐国际学术会议和期刊目录（2022年拟定）终于来了！较前一版本（2019）拟新增期刊4个，会议6个；升级期刊18个，会议19个；移除期刊1个。值得注意的是：当前的目录正在公示期，并非2022最终版本，所以后面会再次发布最终版本。

https://www.ccf.org.cn/Academic_Evaluation/By_category/

本文将重点关注 AI 领域，特别是计算机视觉方向的会议/期刊变动情况

【重点总结—拟定】

  • MICCAI 首次被收录，空降B类会议
  • PRCV 首次被收录，空降C类会议
  • NAACL 从C类升级到B类会议
  • ICLR 继续陪跑，没有被收录推荐目录
  • AI和图形学/多媒体两大领域的A类会议/期刊均没有变化（无新增/无降级/无移除）
  • WINE（Conference on Web and Internet Economics）空降A类期刊（属于交叉/综合/新兴领域）
  • SCIS（Science China Information Sciences）从B类期刊升级到A类期刊（属于交叉/综合/新兴领域）

仅以当前目录（拟定）来看，Amusi猜测：MICCAI、PRCV 的投稿量一定会爆炸增长。

Amusi侃侃：2019-2022这几年里，关于CCF 人工智能会议中争议最多的应该就是：建议ICLR新增到A类，而这次ICLR居然还是连目录（拟定）都没有进，A类/B类/C类中都没有；如果最终版确定没有，那不知道CCF目录下次更新是何时了…

下面完整罗列了推荐目录（拟定）中的【人工智能】和【计算机图形学与多媒体】两大领域的会议和期刊：

人工智能会议

A类不变，仍是7个会议：AAAI、NeurIPS、ACL、CVPR、ICCV、ICML和IJCAI，如下图所示：

B类有13个会议，新增一个NAACL（NAACL从C类升级到B类），如下图所示：

C类有20个会议，减少一个NAACL（NAACL从C类升级到B类），如下图所示：

人工智能期刊

A类不变，仍是4个期刊：AI、TPAMI、IJCV、JMLR，如下图所示：

B类有22个期刊，新增（空降）TACL 期刊，如下图所示：

C类有37个期刊，新增（空降）TIIS 期刊，如下图所示：

计算机图形学与多媒体会议

A类不变，仍是4个会议：ACM MM、SIGGRAPH、VR和IEEE VIS，如下图所示：

B类有14个会议，新增（空降）MICCAI，如下图所示：

C类有15个会议，新增（空降）PRCV、ICVRV和CVM，如下图所示：

计算机图形学与多媒体期刊

A类不变，仍是3个期刊：TOG、TIP和TCVG，如下图所示：

B类不变，仍是10个期刊，如下图所示：

C类有13个期刊，新增（空降）CVMJ，如下图所示：

Visual Prompt–视觉模板

Visual Prompt Tuning

https://github.com/KMnP/vpt

Exploring Visual Prompts for Adapting Large-Scale Models

https://github.com/hjbahng/visual_prompting

Visual Prompt Tuning

最近NLP领域提出了Prompt范新式，企图革新原先的Fine-tuning方法，而在CV领域中，Prompt其实可以理解为图像label的设计，从这个角度看，Prompt(预测文本中mask的字符，类似完形填空)其实是介于Image caption(迭代预测出每一个字符)和one-hot label(one-hot可以认为是prompt的特例，单字符通过text encoder成one-hot)之间的任务。最近在Visual-Language Model(缩写VLM)任务中，prompt开始展现出强大的能力.

Fine-tuning中：是预训练语言模型“迁就“各种下游任务。具体体现就是上面提到的通过引入各种辅助任务loss，将其添加到预训练模型中，然后继续pre-training，以便让其更加适配下游任务。总之，这个过程中，预训练语言模型做出了更多的牺牲。

Prompting中，是各种下游任务“迁就“预训练语言模型。具体体现也是上面介绍的，我们需要对不同任务进行重构，使得它达到适配预训练语言模型的效果。总之，这个过程中，是下游任务做出了更多的牺牲。

Abstract

目前调整预训练模型的方法是full fine-tuning，即完全微调。本文介绍Visual Prompt Tuning（VPT）作为一种有效的用于大规模Transformer的视觉微调。它只需要在输入空间引入少量（不到1%的模型参数）的可训练参数，同时冻结backbone。会发现在很多情况下，优于完全微调。

Introduction

对于大规模模型适应下游任务时，通常的策略是进行端到端的全面微调，然而这种策略需要为每个人物存储部署单独的主干参数，代价比较高，毕竟现在的Transformer体系结构比较大。

一种简单的方法是使用已经完善的其他策略，如下图（a）：仅微调参数的子集，如分类器头部或者偏差项。之前的研究还会试着向主干添加额外的残差结构或者adapter，可以对Transformer实施类似的策略。然而，这些策略会在准确度上执行完全微调。

作者试图探索一种不同的方法：并不通过改变或者微调预训练好的Transformer本身，而是修改其输入。如下图（b）所示：将少量特定任务的可学习参数引入输入空间，同时在下游训练期间冻结backbone。实践中，这些附加参数只是预先加入到Transformer每层输入序列中，并在微调时和线性头一起学习。

在预训练主干用ViT的24个跨域的下游任务中，VPT优于了其他迁移学习的baseline，有20个超过了完全微调，同时保持了为每个单独任务储存较少参数的优势。（NLP任务中，prompt tuning旨在某些情况下才匹配完全微调的性能）。如下图（c）所示，VPT在地数据区尤其有效，结果也进一步表明，VPT是适应不断增长的视觉主干的最有效方法之一。

Visual-Prompt Tuning (VPT) vs . other transfer learning methods. (a) Current
transfer learning protocols are grouped based on the tuning scope: Full fine-tuning,
Head-oriented, and Backbone-oriented approaches. (b) VPT instead adds extra pa-
rameters in the input space. (c) Performance of different methods on a wide range
of downstream classification tasks adapting a pre-trained ViT-B backbone, with mean
and standard deviation annotated. VPT outperforms Full fine-tuning 20 out of 24 cases
while using less than 1% of all model parameters

Related Work

迁移学习两种代表性方法：Adapter在每个Transformer层后插入一个额外的小模块。通常包含一个线性向下头像、线性向上投影及一个残差连接。BitFit是在微调网络时更新偏置项并冻结其余backbone参数。这些方法在NLP已经成熟运用。作者则进一步实验表明了VPT在视觉任务的Transformer的模型调整上性能更加良好。

Prompt最初指的是在输入文本中预编语言汁了，以便预训练好的LM(Language Model)能够“理解”任务。最近的工作则是将prompt视为任务特定的连续向量，并在微调过程中通过梯度直接优化，即Prompt Tuning。prompting依然局限于文本编码器的输入。作者是第一个解决（同样的方法能成功的应用到视觉主干）并研究视觉prompt的普遍性和可行性的工作。

Approach

整体框架图如下图所示：

Visual-Prompt Tuning：

给定一个预先训练好的Transformer，在Embed层后的输入空间引入一组d维的p连续embedding。在微调过程中，只有prompt会被更新，主干将会冻结，根据加入prompt的层数量分为浅VPT和深VPT。

浅VPT :

Prompt仅插入第一层。每一个prompt token都是一个可学习的d维参数。集合和浅VPT表示如下：

VPT-Deep: Prompt被插入每一层的输入控件。集合和深VPT表示如下：

VPT对于多个下游任务都是有帮助的，只需要为每个任务存储学习到的prompt和分类头，重新使用预训练的Transformer，从而显着降低存储成本。

Experiments:

上图是关于prompt的位置，本文提出的是prepend，与直接在embedding上添加对比效果更好。除此之外，作为前置像素或者concat通道的效果也都在下降。

下图则是对prompt长度、深度的消融实验：

最佳提示长度因任务而异，即使只有一个prompt，深VPT的效果仍显着优于另外两种方法。

下图为最终输出的消融实验：

补充：

CoOp：

CoOp明显是受到了AutoPrompt的启发，并且CoOp发现CLIP实际上就是prompt在visual-language model中的一个应用，于是CoOp在CLIP的基础上进一步进行改进。

CoOp先在四个数据集上做实验，发现更合理的prompt能够大幅度的提升分类精度尤其是使用了本文提出的CoOp之后，最终的分类精度远超CLIP人为设计的prompt。

和CLIP的主要不同之处在于，CoOp在CLIP的第二个阶段中引入了context optimization。具体的，CoOp将prompt设计为：

t=[V]1[ V]2…[V]M[CLASS]

其中每个[V]M向量跟word embedding的维度相同，可以理解为可学习的context，并且所有类别对应的context共享参数。

Exploring Visual Prompts for Adapting Large-Scale Models

这篇文章参考了Ian Goodfellow等人（2018）对抗样本中的对抗重编程思想， 对抗重编程的目标是我使用一个任务A的网络（无需重新训练该网络）来做任务B。我们设一个经过训练的模型，其原本的任务是，给定输入x，会得到输出f(x)现在有一个攻击者，其对抗任务是对于给定的输入x~，会得到输出g(x~),这里x~和x不一定需要是同域的。这看起来是不可行的，但是攻击者通过学习对抗重编程函数hf(.;θ)和hg(.;θ)来实现这两个任务之间的映射。hf(.;θ)用于将输入从x~所在的域转换到x所在的域，也就是说，经过hf的处理后得到的hf(x~;θ)对于f而言是有效的输入；而hg则将f的输出f(h(x~;θ))映射会g(x~)的输出。

图 1：对抗重编程图示。（a）将 ImageNet 标签映射至对抗任务标签（图像中的方块）。（b）来自对抗任务的图像（左）被嵌入对抗程序的中心（中），得到对抗图像（右）。该对抗程序使 Inception V3 网络执行计算图像中方块数量的任务。（c）使用对抗图像进行推断的图示。把对抗图像输入该网络时，网络预测映射至对抗任务的 ImageNet 标签。

图2提供了适应预训练模型的不同方法的摘要。微调和线性探测的用法非常灵活：它们可用于使模型适应新的输入域或具有不同输出语义的新任务。但是，在线性探针的情况下，在微调和模型输出（通常在倒数第二层的激活）的情况下，他们还需要一定程度的访问模型：参数。域的适应性是模型适应的有趣替代方法，因为它仅使用图像到图像翻译等技术来修改模型的输入[50，19]。像域的适应性一样，视觉提示也将输入修改为模型。因此，一旦最终用户找到了视觉提示，就不需要在测试时间控制模型本身。这打开了独特的应用程序；例如，用户可以将适应域的图像馈送到只能通过输入来操纵的在线API。域的适应性重点是调整源域以看起来像目标域，同时需要源和目标数据集。另一方面，我们认为视觉提示可以以更任意的方式引导模型。例如，可以通过扰动输入像素来使用新的输出语义进行一个完全不同的分类任务来执行完全不同的分类任务。同样，尽管域适应方法通常是输入条件，但我们在本文中探索的视觉提示是固定的（即输入 – agnostic），如NLP，例如在NLP中，将相同的自然语言提示添加到所有模型查询中