https://arxiv.org/abs/2407.04675

https://bytedancespeech.github.io/seedasr_tech_report/

字节推出Seed-ASR,支持复杂场景、语种、多方言超精准识别

Seed-ASR是一种基于大型语言模型（LLM）的语音识别模型。Seed-ASR是在音频条件大语言模型（AcLLM）框架上开发的，利用了大型语言模型的强大能力，将连续的语音表示和上下文信息输入到语言模型中。通过分阶段的大规模训练以及语言模型中上下文感知能力的引入，Seed-ASR 在综合评估集上（涵盖多个领域、口音/方言和语言）比传统的端到端模型有了显著提升。

摘要

ASR模型需要在各种应用场景中准确地转录给定特定上下文信息的各种语音信号（来自不同领域、语言、口音等）。融合了额外语言模型的经典端到端模型表现良好，但主要应用在数据匹配场景中，并且逐渐接近瓶颈。Seed-ASR基于大语言模型（LLM）的语音识别模型。Seed-ASR是基于audio conditioned LLM（AcLLM）的框架开发的，通过将连续语音表示与上下文信息一起输入到LLM中来利用LLMs的功能。 通过阶段式大规模训练和LLM中的上下文感知能力的启发，Seed-ASR在综合评估集（包括多个域，口音/方言和语言）上展示了端到端模型的显着改进。此外，Seed-ASR可以进一步部署，以支持各种场景中的特定需求，而无需额外的语言模型。与最近发布的大型ASR模型相比，Seed-ASR在中文和英文公共测试集上的单词（对于中文字符）错误率降低了10%-40%，进一步证明了其强大的性能。

Introduction

Seed-ASR，一个基于LLM的大规模ASR模型。为了成为一个“更智能”的语音识别模型，通过将连续语音表示与指令和上下文信息一起输入到LLM中，利用LLMs的能力。Seed-ASR具有五大特点：

Seed-ASR 具有高识别率、大模型容量、多语言支持、上下文感知和分阶段训练五大特点。通过2000万小时语音和90万小时ASR数据训练，Seed-ASR（CN）和Seed-ASR（ML）在多个数据集上表现优异。其采用了包含20亿参数的音频编码器和数百亿参数的MoE大语言模型，支持普通话、13种方言以及多种语言，并计划扩展至40多种语言。通过整合包括历史对话、视频编辑历史和会议参与详细信息，来捕获与语音内容相关的重要指标。这种集成大大提高了各种场景中ASR评估集中的关键词召回率。【关键字召回率可以定义为 ASR 系统成功识别出的关键字的数量占所有实际出现的关键字数量的比例】，增强了多场景下的表现。Seed-ASR的开发经历了一个简单而有效的训练方案：音频编码器的自监督学习（SSL） → 监督微调（SFT） → 上下文SFT → 强化学习（RL）。每个阶段都有不同的作用，确保Seed-ASR的性能逐步提高。

数据集测评：

我们建立了一个高质量评估集的系列，包括广泛的语音输入，作为不同的主题，口音/方言，语言和语音持续时间。这些集合还包括一个ASR系统在不同应用场景下的定制能力评估（例如，对话场景下的关键词识别准确性和一致性）。在Seed-ASR设计中，我们选择了大规模训练的路径，利用了大模型容量和扩展训练数据以增强泛化性。 我们考虑到提供给 AcLLM 框架的上下文，通过训练模型以来详细说明其定制化能力，从而形成一个适用于不同场景的统一且紧凑的模型结构。在我们的多维评估集上，与经典的端到端模型相比，Seed-ASR展示了更全面、更强大的模型能力。Seed-ASR的性能优势在公共测试集和我们的主观理解评估中得到了进一步证明。

Motivation

ASR模型的升级可以从LLM的技术进步中得到启发，主要可以归结为三个方面：

·统一模型框架。LLM采用基于下一个令牌预测的仅解码器框架。它对输入输出文本进行排序，依靠自注意机制建立序列中标记之间的依赖关系，从而统一文本理解和文本生成;

·缩放定律的力量。大规模模型参数为LLM提供了从不同数据源学习知识的关键能力。例如，从GPT-2 到GPT-3 ，参数数量从15亿增加到1750亿，使GPT-3表现出更好的泛化和涌现能力。

·全面的训练pipline，ChatGPT经历三个阶段：预训练，监督微调（SFT）和带有人类反馈的强化学习（RLHF）。在预训练阶段，LLM是在大量的文本数据上训练的，这使得它存储了大量的知识。在SFT阶段，LLM进一步针对更高质量的面向任务的数据进行微调，增强其根据上下文进行推理和理解任务指令的能力。最后，在RLHF阶段，训练目标转变为在强化学习的帮助下使LLM的行为与人类偏好保持一致;

由于ASR的任务是将语音转换为文本，因此其文本生成过程与LLMs一致。存储在LLMs中的广泛的文本知识和上下文推理能力使它们成为向ASR提供语义指导的潜在成分。剩下的核心挑战是如何使LLMs更好地“理解”语音，这是一种不同于文本的模态。

方法

Framework and Training Recipe

基于上述动机，我们提出了Seed-ASR，一个大规模的语音识别模型建立在音频条件LLM（AcLLM）的框架。通过将编码的连续语音表示与任务指令和相关上下文一起输入到预先训练的LLM中，Seed-ASR可以利用LLM的丰富文本知识和推理能力来生成语音的相应文本转录。总体框架如图2所示。

音频是与文本不同的模态。为了使LLMs更好地理解不同的语音输入，我们在LLMs中采用了大规模预训练的概念。具体来说，我们构建了一个具有近20亿个参数的音频编码器，并对数千万小时的数据进行了自监督学习（SSL）。预训练的音频编码器获得了强大的语音表示能力，这有助于在监督微调（SFT）期间快速收敛。在大规模SSL阶段之后，我们在AcLLM框架内实现了一个简单有效的阶段式训练方法（如图3所示）。在SFT阶段，我们通过对大量的语音-文本对进行训练，建立语音和文本之间的映射关系。在上下文SFT阶段，我们使用相对少量的上下文-语音-文本三元组来引出LLM从上下文中捕获语音相关线索的能力。 这些三重数据可以根据具体场景进行定制。在强化学习阶段，我们应用MWER的训练标准_{[传统Attention-based Sequence-to-Sequence model使用cross-entropy作为损失函数，不是直接对WER指标进行优化，而真正的目标是直接或间接地最小化WER => MWER Training]}和一些改进来进一步加强我们模型的能力。在下面的小节中，我们将更详细地介绍这些方法。

语音编码器的自监督预训练

大规模SSL使音频编码器能够从语音中捕获丰富的信息。受基于BERT的语音SSL框架的启发，我们开发了我们的音频编码器，这是一种conformer-based的模型[_{Conformer 是 Google 在 2020 年提出的语音识别模型，主要结合了 CNN 和 Transformer 的优点，其中 CNN 能高效获取局部特征，而 Transformer 在提取长序列依赖的时候更有效。 Conformer 则是将卷积应用于 Transformer 的 Encoder 层，用卷积加强Transformer 在 ASR 领域的效果。}]，可以捕获存储在音频信号中的全局和局部结构。在这项工作中，我们主要关注语音信号。由于它是在大规模无监督数据上训练的，因此我们将训练后的音频编码器称为LUISE，它代表L大规模无监督迭代SpeechEncoder。

LUISE秉承BERT的概念，采用掩蔽语言预测的学习范式。训练过程如图4所示。具体地，首先将从波形提取的梅尔滤波器组特征的序列输入到 tokenizer模块以获得每个帧的离散标签。然后，使用交叉熵准则进行LUISE的训练，仅针对被掩蔽的帧计算损失函数。训练后，softmax层被移除，LUISE的编码器部分用于后续的监督微调。

我们利用一个迭代的固定 tokenizer的方法来获得相应的离散标签的每一帧。在第一次迭代中，我们应用随机projection层将语音特征投影到随机初始化的码本中，并通过找到码本中最近的向量将它们映射到离散标签。在第二次迭代中，我们对先前训练的编码器的中间层的表示执行K均值聚类以获得新的码本。然后通过在新码本中找到与来自相同中间层的表示最接近的向量来获得离散标签。在中间层的选择过程中，我们冻结了第一次迭代中训练的编码器参数，并为每个中间层添加了映射层和连接主义时间分类（CTC）损失，以进行监督微调。 图5显示了通过对每个中间层的表示进行监督微调获得的字错误率（WER）。对于具有20亿个参数的LUISE，第25层（32层中）的输出展示了最佳的语义表示，并用于在后续迭代中生成离散标签。

有监督微调SFT

经过对大规模纯语音数据的训练，LUISE已经开发出强大的语音表示能力。它以40ms/帧速率输出包含丰富语音和语义信息的连续表示。为了使AcLLM更好地理解语音中相应的文本内容，我们需要将编码表示的语义信息映射到LLM的语义空间中。LLM为了实现这一点，我们使用以下两种方法：

1. 在模型结构中，我们引入了一个转换器模块来连接我们的音频编码器（LUISE）和LLM（如图2所示）。转换器包括下采样模块和线性投影层。我们发现不同的下采样方法同样有效，因此我们使用最简洁的方法：帧拼接。具体来说，我们在特征维度上拼接4个连续的语音表示帧，然后输入到线性层中。因此，输入到LLM中的语音表示帧率为160毫秒；
2. 在训练方法上，我们采用“可学习音频编码器+可学习转换器+固定LLM“的策略，在保持LLM参数不变的情况下，最大限度地保留了LLM丰富的语义知识和推理能力。可学习的音频编码器和转换器参数确保语音表示中包含的语义信息与LLM的语义空间对齐。LLM在训练过程中，使用交叉熵损失函数，只有生成转录文本的标记位置参与交叉熵计算;

上下文SFT

在大规模语音-文本对数据上进行训练后，我们的SFT模型在覆盖多个领域的测试集上表现出色。然而，SFT模型的训练方式决定了它缺乏在给定上下文信息（上下文）的情况下识别模糊语音内容的能力。这些问题在涉及口音（语音歧义）和同音异义词或稀有词（语义歧义）的情况下更加明显。因此，我们引入了上下文感知训练和联合波束搜索的方法，以增强模型有效利用上下文的能力（图6中给出了一个示例）。

• 上下文感知训练：首先，我们使用我们的内部大型语言模型来生成与语音转录相关的上下文。在我们的实验中，它比使用长段语音中的开头和结尾的转录文本作为上下文表现得更好。使用生成的自然语言上下文还可以提供更完整的语义，从而除了从上下文复制相关转录内容之外还能够学习推理。然后，我们构建了一个<context，speech，text>三元组的数据集，并将其与一定比例的一般ASR数据（语音-文本对数据）混合用于上下文感知训练。如图2所示，在上下文感知训练期间，我们将上下文和语音表示输入到LLM中。LLM这种训练的目标是增强模型从上下文中捕获语音内容相关线索的能力。

• 联合波束搜索：我们发现，直接使用本地波束搜索存在严重的幻觉问题。为了解决这个问题，我们提出了一种联合波束搜索的解码策略来缓解这个问题。具体地，我们使用联合波束搜索来找到最佳得分 Pjoint⁢(𝒚|𝒙,𝒄) ，其中 𝒚 表示预测的假设， 𝒙 是语音信息，并且 𝒄 是给定的上下文信息。超参数 α 用于在解码期间平衡语音信息和上下文信息的重要性：

同时，我们引入了一种修剪策略，首先使用上下文无关的得分 P⁢(𝒚|𝒙) 过滤出声学上不可信的候选令牌，然后对剩余的候选令牌应用联合波束搜索。修剪策略在缓解幻觉中起着重要作用。

强化学习

由于SFT和上下文SFT阶段中的训练基于交叉熵目标函数，因此与推断期间使用的评估度量（例如WER）不匹配。随着强化学习（RL）的发展，它可以在序列建模任务中学习相对最优的决策策略。因此，我们通过构建基于ASR度量的奖励函数来引入RL阶段。

单词错误率（WER）通常被认为是评估ASR模型性能的核心指标，但句子中的某些内容（例如关键字）在理解整个句子中起着更关键的作用。因此，我们还引入加权WER（WWER）作为额外的奖励函数，强调关键字错误的重要性。具体来说，我们应用最小字错误率（MWER）作为另一个训练目标，在我们的RL阶段中使用交叉熵目标 ℒCE 进行插值：

    在传统的 MLE 训练中，损失函数通常是基于每个时间步的交叉熵损失。这意味着模型优化的目标是每个时间步的预测概率分布，这可能导致最终的序列输出与实际参考输出在词级别上不匹配。MWER 训练则直接优化序列的 WER，这是更接近于最终应用的评价标准，尤其是在语音识别和自然语言处理任务中。

MWER 训练的实现方法:
候选序列生成：在 MWER 训练过程中，模型会先使用其当前参数生成多个候选的输出序列（通常使用采样或束搜索策略）。这些候选序列代表了模型对给定输入的不同潜在输出。

损失计算：计算每个候选序列的词错误率（WER），然后通过比较这些候选序列与参考序列之间的WER来评估损失。具体来说，损失函数会惩罚那些与参考序列WER较高的候选序列，同时奖励那些WER较低的候选序列。

最小化损失：使用反向传播算法更新模型参数，以最小化平均 WER 损失。由于损失函数直接反映了序列级别的错误率，这种方法能够更有效地训练模型来生成更准确的输出。

为了提高强化学习的训练效率，我们部署了一个远程服务来生成假设，并在更新当前服务器上的模型参数的同时计算MWER损失。在强化学习训练过程中：1）我们使用前一阶段训练的上下文SFT模型初始化模型参数; 2）我们利用高质量的数据进行强化学习训练，数据规模为数千小时。3)为了保持初始化模型的上下文感知能力，我们的训练数据还包括一定比例的上下文、语音、文本三元组。在完成RL训练之后，我们获得了我们的Seed-ASR模型。

表1：RL阶段的消融研究。作为奖励函数的加权WER在所有三个评估集上显示出比WER更好的性能（这些集的详细信息在第4.1节中介绍）。在强化学习阶段使用的上下文、语音、文本三元组的训练数据保证了上下文感知能力的不下降。Seed-ASR使用最后一行中的策略。WER或加权WER的度量计算中文、日文和韩文的字符错误，以及英文和其他语言的单词错误。

Observations

在改进Seed-ASR性能的过程中，我们也得到了一些观察：

Scaling Law

在LLM领域，可以观察到，较大的模型可以通过在更多数据上进行训练来不断降低损失值。据我们所知，在基于LLM的框架下，没有关于音频编码器的缩放律的相关研究。在SSL阶段，我们进行实验，以探讨不同的模型大小的LUISE的性能。具体来说，我们选择了五组型号尺寸：75 M、0.2B、0.6B、2B和5B。训练数据包括770万小时的无监督语音数据，覆盖多个领域，确保模型容量的充分利用。不同大小的模型在大多数训练配置中保持一致性，只是随着模型大小的增加，我们会按比例扩大模型的宽度和深度，适当增加批量大小和权重衰减，并降低学习率。

我们首先关注验证集上的交叉熵预训练损失值与模型大小之间的相关性。如图7所示，我们观察到两者之间几乎呈线性相关。此外，我们比较了基于训练的LUISE的小规模SFT数据训练后的性能。使用贪婪搜索进行推理。如图7所示，多域评估集上的WER度量也与LUISE的模型大小呈现出近乎线性的相关性。此外，这揭示了SFT之后测试集上的WER度量与图7中SSL阶段中的损失函数值之间的正相关性。这些关于缩放律的发现为我们的编码器选择（考虑性能和效率的平衡）和后续优化提供了指导。

Long-form Ability

我们的Seed-ASR是在AcLLM的框架下建模的，它自然地利用LLM的语义知识和长上下文建模能力。因此，我们还探索了直接将整个长格式语音输入LLM进行识别的选项。该方法有效地避免了与对多个独立推断的长形式语音进行分割相关联的两个问题：1）分割过程可能导致边界处的信息丢失，从而降低识别准确性; 2）分割过程破坏了长形式语音中的强全局上下文信息，从而影响识别的准确性和一致性。

具体来说，我们构建了一系列长格式视频测试集，包括来自不同来源的5个数据集。在训练过程中，整个长格式数据被输入到模型中，而没有任何分割处理。测试集的持续时间分布与训练集的持续时间分布相当。如表2所示，使用长形式数据进行训练和测试，与短形式训练相比，相对WER降低了近8.8%，短形式训练采用域自适应VAD将长形式语音分割成几个部分进行训练和测试。长格式视频测试集的最大持续时间为5分钟，并具有显著长度延长的调度器。

模型与评价

目前，我们专注于在多样化场景下全面提升中文和多语种（不含中文）语音识别性能。因此，我们提出了两个具有相同模型结构和训练配方的Seed-ASR模型：汉语多方言模型，称为Seed-ASR（CN），和多语言模型，称为Seed-ASR（ML）。虽然我们也有同时支持中文和多语言的模型，但本报告将特别详细介绍两种分别专注于中文和多语言（不包括中文）的Seed-ASR模型。

Seed-ASR（CN）不仅可以用单个模型对普通话和13种汉语方言进行转录，而且在多领域、多方言、多口音和公共集等多维评估集上，与其他已发布的大型模型相比，性能有了显著的提高。此外，在上下文SFT阶段的训练赋予种子ASR（CN）有效的上下文感知能力，如在对话上下文评估集上所示。同样，Seed-ASR（ML）在8种多语言公共集（包括英语）和多领域评估集上取得了与其他已发布模型相比具有竞争力的结果，并且正在扩展到40多种语言。在下面的部分中，字错误率（WER）的度量被用作主要的客观度量。除非另有说明，否则WER的度量计算中文、日语、韩语的字符错误，并计算英语和其他语言的单词错误。

Seed-ASR (CN)

Seed-ASR（CN）遵循图3所示的完整训练管道。在SSL阶段，我们使用了具有近2B参数的LUISE编码器，并对来自各个领域的近800万小时的普通话和汉语方言语音数据进行了训练。在SFT阶段，我们使用经过训练的LUISE和具有超过百亿个参数的LLM进行模型初始化。训练数据包括包含多个域的普通话数据和方言数据的混合。SSL和SFT阶段的详细数据分布见附录A.3。在上下文SFT阶段，我们使用一定比例的SFT阶段数据与一些上下文、语音、文本三元数据混合进行训练。在RL阶段，我们使用训练好的上下文SFT模型进行初始化，并构建高质量的训练数据进行训练。在这个全面的训练过程之后，我们获得了Seed-ASR（CN）

为了全面评估Seed-ASR（CN）模型的ASR能力，我们在公开数据集上将其与其他已发布的模型进行了比较，并构建了一系列评估集，包括多领域集、多源视频集、硬案例集、多方言集、多口音集、上下文感知集和主观可懂度评估。

最后的结果是上述6个测试集的WER（中文字符）的平均值。我们用于比较的基线包括Paraformer-Large、Qwen-Audio和最近发布的基于LLM的ASR模型，其结构为Hubert+ Baichuan 2。他们的研究结果来自他们各自的论文。如表3所示。Seed-ASR（CN）表现出比其他模型更显著的性能优势，在这些公共数据集上获得了最先进的结果。对于6套的平均WER，Seed-ASR（CN）比其他已发布模型实现了超过24%-40%的WER降低。

对多域多源视频集的评估:

我们还对多领域评估集进行了全面的性能比较，该评估集包含来自视频，直播，语音搜索，会议，智能助手等各种场景的高质量评估数据，并将多领域集合中总共7个集合的加权平均WER作为最终指标。我们选择基于传感器的端到端模型[20]，其具有MoE编码器和超过300 M的参数作为基线之一。此外，我们还在多域评估集上运行Paraformer-large（离线解码）的结果作为另一个基线。从表4中的结果来看，Seed-ASR（CN）显示出显著的性能优势，与我们强大的端到端模型相比，WER指标相对降低了47%以上。在覆盖7个不同子集的视频评估集上，Seed-ASR（CN）也获得了相当大的性能改善。 这些结果证明了Seed-ASR（CN）强大的基础能力。

此外，我们通过引入10个硬案例测试集来评估高级ASR能力，这些测试集覆盖了包括书名、汽车名称、成语、药品名称、电影名称、古诗、产品名称、音乐名称等在内的话语。这些测试集旨在评估模型识别包含专有名词的语音内容的能力，这些专有名词具有很强的专业性和领域特异性，反映了ASR模型的知识储备和识别准确率。硬案例集的评估指标是每个句子中给定关键字的F1分数。如表4所示，与端到端模型基线相比，Seed-ASR（CN）模型实现了F1值3. 3%的绝对增长，证明了AcLLM模型框架在利用LLM常识知识和语义推理能力方面的有效性。

多方言集和多口音集的评估:

由于我们的Seed-ASR（CN）模型支持普通话和13种汉语方言的识别，我们还引入了方言评估集。这套共包括13种方言（广东话、西南话、吴语、吉鲁话、中原话、闽语等）。并使用汉字的相同或相似发音对文本进行人工标注。我们的方言评估集的具体演示可在我们的网站²上获得。我们使用WER作为这个方言评估集的客观度量。

我们使用微调的Whisper Medium-v2，769 M参数作为我们的基线。为了进行公平的比较，我们使用相同的方言训练集训练Whisper Medium-v2和Seed-ASR（CN）。Seed-ASR（CN）需要在保持普通话综合能力的同时提高方言上的ASR性能，因此它使用来自多个领域的更大比例的普通话数据进行训练。相比之下，Whisper Medium-v2在多域集等综合评估集上显示出较差的结果。尽管如此，具有更大建模能力的Seed-ASR（CN）模型在13种方言集上仍然显示出优于基线的性能优势，13种方言的平均WER从21.68下降到19.2（相对WER降低11.4%），并且在单个方言测试集上相对WER降低超过21%。

为了进一步验证Seed-ASR（CN）对不同语音的识别性能，我们引入了一系列口音评估集，包括来自安徽、福建、甘肃、广东、贵州、湖南、江西、辽宁、陕西、山西和云南的11个中国口音。具体的口音语音样本也可在我们的网站².如表6所示，与从头开始训练的强E2 E模型相比，Seed-ASR（CN）在口音测试集上表现出显着的改进。我们还通过在训练过程中移除重音SFT数据来进行消融研究，但Seed-ASR（CN）仍然在重音集上实现了强大的性能。在多方言、多口音评价集上的实验结果表明，该算法对不同地区的汉语语音识别具有较强的鲁棒性。

对对话上下文集的评估:

在语境感知的评估中，我们构建了一个高质量的对话语境集，其中对话历史被用作语境信息。如图8所示，我们提供了两个对话示例。每个测试用例包括对应的对话历史文本和当前识别的语音内容。我们将对话语境评估分为严格和宽松两个子集。严格子集包含对历史对话有很强依赖性的样本，以准确识别语音内容，例如人名。松散子集的历史对话和演讲内容之间的依赖性较弱，如专有名词。我们使用关键字召回作为评估指标。

总结:

在包括SFT → context SFT → RL的逐步训练配方之后，我们的Seed-ASR（CN）模型产生了。在上述综合评估集上，我们观察到我们的Seed-ASR（CN）模型的某些能力在不同的训练阶段得到了增强。在这里，我们对每个阶段的效果进行了详细的消融研究，结果如表9所示。首先，RL阶段的引入带来了对大多数评估集的改进，例如多域，多源视频，多方言，硬案例和代码切换。重音测试集中的轻微降级可能是由于训练数据比率。此外，上下文SFT阶段的训练对大多数测试集产生了积极的影响，特别是在上下文严格测试集上的召回度量方面带来了显着的改善。这进一步证明了我们的上下文感知训练和解码策略在上下文SFT阶段的有效性。

Seed-ASR (ML)

如上所述，Seed-ASR（CN）在识别普通话和汉语方言方面表现出很强的性能。为了将这些优势扩展到其他国家用户使用的语言，我们还将Seed-ASR方法应用于多语言场景，从而形成了我们的多语言模型：Seed-ASR（ML）。Seed-ASR（ML）的训练与Seed-ASR（CN）的主要区别在于训练数据。Seed-ASR（CN）专注于普通话和中国方言，而Seed-ASR（ML）则是在各种多语言数据集上进行训练的。在SSL阶段，Seed-ASR（ML）的音频编码器也使用了具有2B参数的LUISE，并使用来自多域源的数千万小时无监督多语言数据进行训练。在随后的阶段中，我们从我们的多语言ASR训练集中选择训练数据，这些训练数据总计数十万小时，涵盖9种语言：英语，中文，阿拉伯语，西班牙语，法语，印度尼西亚语，日语，韩语和葡萄牙语。 SSL和SFT阶段的详细数据分布见附录A.3。我们对多个评估集和公共数据集进行性能比较。

Evaluation on Multi-domain and Multi-accent Sets:

在多域评估集上，覆盖的域与第4.1.2节中介绍的种子ASR（CN）上的多域评估集相同。硬盒测试集涵盖了医疗健康、食品和饮料、体育、技术、服装、游戏、娱乐和美容等领域。我们还建立了对不同口音的英语的评估，包括来自英国，美国，澳大利亚，加拿大，中国，印度，新加坡，新西兰和南非的发言者。对于多语言评估，我们报告了7种非英语语言的平均WER性能：阿拉伯语（AR），西班牙语（ES），法语（FR），印度尼西亚语（ID），日语（JA），韩语（KO）和葡萄牙语（PT）。如表10所示，用于比较的基线包括Google USM [50]（API call ³）、Whisper Large v3 [39]（离线解码）和Universal-1 [41]（API调用⁴）。由于Universal-1在我们的多语言多域评估集中仅支持3种语言，因此其相应结果未包含在此处。我们将这些模型在多语言多域评估集上的语言性能比较附在附录A.1中。从表10中的结果来看，与最强的基线相比，Seed-ASR（ML）在英语和多语言多领域评估集上分别表现出相对超过42%和40%。在英语多重音和硬格评估集上也观察到类似的显着改进。

除了内部多域评估集之外，我们还将Seed-ASR（ML）与英语和其他语言的公共测试集上的其他模型进行了比较，包括Librispeech[36] test clean/other，MLS[38]，Tedo 3[24]，Callhome，Switchboard[19]，AMI[30]和Fleurs[13]。测试集的详细信息见附录A.2。结果如表11所示。请注意，基线模型的所有结果都是由基线模型的相应论文或技术报告的WER（Whisper Large-v3结果来自Universal-1的技术报告[41]）。 如表11所示，Seed-ASR（ML）在不同语言的大多数测试集上都实现了最佳性能，提高了10%到40%，这表明Seed-ASR（ML）对训练期间看不到的领域具有泛化能力。

与Seed-ASR（CN）类似，Seed-ASR（ML）在广泛的评估集上表现出与多个强基线相比的卓越性能。该模型在识别具有不同声学环境、语义上下文和多种语言口音的语音方面表现出色，强调了该模型的泛化能力及其在训练过程中处理来自各种看不见的领域的语音的有效性。总体而言，上述中文和多语言环境下的评估集的结果证明了Seed-ASR在涵盖多语言，多方言，多口音，多领域和多定制需求的多种应用场景中的泛化能力和强大的基础能力。

总结

通过包括SFT、上下文SFT和RL在内的逐阶段训练的Seed-ASR模型，与最近发布的强大端到端模型相比，在不同声学和语义领域、口音/方言/语言和长距离语音持续时间的各种评估集上展示了上级能力。大规模的LUISE预训练和连接LUISE和LLMSFT赋予Seed-ASR理解不同语音内容的能力。上下文SFT阶段的引入显著提高了模型对相关上下文的关键词的召回率，展示了模型在利用LLMs的上下文感知能力方面的强大定制能力。RL阶段进一步巩固了Seed-ASR的文本生成行为与准确转录的要求之间的一致性，特别是语义重要部分的转录。 总体而言，结果肯定了Seed-ASR作为涉及多种语言，方言，口音，域和定制需求的各种应用程序的最佳ASR模型的地位。未来，我们将专注于扩展Seed-ASR在单个模型中处理多个任务的能力，进一步增强长格式能力并增加支持的语言数量。

关于数据集：

论文地址：https://arxiv.org/abs/2206.08317

代码：https://github.com/modelscope/FunASR/

摘要：

Transformers在 ASR 领域占据主导地位。虽然能够产生良好的性能，但它们使用自回归（AR）解码器来逐一生成令牌，这在计算效率上是低效的。为了加快推理速度，可以使用非自回归 (NAR) 方法，例如单步 NAR 的设计是为了实现并行生成。然而，由于输出标签之间的独立性假设，单步 NAR 的性能不如 AR 模型，尤其是在大规模语料库的情况下。改进single-step NAR 面临两个挑战：首先是准确预测输出 token 的数量并提取隐藏变量；其次，增强输出标签之间相互依赖性的建模。为了应对这两个挑战，我们提出了一种快速且准确的并行Transformer，称为 Paraformer。该模型属于单步非自回归模型。这利用基于连续积分和激发的预测器来预测令牌的数量并生成隐藏变量。然后，扫视语言模型（GLM）采样器生成语义嵌入，以增强 NAR 解码器对上下文相互依赖进行建模的能力。最后，我们设计了一种策略来生成负样本以进行最小错误率训练，以进一步提高性能。使用公共 AISHELL-1、AISHELL-2 基准和工业级 20,000 小时任务的实验表明，所提出的 Paraformer 可以达到与最先进的 AR Transformer相当的性能，并且加速超过 10 倍。

1. Paraformer使用基于CIF的predictor预测输出标签的个数并产生隐变量；【文献18】

2. GLM sampler用于产生语义向量增强非自回归模型对上下文的建模能力；【文献19】

3. 最后作者设计了一个策略产生负例，并用MWER损失训练使模型的识别能力进一步提升。【文献20】

介绍：

过去几年，端到端（E2E）模型在自动语音识别（ASR）任务上的性能已经超越了传统层级系统。存在三种流行的 E2E 方法：连接主义时间分类 (CTC)、循环神经网络转换器 (RNN-T) 和基于注意力的编码器-解码器 (AED) 。其中，AED 模型由于其卓越的识别精度而在 ASR 的 seq2seq 建模中占据主导地位。例如 Transformer 和 Conformer。虽然性能良好，但此类 AED 模型内的自回归 (AR) 解码器需要一一生成令牌，因为每个令牌都以所有先前的令牌为条件。因此，解码器的计算效率低下，并且解码时间随着输出序列长度线性增加。为了提高效率并加速推理，有人提出使用非自回归（NAR）模型并行生成输出序列。

基于推理时需要的迭代次数，NAR 模型可以分为迭代模型或单步模型。在前者中，A-FMLM 是单步自回归模型的最早尝试，旨在通过不断迭代来预测以未屏蔽标记为条件的屏蔽标记。由于需要预先定义目标令牌长度，性能受到影响。为了解决这个问题，Mask-CTC 和变体提出通过 CTC 解码来增强解码器输入。即便如此，这些迭代 NAR 模型需要多次迭代才能获得有竞争力的结果，限制了实践中的推理速度。最近，提出了几种单步 NAR 模型来克服这一限制。它们通过消除时间依赖性同时生成输出序列。虽然单步 NAR 模型可以显着提高推理速度，但其识别精度明显不如 AR 模型，尤其是在大规模语料库上评估时。

前面提到的单步非自回归模型主要关注如何预测输出标签的个数和准确提取隐变量。和机器翻译通过predictor预测输出标签个数相比，ASR预测输出标签个数确实比较难，因为有很多的潜在影响因素，比如说话人的语速、静音、噪音。另一方面，经过作者的观察和分析，单步非自回归模型相比自回归模型具有更多的替换错误，如下图1。作者认为缺少上下文依赖信息导致预测标签个数准确率差不多，但替换错误上升明显(AR和vanilla NAR比较)，尤其是单步自回归模型的条件独立假设。另外，所有的非自回归模型都是在学术基准阅读音频上实验的，并没有验证这些模型在工业基准数据上的效果。这篇论文的目标是提升单步非自回归模型的识别效果，使其达到和自回归模型相同的水准，并在大规模工业级数据上验证。

文章提出了一个又快又准的并行transformer模型，可以克服上面提到的两个挑战。首先，不像前面的基于CTC的工作，作者提出了使用基于CIF【continuous integrate-and-fire】的predictor网络评估目标长度并产生隐变量。对于第二个挑战，作者设计了基于GLM【glancing language mode】的sampler模块增强非自回归解码器对输出上下文的建模能力。这个工作受到了机器翻译工作的启发。作者另外设计了一个包含负例的策略，利用MWER损失指导模型学习提升模型性能。

Paraformer是第一个在性能上可以和自回归模型媲美，并且在大规模数据集上相比自回归模型有10倍+的推理速度提升。

方法

整体框架

如上图所示，整个框架包含五个模块：encoder、 predictor、sampler、decoder、loss function。其中Encoder和自回归模型的Encoder一样，本文使用SAN-M【multihead-attention的部分换成了san-M】和FFN，也可以使用conformer等结构。Predictor用于生成声学特征指导解码。Sampler模块使用声学特征和标签特征生成语义特征【用于学习输入的上下文内容语义信息，增强非自回归解码器对输出上下文的建模能力】。Decoder和自回归解码器相同，只不过这里是双向解码器[类似bert]。解码器包含多个SAN-M、FNN和cross MHA模块。除了CE loss，还会使用MAE loss训练predictor，MWER损失也一起参与模型训练。

整个流程阐述：
输入音频为X，长度为T；音频对应的文本标签为Y，长度为N。Encoder的输入为X，输出为H。Predictor的输入为H，输出为预测的输出标签长度N’并生成声学向量E_a。第一轮解码Decoder的输入为H和E_a，输出为Y’。图中红色虚线Pass1标记部分表示输入E_a，但是并不对这个输入进行反向传播学习。第二轮解码前会首先经过Sampler模块。Sampler模块在声学向量E_a和输出标签向量E_c之间进行采样得到语义向量E_s。其中Char指的是标签Y。采样过程依赖Y和Y’之间的距离。第二轮解码Decoder的输入为H和E_s，输出为Y’‘，这次进行反向传播学习。此次反向传播学习指导decoder学习上下文语音信息，同时也会指导predictor和encoder的学习。Sampler使用Y’进行距离计算不会进行反向传播学习。最后输出的Y’’会被采样为MWER训练生成负例候选。使用N和N’计算MAE。MWER、MAE和CE loss一起作为loss进行训练。
推理时，sampler模块是不激活的，并且双向并行解码器只使用声学向量E_a和隐向量H通过一轮输出最终的预测结果。尽管decoder在每次训练时会前向推理两次，但是因为在推理时只进行了一次所以并不会使计算复杂度变大。

Encoder：

SAN‑M（Memory Equipped Self‑Attention）是一种将自注意力（Self-Attention）与 DFSMN 记忆模块融合的结构，最初用于 增强 Transformer 的上下文捕捉能力，尤其在 ASR 任务中表现出色。它通过在每个 Transformer 注意力块中嵌入 FSMN 类型的 记忆增强路径，来充分结合 Transformer 的远程依赖和 FSMN 的局部惯性记忆优势。

DFSMN 通过引入跳跃连接和记忆步长改进了 FSMN 架构。它由三部分组成：一个线性投影、一个记忆单元以及一个从记忆单元到下一个隐藏子层的权重连接。DFSMN 的关键元素是可学习的类 FIR 记忆块，它们用于将长上下文信息编码为固定大小的表示。因此，DFSMN 能够在不使用循环反馈的情况下对序列数据中的长期依赖关系进行建模。第l-th 记忆块中的操作采用以下形式：

这里， 𝐌^ℓ 是记忆块。 𝐡t^ℓ 和 𝐩t^ℓ 分别表示 ReLU 层和线性投影层的输出。 𝐦t^ℓ 表示第 ℓ 个记忆块的输出 。 N1^ℓ 和 N2^ℓ 分别表示第 ℓ 个记忆块的回顾和前瞻顺序 ，而 s1 和 s2 是它们各自的步幅因子。

其中 𝐘 表示 SAN-M 的输出。单向 SAN-M 意味着自注意力和 DFSMN 记忆块本身都是单向的。

DFSMN 记忆块和自注意力的输出都是通过对特征向量加权然后求和来计算的。重要的区别在于如何得出权重。对于 DFSMN 记忆模块而言，权重是上下文无关（CI）系数，我们可以将其视为学习整个数据集的统计平均分布。虽然单层的感受野较小，但仍然可以通过堆叠多层来建模长距离依赖关系。

(a) 自注意力机制能够学习全序列内的长程依赖关系，但学习到的特征并不一定总是长期依赖的，尤其是在编码器中。(b) DFSMN 记忆模块倾向于学习局部依赖关系。同时，它们的计算效率更高，也比自注意力机制更灵活。(c) 自注意力机制学习的是专注于单个特征的长期上下文依赖关系，而 DFSMN 记忆模块则从整个数据集的统计平均分布中学习局部项依赖关系，这意味着它们在实践中可能更具鲁棒性。

Predictor

Predictor由两个卷积层组成，输出的float weight α 在0～1之间。作者通过累计此权重预测输出标签的长度。MAEloss定义为：

其实就是将所有α 进行了累加，加起来的长度就是预测的长度。LOSS就是真实长度和预测长度差的绝对值。作者引入了CIF机制产生声学向量。CIF是一个软的(非0/1，可以是小数)和单一对齐的，在AED模型中作为流式解决方案的实现。声学向量的生成时，CIF对权重α 进行累计，如果超过了设定的阈值β ，说明某一个声学向量的边界确定了。对边界之内的向量H根据权重α 进行缩放累计即可得到某一个声学向量。此过程重复直到结尾，可得到所有的声学向量。如下图所示：

在训练时权重α会根据N进行缩放(比如累计的α为N’，使用N/N’对所有的α 进行缩放，使用缩放后的α计算声学向量E_a。缩放是为了让的E_a维度和E_c的维度保持一致)，但是在推理时无法进行缩放，导致训练和推理之间存在不一致。为了弥补这个不一致，作者提出了使用动态阈值β而不是固定阈值。计算公式如下：

下面是一个向上取整，所以分子小于等于分母，阈值β < = 1 。

Sampler 【参考字节Glancing Transformer】

非自回归模型的另一个核心问题是如何增强模型对上下文建模能力，现有的通用的单轮自回归模型 (vanilla-NAR) 为了高效计算效率，模型中 decoder 去除了显式的 Dependency 建模，从而在处理同音替换错误的能力会弱很多。GLM目的就是更好的学习输出序列的上下文语义关系，利用上下文进行当前的文本预测， 学习输出标签之间的依赖关系。

在普通的单步非自回归模型中，优化的目标为：

然而，正如上面所说的，单步非自回归模型中的输出标签独立性假设导致模型识别效果不如自回归模型。GLM模块的loss定义如下：

其中GLM(Y,Y′)表示Sampler模块在Ea​和Ec​中选中Ec​替换Ea​对应的Y′′中token的集合；GLMˉ(Y,Y′)表示Sampler模块在Ea​和Ec​中未选中Ec​替换Ea​对应的Y′′的token的集合；GLM(Y,Y′)的定义如下：

上面公式的含义是从Ec​中采样⌈αd(Y,Y′)⌉个向量替换对应位置的Ea​，生成新的向量为Es​。其中α是控制采样率的采样因子，越大表示使用Ec​替换Ea​的概率越大。该采样概率应该在最初模型效果不好时设置的稍微大一些，然后随着整个的训练过程的进行逐渐减小。为了达到这个目的，作者简单实用汉明距离，其定义为：

也就是，最开始的时候模型学习不好，d会比较大，当模型学习越来越好时，d也逐渐减小。表示最开始训练时，使用较多的Ec​替换Ea​，也就是上下文信息更多和准确，减小模型的学习难度；当模型学习的越来越好时，使用较少的标签信息迫使模型进一步学习。

总结，sampler模块结合了标注标签向量Ec​，实现方法是随机替换Ea​中⌈αd(Y,Y′)⌉个向量生成新的含有语义的向量Es​。训练并行decoder使用语义上下文GLM(Y,Y′)预测目标标签GLMˉ(Y,Y′)，使模型学习输出标签之间的依赖关系。

补充Glancing Transformer 原理：

自回归模型中最为常用的训练方式是最大似然估计（MLE），不少非自回归模型也直接使用 MLE 进行训练。但是非自回归模型的输出方式是并行的，输出语句中的任何部分在输出之前都无法获得输出语句中其余词的确切值。所以直接使用 MLE 训练并行输出的非自回归模型无法有效地建模输出语句中词之间的依赖关系。值得注意的是，词之间依赖关系的建模对输出通顺的语句至关重要，拥有良好生成质量的自回归模型和多轮迭代解码的模型均对这种依赖关系进行了有效的建模。

直接训练完全并行生成来学习目标语句中词之间的依赖关系对模型并不友好。一种更为简单有效的依赖关系学习方式是根据部分输入词预测其余目标词。但是这种学习方式需要部分目标词作为输入，不符合非自回归模型并行生成的要求。作者观察到随着模型自身更好地学习到词之间的依赖关系，模型对于依赖关系的学习可以逐渐摆脱使用目标语句部分词作为输入的需求。基于以上观察，Glancing Transformer（GLAT）利用了一种 glancing language model 的方法，通过渐进学习的方式进行词之间依赖关系的建模。在渐进学习的过程中，模型会先学习并行输出一些较为简单的语句片段，然后逐渐学习整句话的单步并行生成。

具体地，在第一次解码的时候，和常规的非自回归模型一样，模型使用完全并行解码的方式输出语句。然后将第一次解码得到的输出和训练数据中的目标语句进行对比。如果输出和目标语句差距较大，说明模型在训练中难以拟合该训练样本，因此这时 GLAT 会选择提供更多目标词作为输入来帮助学习词之间依赖关系。反之，如果输出和目标语句比较接近，则模型自身已经较好地学习了如何并行生成该目标语句，所需要的目标词数量也相应减少。

在第二步解码之前，模型的解码器可以得到部分目标词作为输入，这些词的数量由第一步的解码结果所决定。这时，模型在并行输出之前可以获得部分目标词的确切值，所以在学习输出剩余目标词的过程中就可以对目标语句中词之间的依赖关系进行建模。

随着训练的进行，模型对数据拟合程度更高，因此能够更准确地生成目标语句。与此同时，需要作为解码器输入的目标语句中的词的数量会越来越少，在训练后期逐渐接近学习完全并行生成的训练场景（例如上图右边的例子）。具体的方法细节和实现方式可以参考论文。

Loss Function：

一共定义了三个loss：CE、MAE、MWER。训练时进行联合训练：

对于MWER，具体的计算公式如下：

非自回归模型使用贪婪搜索，所以只有一个输出路径。正如前面提到的，在使用MWER训练时作者使用负例采样策略通过随机遮蔽top1分值标签产生多个候选路径。

MWER代码实现：https://gist.github.com/TeaPoly/234429e6c2d74d10fcb4987bc541d528

在训练阶段，为克服贪婪推理带来的路径多样性不足，Paraformer 采用 Minimum Word Error Rate（MWER）训练，其中：

1. MWER 损失目标是最小化期望词错误率，需要多条候选路径参与比较；
2. 但 NAR 模型贪婪解码只产生单条路径，这时就需要人为生成多条候选路径。

于是引入 “负例采样策略”（Negative Sampling）：

• 给定模型输出的 logit 序列，先得到首候选分布；
• 然后随机遮蔽（mask）每个位置上概率最高的 token（top1）；
• 遮蔽后重新预测该位置（随机或第二选 token），这样对每个采样得到一条新的路径；
• 重复 N 次，便可以生成多条“看似真实但含小变动”的候选路径。

实验

实验设置

在AISHELL-1、AISHELL-2以及工业级2wh数据集上验证上述方法的效果。其中工业级的测试集有两个：普通30h、远场15h。具体的工业级语料介绍可以参考文献21和28。RTF的测试在NVIDIA tesla V100上完成。

结果如上表格。在上述两个测试集上的测试都是在ESPNET框架上实现的，不包含LM和预训练模型。
AISHELL-1 的AR baseline参考文献15，效果在所有AR模型中是最好的（排除使用更多数据知识的模型）。因为作者当前的目标是通过模型结构提升模型效果而不是通过数据。普通的NAR和Paraformer的结构相同，但是没有Sampler。

结论：
1. 普通NAR的表现超过了其它的NAR工作，比如文献15和文献12
2. 普通NAR模型的表现比AR模型稍微差一些，因为缺乏了输出标签之间的上下文信息。
3. Paraformer通过使用基于GLM的Sampler模块对普通NAR模型增强，得到了和AR模型相近的识别表现。
4. Paraformer模型在dev和test测试上的CER分别为：4.6%和5.2%，推理速度比AR基线模型快12倍

工业级2wh数据集

结果如上表格所示，进行了多个扩展实验。动态β表示2.2节中的动态阈值，CTC表示带有LM的DFSMN-CTC-sMBR系统，参考文献32。RTF在OpenNMT上进行评估。
实验有两个模型，一个41M的一个63M的。AR基线模型中attention的维度为256，和文献21一致。这里的结论和前面有所不同。

结论

1. 可以看到在大型数据集上，普通NAR模型和AR模型的识别效果差距很大(AISHELL上差别较小)。
2. 普通NAR模型虽然和CTC都有输出标签独立假设限制，但是普通NAR模型效果优于CTC效果。
3. 普通NAR模型结合GLM时，效果提升。
4. 当进一步结合MWER训练方法时，效果进一步提升。
5. Paraformer模型效果和AR模型效果很接近，差别在相对2%以内，但是推理速度提升10倍+。
6. Paraformer结合动态β \betaβ，效果进一步提升。因为相比固定阈值，动态阈值减少了推理和训练的不一致，更准确地提取了声学向量信息。
7. 将模型变大时，得到了和前面相似的结论。Paraformer相比普通NAR模型效果提升；和AR模型效果相当，但是推理速度提升10倍+。
8. Paraformer-63M和AR transformer-41M模型相比较，尽管Paraformer模型较大，但是Paraformer推理速度更快。也就是说，在远场测试集上Paraformer-63M模型相比AR transformer-41M模型，识别效果相对提升6.0%，并且推理速度提升7.4倍。 也就是，在实际生产中，可以通过使用较大的Paraformer模型达到比AR模型更好的识别效果以及更快的推理速度。

对采样因子α的超参数测试结果参见上表格。和预期相同α变大时，模型效果变好，因为在训练时提供了更多的上下文信息；然而如果该参数太大会导致训练和测试不一致。基本上，α 在0.5～1.0之间的表现比较稳定。

1. 在小型训练集上普通NAR和AR模型的识别性能差别不大，但是在工业级大数据集上差距明显。这是第一个在大规模工业级数据上验证NAR模型效果的研究。
2. Paraformer相比普通NAR模型识别效果相对提升11%，和精细训练的AR模型效果相当。

分析：见文章第一张图。普通NAR模型相比AR模型，插入错误多一点，但是删除错误少一点。说明普通NAR模型的predictor预测输出的标签个数较准确。然而替换错误比较多，侧面反应两者性能差距很大。作者认为这是由普通NAR模型的条件独立假设造成的。Paraformer模型相比普通NAR模型替换错误下降很多，也暗示了识别效果提升很多。作者认为这是由于GLM模块使NAR模型学习到了标签之间的依赖关系。Paraformer模型相比AR模型替换错误稍微多一些，也暗示着识别准确率稍微差一些。作者认为AR模型中基于LM的beam search解码扮演了很重要的角色，相比GLM效果更好。为了减少这个性能差距，作者将在未来工作中在Paraformer模型上结合外部语言模型。

个人思考/疑问

1. MWER loss没看懂，需要看文献20.
2. Char 的 Embedding使用的torch.nn.Embedding，直接学习嘛？还是预设值好的。
3. 端到端语音识别中的Embedding，例如wenet框架的token 的 Embedding能不能使用NLP领域用文字训练得到的Embedding，如果能的话为啥主流的不是这种的，这个Embedding不比直接学习更好嘛？
4. wenet的重打分架构，decoder能不能直接根据CTC N-best结果得到矫正的识别结果，相当于做矫正/纠错？
5. Paraformer能不能直接结合在当前的wenet框架中，使用conformer那套encoder，而不是SAN-M。从文章结论看，可以使用更大的模型训练Paraformer，效果比之前的模型效果好，且推理速度快，是一个可以实践的方向。
6. Paraformer结构能不能和wenet重打分那套结合？Pafaformer的输出替代CTC的那一支，然后再加上decoder部分的重打分。这样相当于有了两个decoder。按道理就是训练会慢，但是推理应该还好吧？可能可行。——》Paraformer输出只有一个结果，重打分啥啊。。这个做不了。但是decoder可以作为纠错模型对结果进行纠错。
7. 作者提出的在外面再结合一个语言模型应该是可行的。

[18] L. Dong and B. Xu, “CIF: Continuous integrate-and-fire for end-to-end speech recognition,” in ICASSP 2020-2020 IEEE Interna-tional Conference on Acoustics, Speech and Signal Processing(ICASSP). IEEE, 2020, pp. 6079–6083.
[19] L. Qian, H. Zhou, Y. Bao, M. Wang, L. Qiu, W. Zhang, Y. Yu,and L. Li, “Glancing transformer for non-autoregressive neural machine translation,” arXiv preprint arXiv:2008.07905, 2020.
[20] R. Prabhavalkar, T. N. Sainath, Y. Wu, P. Nguyen, Z. Chen, C.-C. Chiu, and A. Kannan, “Minimum word error rate training for attention-based sequence-to-sequence models,” in 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2018, pp. 4839–4843