月度归档： 2025年9月

FunAudio-ASR 语音识别大模型-解决幻觉/语种混淆，支持热词

技术报告：https://github.com/FunAudioLLM/FunAudioLLM.github.io/blob/master/pdf/FunAudio-ASR.pdf

魔搭社区体验：https://modelscope.cn/studios/iic/FunAudio-ASR

个人一些看法：1、关于语种混淆问题，目前的语音识别大模型确实存在较为严重的语种混淆，一般可以通过指定语种缓解该问题。 FunAudioLLM 提出的将CTC 的第一遍解码结果作为 Prompt 输入给 LLM，可以有效缓解该问题，这个后面可以尝试下，但个人感觉CTC能力可能不会很强，技术报告中说的CTC本身发生串语种的概率极低，这个个人表示存疑。另外关于语种混淆，感觉跟LLM本身翻译能力可能无关，应该是部分语种某些发音以及说话人发音不规范导致语种识别错误。2、对于“幻觉”问题，可以通过加入纯噪声/纯背景声进行训练。3、热词这块结合RAG，确实是个好的办法，毕竟直接注入上千的热词势必会对模型的识别产生不可控的影响，通过检索增强生成，只将少量相关性高的热词进行注入，可以避免无关信息干扰，但关键是如何利用ctc的粗解码结果检索出相关的热词，做到不漏检。4、ASR性能提升的核心还是数据，论文中无论是优化抗噪能力/幻觉问题/热词能力/混合中英语言等，基本上都依靠设计生成对应的高质量的数据！！！5、关于语音编码器的训练范式和数据量：自监督+监督学习，上千万小时的训练数据。

阿里巴巴通义实验室推出了FunAudio-ASR端到端语音识别大模型。这款模型通过创新的Context模块，针对性优化了“幻觉”、“串语种”等关键问题，在高噪声的场景下，幻觉率从78.5%下降至10.7%，下降幅度接近70%。FunAudio-ASR使用了数千万小时的音频数据，融合了大语言模型的语义理解能力，从而提升语音识别的上下文一致性与跨语言切换能力。

Abstract

FunAudio-ASR，一个结合大规模数据、超大模型、LLM整合和强化学习的先进ASR系统。该系统不仅在复杂语音场景中实现了最先进的识别性能，还通过针对实际部署的优化增强了流式处理、噪声鲁棒性、混合语言【中英】、和热词自定义能力，验证了其在真实应用环境中的高效性和可靠性。

Introduction

数据规模扩展、模型规模扩展以及与大型语言模型（LLM） 共同推动ASR系统的能力提升:

  • 数据规模扩展被证明是ASR提升的基础驱动力；
  • 模型规模扩展，尤其是模型参数数量的增加，进一步放大了数据规模扩展的优势；
  • 与LLM的深度整合代表了ASR方法论的一次范式转变，不再将ASR视为独立任务，而是利用LLM丰富的语言知识和上下文理解能力来增强语音识别，例如，Seed-ASR和FireRedASR展示了引入LLM可以显著提升ASR性能，尤其在解决语义歧义和生成更连贯、上下文更合理的转录结果方面表现突出。这些模型有效地弥合了语音理解与文本理解之间的鸿沟。

FunAudio-ASR ，这是一个基于 LLM 的大规模 ASR 系统，可在大规模数据上进行训练。FunAudio-ASR 具有以下关键特性：

  • 规模化与创新性LLM整合。
  • 最先进的语音识别准确率。通过在数据规模、模型规模以及与LLM的创新架构整合方面的协同进展，FunAudio-ASR在多语言和多声学领域实现了前所未有的识别准确率，确立了ASR系统的新一代最先进水平。
  • 面向实际生产的优化。经过精心设计，以满足真实部署场景的复杂需求：
  1. 高效流式ASR架构：FunAudio-ASR采用高度高效的流式识别架构，支持低延迟实时处理，可无缝集成到视频会议、实时字幕和语音控制设备等应用中。
  2. 噪声鲁棒性增强：通过多阶段方法，显著提升系统在嘈杂环境下的识别能力。
  3. 先进的混合语言处理能力：能够在同一句话中无缝处理中英文切换，这对于全球商业环境中的多语言用户至关重要。
  4. 可定制的热词识别：允许用户定义特定领域的术语或短语，以提高识别准确率。该功能在医疗、企业及汽车技术等专业领域尤为有价值。

Model Architecture

FunAudio-ASR由四个关键组件组成：

  1. 音频编码器（Audio Encoder）：用于从输入语音中提取特征表示，采用多层Transformer编码器实现。
  2. 音频适配器（Audio Adaptor）：用于将音频编码器的输出与LLM连接，采用两层Transformer编码器实现。
  3. CTC解码器（CTC Decoder）：基于音频编码器构建，用于生成初步识别参考，该参考将用于热词自定义。
  4. 基于LLM的解码器（LLM-based Decoder）：在音频条件和CTC预测的基础上生成最终输出。

提出了两种不同规模的模型：FunAudio-ASR [0.7B参数的编码器 和 7B参数的LLM解码器]和 FunAudio-ASR-nano[0.2B参数的编码器 和 0.6B参数的LLM解码器],用以满足不同的计算资源约束和推理效率需求

Data【核心】

Pre-taining Data

预训练数据集包括约数千万小时的音频数据，涵盖无标注音频和带标注的音频-文本数据。无标注音频覆盖了人工智能、生物技术、电子商务、教育、娱乐、金融、交通等领域的广泛真实场景。对于带标注的数据，采用了完整的数据处理流程，包括：

  1. 语音活动检测（VAD），识别语音片段；
  2. 多系统伪标签生成，利用多种ASR系统（如 Paraformer-V2、Whisper 和 SenseVoice生成伪标签；
  3. 逆文本正则化（ITN），将文本恢复为标准化格式。

带标注数据的主要语言为中文和英文。

Supervised Fine-tuning Data

有监督微调（SFT）数据规模约为数百万小时，具体包括以下几类：

  1. 人工转写数据：由人工标注的高质量语音转写。
  2. 伪标签数据：由ASR系统自动生成的标注数据。
  3. 环境噪声数据：覆盖各种真实噪声场景。
  4. CosyVoice3生成的TTS数据：由TTS合成的补充语音数据。
  5. 流式模拟数据：用于优化实时流式识别能力。
  6. 噪声增强数据：通过数据增强方法引入不同类型的噪声。
  7. 热词定制数据：支持特定领域和应用场景的热词识别。

Training

Pre-training of Audio Encoder

为了开发一个强大而有效的音频编码器，以便集成到基于 LLM 的 ASR (LLM-ASR) 系统中，采用了自监督+监督学习结合的方法，如上图所示，通过利用自监督学习和监督学习范式来生成高质量的语音表示，并使其能够与 LLM 中的语言知识有效匹配。

Stage 1: 基于Best-RQ的自监督学习训练encoder

Best-RQ是一种先进的语音表示学习方法，它通过对语音单元进行掩码和重建，并利用量化模块将连续表示离散化，从而在不依赖标注数据的情况下学习通用语音表示，使其能够大规模扩展到海量无标注音频数据。

创新点在于 初始化策略：发现预训练文本LLM的层可有效用于ASR系统编码器的初始化。使用 Qwen3模型的部分层参数来初始化Best-RQ编码器。该跨模态初始化策略的假设是：LLM中蕴含的深层语言与语义知识能够为语音表示学习提供有益的归纳偏置。实验表明，与随机初始化相比，采用预训练文本LLM进行初始化可以显著加快训练收敛速度，并提升所学习语音表示的质量。

补充关于语音encoder的训练：

SeedASR也使用自监督学习进行预训练，特点是contrastive-loss[对比损失]和 codebook-diversity-loss去训练模型的speech representation和codebook。

Seed-ASR endoer training

Best-RQ的自监督学习方法：为了使用类似BERT的方式自监督训练语音识别，需要把语音连续的语音信号搞成类似文本text这样的离散的token，常用的手段是通过学习语音表征的方法，BEST-RQ使用一个离散的随机量化器来近似的表示连续的语音信号。这个随机的量化器训练阶段是固定不变的，这样就不用再像wav2vec 2.0中使用contrastive-loss[对比损失]和 codebook-diversity-loss去训练模型的speech representation和codebook。

主要特点在于：不在使用contrastive loss去学习音频表征(无contrastive-loss)，极大简化了SSL训练的过程，并且因为量化器是随机初始化并固定的，因此codebook和训练的encoder模型解耦了。

BEST-RQ 训练范式

Stage 2: 基于encoder-decoder (AED) 进行 Supervised pre-training 

参考SenseVoice-Large的训练方法，编码器在大规模标注的 ASR 数据集上进行端到端训练，使用标准的序列到序列学习目标。目标是获得一个从转录语音数据中学习到丰富的声学和语言特征的编码器，训练好的该编码器将用于初始化下游 LLM-ASR 系统中的音频编码器。

通过上述预训练阶段，减少了从头开始进行大量低级特征学习的需要，从而加速了训练收敛。

Supervised Fine-tuning

监督微调（SFT）包括四个连续的阶段：

阶段 1：保持预训练的音频编码器和 LLM 参数冻结，仅训练适配器模块，使音频编码器的输出表征能够与 LLM 的语义空间对齐。本阶段的训练数据约为 20 万小时。

阶段 2：依然冻结 LLM 参数，同时训练音频编码器和适配器模块，以学习更好的语义表征。本阶段使用约 1000 万小时的低成本 ASR 训练数据，并训练 1 个 epoch。

阶段 3：冻结音频编码器和适配器模块，仅使用 LoRA（低秩适配） 来更新 LLM 参数。LoRA 微调的目的是在保持模型文本生成能力的同时，缓解对预训练知识的灾难性遗忘。本阶段使用 2 万小时的 ASR 数据。

阶段 4：对音频编码器和适配器进行全参数微调，同时对 LLM 采用 LoRA 进行微调。在此阶段，仅使用 高质量数据（约 300 万小时语音）。这些转录数据由 Whisper-Large-V3、FireRed-ASR 和 SenseVoice 三个不同的 ASR 模型进行评估。

阶段 5：如图 2 所示，我们在音频编码器之上添加了一个 CTC 解码器。在该训练阶段，音频编码器保持冻结，仅训练 CTC 解码器。该 CTC 解码器通过 贪心搜索（greedy search）生成初始识别假设。随后，这个一次性解码结果被用于 检索增强生成（RAG），以获取上下文信息。

此外，通义实验室发现，给语音大模提供必要的上下文，可以减少文本生产时候的幻觉现象。为此，设计了 Context 增强模块：该模块通过 CTC 解码器快速生成第一遍解码文本，并将该结果作为上下文信息输入 LLM，辅助其理解音频内容。由于 CTC 结构轻量且为非自回归模型，几乎不增加额外推理耗时。此外，观察到幻觉问题在高噪声场景中更易发生，因此在训练数据中加入了大量仿真数据。我们构建了一个包含 28 条易触发幻觉音频的测试集，经优化后，幻觉率从78.5% 下降至 10.7%。 

 上下文监督微调

作为 内容先验（content prior），上下文信息可以有效帮助模型在 ASR 任务中：

  1. 识别关键文本内容，从易混淆的发音中消除歧义；
  2. 提高长时连续语音识别的准确性，尤其在复杂场景下表现显著。

因此，在完成 SFT 训练后，我们进一步在 具有上下文信息和长时语音 的数据上训练 FunAudio-ASR，以增强其 上下文建模能力。

  • 音频样本的时长可达 5 分钟。
  • 对于较长的样本，我们将其进行切分，并将前一段的转录文本添加到当前音频段的前面，作为提示（prompt）。

由于高质量上下文音频数据严重匮乏，通过以下步骤构建了 超过 5 万小时的带上下文内容的 SFT 数据：

步骤 1：关键词提取。为了生成与当前对话内容相关的上下文信息，我们首先使用 Qwen3-32B从转录文本中提取关键词。关键词通常包括实体、专业术语以及特定时间段等，这些是 ASR 系统容易识别错误或遗漏的词汇。

步骤 2：相关上下文生成。利用 Qwen3-32B 模型生成上下文内容：

  • 给定当前对话内容和提取出的关键词，提示 Qwen3-32B 合成多个、多样化的上下文内容，这些内容应与口语对话特征相符。
  • 对合成的上下文内容，通过 关键词匹配 筛选，剔除未包含指定关键词的片段。
  • 如果在第一步中未提取到任何关键词，则仅根据当前对话内容提示 LLM 合成上下文。

步骤 3：无关上下文混合。为了防止模型对上下文过度依赖，从数据集中为每条对话随机抽取 五条无关上下文片段，并与生成的相关上下文混合，形成最终的上下文 SFT 训练数据。

Reinforcement Learning

设计了 FunRL，一个专为 大规模音频-语言模型（LALMs） 定制的高效强化学习（RL）框架。与文本 LLM 不同，作为 LALM 的 FunAudio-ASR 包含一个音频编码器，用于将语音转换为嵌入向量，而现有的 RL 框架或 Trl原生并不支持这一组件。

如图 4(a) 所示，FunRL 使用 Ray 协调音频编码器、rollout 和策略模块，使它们能够交替使用 GPU 资源：

  1. 音频编码器推理阶段
    • 将所有输入音频批量处理，通过基于 Torch 的编码器提取音频嵌入。
    • 提取的嵌入从 GPU 转移到 CPU。
  2. SGLang LLM Rollout
    • GPU 控制权转交给 SGLang Rollout 模块，根据音频嵌入和指令文本 token 生成多个假设序列。
    • 每个假设根据预定义规则分配奖励（奖励规则将在后文详细说明）。
  3. FSDP LLM 策略优化
    • 利用音频嵌入和生成的假设序列计算输出概率，并通过 RL 进行策略优化。
    • 每次更新后，将优化后的策略同步回 Rollout 模块，保证 RL 过程保持 on-policy。

我们在 8 块 A100 GPU 上评估了 FunRL 的训练效率（如图 4(b)）：

  • 对大约 1 小时输入音频，每个训练步骤约需 54.6 秒，对应实时因子（RTF）约为 0.015。
  • 如图 4(b) 所示，SGLang Rollout 阶段占据了大部分计算时间，而设备切换开销仅占总时间的不到 6%。

这表明 FunRL 的交替 GPU 利用策略非常高效，使其成为 大规模音频-语言模型 RL 训练的可扩展且有效的解决方案。

GRPO-based RL for ASR

基于 FunRL 框架，对 FunAudio-ASR 的 GRPO（Generalized Reinforced Policy Optimization） 强化学习算法进行了增强。

策略优化采用 裁剪目标（clipped objective） 并直接施加 KL 惩罚项（KL penalty term）。

我们观察到，当 WER（词错误率） 被用作值函数时，GRPO 与 最小词错误率（MWER, Minimum Word Error Rate） 方法非常相似，MWER 是 ASR 社区广泛采用的优化标准。在本文中，我们进一步设计了一组新的值函数 {Rk(yi∗,yi)}k=1K，以同时提升 ASR 性能和用户体验：

  1. ASR 准确率（R1i​）
    • 为直接优化识别质量，我们以 1−WER(y∗,y) 作为基础值函数，其取值范围为 [0,1]。
  2. 关键词准确率与召回率（R2i）
    • 由于关键词对用户体验影响显著，我们将 关键词召回率 作为奖励组件。每条语音的关键词可通过人工标注或 LLM 自动识别获得。
    • 仅使用召回率可能会增加插入错误，因此我们同时加入 关键词准确率，以平衡精度与召回。
  3. 噪声鲁棒性与幻觉抑制（R3i）
    • 在 LLM ASR 系统中，幻觉（hallucination）是常见问题，尤其在嘈杂环境下。
    • 为缓解这一问题，通过正则表达式匹配检测幻觉内容，并按幻觉片段长度施加惩罚。
  4. 语言一致性（R4i​）
    • 某些情况下，模型可能错误生成语音翻译而非转录。
    • 为保证语言一致性，如果输出语言与源语言不匹配，则最终奖励设为 −1。

除 R4i外，所有函数结果会求和得到最终的 Ri​。虽然 R2i​ 到 R4i的效果在一定程度上可由 ASR 准确率反映，但实验结果表明，加入这些规则能显著改善用户体验，并在困难样本上降低 WER。

构建 RL 训练数据

针对应用场景中的实际问题，我们采用以下方法构建一个小但高质量的 RL 训练数据。

困难样本（Hardcase Samples）

  • 收集大量未标注语音，并使用 FunAudio-ASR（上下文 SFT 后） 以及其他三个独立 ASR 系统（Whisper、FireRed-ASR、SenseVoice）进行转录。
  • 当三个外部系统输出一致（WER < 5%），但与 FunAudio-ASR 差异显著（WER > 10%）时，将该样本识别为 困难样本，并纳入 RL 训练集。

长时语音样本（Long-duration Samples）

  • 选择时长超过 20 秒 的音频片段，以提升模型对长语音输入的识别能力。
  • 现实应用中长语音常见，但训练数据中比例不足（<10%）。

幻觉相关样本（Hallucination-related Samples）

  • 特别包括基础模型出现幻觉的语料，例如输出明显长于真实文本或出现重复片段。
  • 同时加入参考转录中存在长重复词或短语的语句，这类样本与幻觉类似，但是真实存在，用于帮助模型区分 真实模式 与 虚假模式。

关键词与热词样本（Keyword and Hotword Samples）

  • 对于没有预设热词的语句，使用 Qwen-2.5 7B 识别显著关键词。
  • 热词特定训练中，将参考转录中的热词作为目标关键词。

常规 ASR 数据（Regular ASR Data）

  • 包含部分标准 ASR 数据，以缓解 灾难性遗忘，并在 RL 训练中保持通用识别性能。

面向生产的优化

Streaming Ability

为了增强大规模音频语言模型 FunAudio-ASR 的 流式识别能力，我们构建了 流式训练数据，显式模拟流式解码过程，从而减少训练与推理之间的不匹配。

具体方法如下：

  1. 从离线训练语料中抽取一个子集。
  2. 将训练语料转化为 增量分块输入（incremental, chunked inputs），每个块仅暴露过去的上下文信息。
  3. 将这种模拟流式训练数据与原离线训练数据结合进行微调，从而提升模型在流式解码场景下的性能。

Noise Robust Training

鉴于现实部署场景的多样性，FunAudio-ASR 必须在 复杂声学环境（如餐厅、火车站、商场等）下保持可靠性能，且不出现显著性能下降。然而，要构建一个能完整覆盖真实噪声环境复杂性和多样性的语料库几乎不可能。

为应对这一挑战，我们采用了 大规模噪声数据增强策略：

  1. 从内部语料库中选择约 11 万小时低噪语音 和 1 万小时噪声样本。
  2. 将它们组合生成约 11 万小时离线模拟噪声语音，平均信噪比（SNR）为 10 dB，标准差为 5 dB。
  3. 为进一步提升数据多样性，随机选择 30% 训练语音 进行 在线数据增强，在训练过程中混入环境噪声。

通过这种综合性的噪声鲁棒性训练策略，在复杂噪声评估集上平均实现了约 13% 的相对性能提升。

多语言 ASR

不同语言的训练数据可用性差异显著。资源丰富的语言，如 中文（普通话） 和 英语，数据充足；而 越南语 和 泰语 等语言的数据相对有限。

FunAudio-ASR 的主模型为中文-英语模型。为提升多语种 ASR 性能，我们训练了额外的 多语种 FunAudio-ASR 模型（FunAudio-ASR-ML），支持以下语言：

  • 中文（普通话）
  • 英语
  • 越南语
  • 泰语
  • 印尼语

训练策略如下：

  1. 对中文和英语数据进行 下采样，减少过度占比。
  2. 对越南语、泰语和印尼语数据进行 上采样，平衡数据分布。
  3. 多语种数据集总量约 50 万小时音频。
  4. 训练方法与中文-英语 FunAudio-ASR 模型相同。

混合语音（code-switched）

混合语（code-switched）语音的识别一直是 ASR 的挑战。为优化 中文-英语混合语 的 ASR 性能，我们通过以下步骤合成混合语训练数据：

  1. 收集关键字
    • 收集超过 4 万条英语关键词或短语，覆盖技术、教育、金融、体育等常见领域。
  2. 生成混合语文本
    • 使用 Qwen3模型，根据从上述池中随机选择的关键词，生成中文-英语混合语文本。
  3. 合成语音
    • 利用 文本转语音（TTS）模型，为 LLM 生成的混合语文本合成多种声音的语音数据，从而得到最终的 混合语训练语料。

热词定制

在 FunAudio-ASR 中，我们实现了基于 RAG（Retrieval-Augmented Generation） 的 热词定制机制。具体方法如下：

  1. 构建热词词表
    • 每个预设热词通过预定义词典被转换为 音素序列（中文）或 子词序列（其他语言）。
  2. 热词检索
    • 推理阶段，根据 CTC 假设输出 与热词词表条目的 音素级或子词级编辑距离，检索热词候选。
  3. 生成定制输出
    • 将检索到的热词候选、音频输入和 CTC 预测结果一起作为 LLM 的输入（如图 2 所示），生成热词定制的最终输出。

定制化识别通过提高特定词汇（如人名、术语等）的识别优先级，来提升它们的召回率，同时不影响整体准确度。

传统方法直接将用户词表输入大模型，虽然简单，但词量增多时干扰增强，效果下降。为解决这一问题，通义实验室采用RAG（检索增强生成）机制：

  • （1）构建知识库：将用户配置的定制词构建成专属RAG库；
  • （2）动态检索：依据CTC第一遍解码结果，从RAG库中抽取相关词汇；
  • （3）精准注入：仅将相关词汇注入大语言模型的提示词中，避免无关信息干扰。

该方法可在不增加计算负担的前提下，支持上千定制词，并保持高识别效果。

缓解幻觉

尽管通过训练将声学特征对齐到文本特征空间，由于声学特征 Embedding 与真实的文本 Embedding 仍然存在这一定的差距，这会导致LLM在生成文本时发生幻觉的现象。

在 ASR 中，幻觉（hallucination） 指模型生成的文本并未出现在输入音频中。这一问题在 静音段、说话者突然打断 或 噪声环境 下尤为严重，模型可能在没有语音的情况下产生虚假转录。

为缓解幻觉问题，FunAudio-ASR 采用以下策略：

  1. 数据增强阶段引入零填充（zero-padding）
    • 在向音频信号添加噪声前，先在音频中插入零填充，从而生成 纯噪声前缀片段。
  2. 模型学习纯噪声识别
    • 该策略迫使模型学会识别仅含噪声的输入，并将输出与实际音频对齐，从而降低幻觉文本生成的概率。

实验表明，这种方法显著提升了 FunAudio-ASR 在多样声学条件下的 鲁棒性、准确性和稳定性。

此外，通义实验室发现，给语音大模提供必要的上下文，可以减少文本生产时候的幻觉现象。为此，设计了 Context 增强模块：该模块通过 CTC 解码器快速生成第一遍解码文本，并将该结果作为上下文信息输入 LLM，辅助其理解音频内容。

由于 CTC 结构轻量且为非自回归模型，几乎不增加额外推理耗时。此外，观察到幻觉问题在高噪声场景中更易发生，因此在训练数据中加入了大量仿真数据。我们构建了一个包含 28 条易触发幻觉音频的测试集，经优化后，幻觉率从78.5% 下降至 10.7%。 

测试结果：

  • 错误识别结果：你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你我说不尽的春风吹又生
  • ours 大模型识别结果：离离原上草一岁一枯荣
  • FunAudio-ASR识别结果：是我说不尽的中国味。
  • 豆包大模型识别结果：别急别慌。我说不见的。

“串语种”问题

“串语种”是语音大模型落地中的另一类典型问题。具体表现为：输入音频内容为英文，模型输出却为中文文本。这是因为文本 LLM 本身具备翻译能力，在声学特征映射不够精确时，模型可能在推理过程中“自动启动”翻译功能，从而影响语音识别的准确性。

在 FunAudio-ASR 的 Context 增强模块中，CTC 解码器经过高质量数据训练，本身发生串语种的概率极低。通过将 CTC 的第一遍解码结果作为 Prompt 输入给 LLM，可有效引导模型聚焦于语音识别任务，缓解“翻译”行为的发生。

Evaluation

我们在开源 ASR 基准数据集和真实工业评测集上对 FunAudio-ASR 和 FunAudio-ASR-ML 进行了评测。
在开源评测方面，我们使用了 AIShell-1、AIShell-2、Librispeech 、Fleurs、WeNetSpeech、Gigaspeech2 等数据集的相应测试集。然而，这些开源数据集长期公开，存在数据泄漏进入模型训练集的风险。为保证评测的可靠性与无泄漏性，我们额外收集了 2025年6月30日之后 在 YouTube 与 Bilibili 新上传的视频，并进行人工转写，构建了一个独立的测试集。

在噪声鲁棒性评测方面，我们使用了真实环境下采集的音频，覆盖多种场景：食堂、餐厅、会议室、办公室、户外、公园、商店、街道、地铁、超市和步行街。这些数据进一步按声学条件和话题进行分类，以更全面地评估系统在复杂多样场景下的表现。

Overall results

我们首先在开源基准上评测了近期发布的 ASR 系统，结果如表 1 所示。在这些数据集上，所有模型的 WER（词错误率）都非常低，甚至有一些开源模型在 Librispeech 和 AIShell 数据集上的表现超越了商业 API。
然而，如表 2 所示，在真实的工业评测集上，Seed-ASR-API 在多数场景，尤其是噪声环境下，表现出明显优势。这表明 在开源测试集上的表现并不能可靠反映真实世界的 ASR 能力，因此需要定期更新评测集以避免数据泄漏。

相比开源模型与商业 API，我们的 FunAudio-ASR 在开源基准（表 1）和工业数据集（表 2）上均取得了 SOTA（最优）性能。
由于所有训练数据都在 2025年6月30日之前 收集，确保了评测过程中 无数据泄漏，使得结果可信且可复现。值得注意的是，FunAudio-ASR-nano（仅 0.8B）也超越了开源模型，并且在性能上接近 Seed-ASR。

Streaming ASR Performance

为了评估 FunAudio-ASR 模型的流式识别能力，我们在与离线语音识别相同的测试集上进行了实验，结果如表 3 所示。与 Seed-ASR 相比，我们的 FunAudio-ASR 模型在不同测试集和不同场景下都表现出更优异的性能。

Evaluation on Noise Robustness

表 4 中展示了 噪声鲁棒性评估。结果表明，噪声鲁棒训练（NRT） 对于工业应用至关重要。在餐厅、超市等复杂环境中，NRT 能带来超过 30% 的相对提升，这是因为基于大模型的 ASR 系统在此类声学条件下容易生成幻觉式输出。此外，强化学习（RL） 进一步增强了模型的噪声鲁棒性。

Code-switching Evaluation

用两个测试集 A 和 B 来评估构建的语码转换训练数据的有效性：

热门词汇定制评估

在 热词评测 中，我们选择了一些带有特殊主题的音频，包括 生物、数学、宗教、食品、姓名、天文学、化学、哲学和物理，因为技术术语的识别对大多数 ASR 系统来说仍然是关键但具有挑战性的任务。表 6 的结果表明，FunAudio-ASR 可以从热词定制中显著受益。在大多数主题上，FunAudio-ASR 的 召回率（recall）可以提升到 0.97 以上。在 姓名 主题上，召回率甚至可以从 0.75 提升到 1.0。这表明 热词定制不仅仅是提供上下文信息，而是真正激发并强化了目标关键词的识别。

Multilingual ASR Results

我们还在多个开源测试集和内部行业测试集上评估了我们的多语种 ASR 模型 FunAudio-ASR-ML。表 7 给出了测试结果。由表 7 可见，在 中文和英文的开源测试集及内部行业测试集 上，我们的多语种 ASR 模型 FunAudio-ASR-ML 相较于 Kimi-Audio具有更优或相当的效果。我们还将该模型与其他多语种 ASR 模型进行了比较，例如 Whisper large v3 、dolphin-small和 seamless-m4t large v2 。与这些模型相比，我们的 FunAudio-ASR-ML 同样能够获得 SOTA 性能。

Effect of Reinforcement Learning

表 8 显示，RL 在 FunAudio-ASR 训练中发挥了关键作用，在离线和流式条件下分别带来了约 4.1% 和 9.2% 的相对提升。对于离线 ASR，相较于干净或开源数据，在嘈杂和复杂环境下的音频上性能提升更为显著。值得注意的是，在流式 ASR 设置中，改进幅度更大。RL 有助于抑制插入和删除错误，这些错误往往源于模型在完整发音尚未结束前的过早终止或预测。

如表 6 所示，RL 还能 有效增强热词集成，在大多数测试集上都提升了准确率和召回率。在某些领域（如哲学和宗教），RL 模型的准确率或召回率可能略低于基线模型；然而，整体 WER 仍然降低。这是因为在 RL 训练过程中，关键词的选择基于实际转录而非输入提示，从而使 FunAudio-ASR 能够更好地识别领域特定术语——即便这些专业词汇未被显式包含在热词列表中。

Limitations and Future Plans

尽管我们的 FunAudio-ASR 模型在多项评估中都取得了优异的成绩，但仍存在一些局限性。首先，它主要针对中文和英文进行优化，尤其是在流媒体性能和启动词自定义方面，因此对其他语言的支持仍然有限。其次，有效上下文窗口受限；如果没有外部语音活动检测 (VAD) 模块，系统难以稳健地处理长时间录音。第三，当前版本不支持远场或多声道音频。我们计划在未来的工作中解决这些局限性。

Qwen3-ASR：语音识别大模型

Qwen3-ASR-Flash实现了⾼精度⾼鲁棒性的语⾳识别性能，⽀持11种语⾔和多种⼝⾳。与众不同的是，Qwen3-ASR-Flash⽀持⽤户以任意格式提供⽂本上下⽂，从⽽获得定制化的 ASR 结果，同时还⽀持歌声识别。

Qwen3-ASR-Flash 单模型支持多种语言、方言和口音的精准转录：

  • 中文：包括普通话以及四川话、闽南语、吴语、粤语等主要方言。
  • 英语：支持英式、美式及多种其他地区口音。
  • 其他支持语言：法语、德语、俄语、意大利语、西班牙语、葡萄牙语、日语、韩语和阿拉伯语。

为获得定制化的ASR结果，用户可提供任意格式的背景文本来获得倾向性ASR结果，Qwen3-ASR-Flash无需对上下文信息进行格式预处理。

支持的格式包括但不限于：

  • 简单的关键词或热词列表。
  • 任意长度和来源的完整段落或整篇文档。
  • 以任意格式混合的关键词列表与全文段落。
  • 无关甚至无意义的文本(模型对无关上下文的负面影响具有高度鲁棒性)。

 性能表现：

核心特性：

  • 领先的识别准确率：Qwen3-ASR-Flash在多个中英文，多语种benchmark测试中表现最优。
  • 惊艳的歌声识别能力：支持歌唱识别，包括清唱与带bgm的整歌识别，实测错误率低于8%。
  • 定制化识别：用户可以以任意格式（如词汇表、段落或完整文档）提供背景文本，模型能智能利用该上下文识别并匹配命名实体和其他关键术语，输出定制化的识别结果。
  • 语种识别与非人声拒识：模型能精确分辨语音的语种，自动过滤非语音片段，包括静音和背景噪声。
  • 鲁棒性：面对长难句、句中语言切换和重复词语等困难文本模式，以及在复杂的声学环境中，模型仍能保持高准确率。

WenetSpeech-Yue:大规模粤语语音语料库

论文题目：WenetSpeech-Yue: A Large-scale Cantonese Speech Corpus with Multi-dimensional Annotation

  • 论文预印版：https://arxiv.org/abs/2509.03959
  • 仓库地址：https://github.com/ASLP-lab/WenetSpeech-Yue
  • Demo展示：https://aslp-lab.github.io/WenetSpeech-Yue/
  • WenetSpeech-Yue数据集地址：https://huggingface.co/datasets/ASLP-lab/WenetSpeech-Yue
  • WSYue-ASR-eval: https://huggingface.co/datasets/ASLP-lab/WSYue-ASR-eval
  • WSYue-TTS-eval: https://huggingface.co/datasets/ASLP-lab/WSYue-TTS-eval
  • ASR模型地址：https://huggingface.co/ASLP-lab/WSYue-ASR
  • TTS模型地址：https://huggingface.co/ASLP-lab/WSYue-TTS

背景动机

语音理解与生成的飞速发展离不开大规模高质量语音数据集的推动。其中，语音识别（ASR）和语音合成（TTS）被公认为最首要的任务。但对于拥有约 8490 万母语使用者的粤语而言，受限于标注资源匮乏，研究进展缓慢，ASR 与 TTS 的表现始终不尽如人意。现有公开的粤语语料库在规模、风格和标注维度上普遍存在不足。例如 Common Voice 和 MDCC 等项目过度依赖人工标注，仅能提供小规模数据；评测集大多局限于短句，缺乏对复杂语言现象的覆盖。同时，这些语料往往只提供语音-文本对齐信息，缺乏说话人属性或声学质量等元数据，极大限制了其在自监督学习、风格建模和多任务训练中的应用，导致主流 ASR 与 TTS 系统在粤语任务上表现欠佳，并在真实场景中泛化能力不足。

为解决上述问题，西北工业大学音频语音与语言处理研究组（ASLP@NPU）联合中国电信人工智能研究院、希尔贝壳、香港科技大学和Wenet开源社区，提出了 WenetSpeech-Pipe ——一个面向语音理解与生成、支持多维度标注的大规模语音语料构建一体化流程。该流程包含六个模块：音频采集、说话人属性标注、语音质量标注、自动语音识别、文本后处理与识别结果投票，能够生成丰富且高质量的标注。基于该流程，构建并发布了 WenetSpeech-Yue ——首个大规模粤语多维标注语音语料库，涵盖 21800 小时、10 大领域的粤语语音数据，并包含 ASR 转录、文本置信度、说话人身份、年龄、性别、语音质量评分等多种标注信息。同时，我们还发布了 WSYue-eval，这是一个全面的粤语评测基准，包含两个部分：WSYue-ASR-eval（人工标注集，用于评测短句/长句、粤英转换及多样声学条件下的 ASR 性能），以及 WSYue-TTS-eval（基础与覆盖子集，用于标准测试与泛化能力测试）。实验结果表明，基于 WenetSpeech-Yue 训练的模型在粤语 ASR 与 TTS 任务中表现优异，性能超越最先进（SOTA）的系统，并与商业系统相媲美，凸显了该数据集与流程的重要价值。

WenetSpeech-Pipe

 WenetSpeech-Pipe 框架如图 所示，由六个模块组成：(A) 音频采集，(B) 说话人属性标注，(C) 语音质量标注，(D) 自动语音识别，(E) 文本后处理，以及 (F) 识别结果投票。

音频采集： WenetSpeech-Pipe 首先从多个领域（如故事、影视、评论、Vlog、美食、娱乐、新闻和教育）大规模采集真实语音数据。由于原始录音多为几十分钟至数小时的长音频，不适合直接用于模型训练或对齐，因此系统通过语音活动检测（VAD）自动切分为短音频片段，从而生成可用于转写和质量评估的语句级数据，为后续处理奠定基础。

说话人属性标注：为了丰富数据集，使其具备多说话人建模和风格感知合成所需的说话人级别元数据，WenetSpeech-Pipe 引入了 说话人属性标注阶段。首先，利用 pyannote 工具包 进行说话人分离，为同一录音中的短片段分配局部说话人标签，实现录音内的说话人区分。
其次，利用 Vox-Profile对每个片段的说话人进行年龄和性别估计，从而生成说话人属性注释。该流程最终得到带有说话人身份、年龄和性别信息的语句级片段，形成多维度的元数据，有助于监督建模和可控风格的语音建模

语音质量标注：WenetSpeech-Pipe 在语音质量评估阶段结合三种方法：Brouhaha 计算信噪比、DNSMOS 预测主观质量分、带宽检测分析频谱特性，从而为每个片段生成包含 SNR、MOS 与频谱参考的结构化质量标注，支撑高保真语音建模。

ps：关于 Brouhaha: multi-task training for voice activity detection, speech-to-noise ratio, and C50 room acoustics estimation：
代码：https://github.com/marianne-m/brouhaha-vad
给定一个音频片段，Brouhaha 可以提取：语音/非语音片段，语音噪声比 (SNR)，C50，测量环境混响程度。

DNSMOS：基于多阶段自我学习（multi-stage self-teaching） 的无参考感知客观指标：DNSMOS，用来评估噪声抑制模型的语音质量。基于 CNN；输入为语音频谱；训练以人类主观评分为目标，采用自我学习提升性能.

自动语音识别：单一 ASR 系统通常会因架构限制、训练数据不足或领域不匹配而表现出系统性偏差和错误模式。为了缓解这些问题并提升转写可靠性，WenetSpeech-Pipe 采用 多系统集成识别 方法，结合不同的识别范式。具体来说，每个音频片段会被 独立输入到三个高性能粤语 ASR 系统：开源模型 SenseVoice、Whisper，以及商用系统 TeleASR。这些系统在架构、训练数据和优化目标上各不相同，因此能够形成互补的错误分布和多样的语言假设。最终输出为每条语句的三份并行转写，作为后续融合与优化的基础输入。

文本后处理：WenetSpeech-Pipe 通过文本后处理统一多系统转写结果：使用 OpenCC 繁转简，去除符号与标签，规范数字和日期格式，并在中英文间加空格。这样生成的规范化转写确保 ROVER 融合时不会受表层差异干扰。

  • 使用 OpenCC 将繁体字统一转换为简体字；
  • 去除所有标点和特殊符号；
  • 基于规则重写统一数字与日期表达；
  • 在粤语与英语单词之间插入空格，便于双语建模。

经过上述步骤，系统获得了跨三套 ASR 的标准化转写，作为 ROVER 模块的鲁棒输入，避免表层差异干扰语音与词汇层面对齐。

为了确保不同 ASR 系统之间的转写格式一致，我们提出了一个集成的文本后处理框架，包含四个关键操作：

  1. 标点去除：通过正则表达式匹配，删除符号类字符；
  2. 繁转简：利用 OpenCC 库实现繁体到简体的转换；
  3. 文本规范化：使用 an2cn 工具进行数字的标准化转换；
  4. 合理分词：借助 Pangu 工具实现恰当的词间空格。

这四个步骤共同作用，能够在不同 ASR 系统输出存在差异的情况下，保证生成标准化的文本格式。

识别结果投票：虽然文本后处理统一了转写表层形式，但在词汇选择、分词和音素表示上仍存在差异。为了得到统一且高精度的参考转写，WenetSpeech-Pipe 采用了 ROVER (Recognizer Output Voting Error Reduction) 框架 ，通过多系统投票提升转写精度。

在实现上，标准 ROVER 流水线被扩展以更好地适应粤语：

  • 使用动态规划对三套系统的转写结果进行对齐；
  • 引入候选过滤模块，计算某系统输出与其余两套平均转写的编辑距离，若超过阈值则剔除该系统结果；
  • 在每个对齐位置，选择最常出现的词，并将整体投票频率作为语句级置信度；
  • 并行引入 基于拼音的投票，结合字符级投票，保证音素一致性。

为进一步提高转写准确率，系统引入 大语言模型 Qwen3-4B，在共识输出的基础上进行最小化的上下文感知修正，仅在语法、用词或命名实体方面做必要调整，保持口语内容的完整性。

字级别时间戳对齐：最后，使用预训练声学模型在字符级别上强制对齐修正后的转写与原始音频，从而获得精确的逐字符时间戳，支持更精细的语音处理和下游任务。

Meta Data Example:

将所有音频的元数据以标准化的 JSON 格式进行存储。核心字段包括：

  • utt_id（每个音频片段的唯一标识符）、
  • rover_result（来自三个 ASR 转写结果的 ROVER 融合结果）、
  • confidence（文本转写的置信度分数）、
  • jyutping_confidence（粤语拼音转写的置信度分数）、
  • duration（音频时长）。

说话人属性（Speaker attributes）包含参数：speaker_id、性别（gender）和年龄（age）。音频质量评估指标包括专业测量项：采样率（sample_rate）、DNSMOS 和 SNR。时间戳信息（timestamp）精确记录了起始时间（start）和结束时间（end）。此外，在 meta_info 字段下还扩展了更多元数据，包括：program（节目名称）、region（地理信息）、link（原始内容链接）、以及 domain（领域分类）。

WenetSpeech-Yue

数据集分布

元数据：所有元数据存储在单一 JSON 文件中，字段包括音频路径、时长、文本置信度、说话人身份、信噪比（SNR）、DNSMOS 分数、年龄、性别以及字符级时间戳。这些字段具有可扩展性，未来可进一步加入新的标签。

领域分布：WenetSpeech-Yue 的语料来源大致涵盖十个领域：故事、娱乐、戏剧、文化、Vlog、评论、教育、播客、新闻及其他，具体分布如图2所示。

时长分布：整个语料库共包含 21,800 小时音频，既包括长录音也包括短片段，切分后平均时长为 11.40 秒。

置信度：我们仅保留文本置信度高于 0.6 的标注，并根据confidence区间划分为三类：强标注（confidence> 0.9，6,771.43 小时）、中等标注（0.8 ~ 0.9，10,615.02 小时）和弱标注（0.6 ~ 0.8，4,488.13 小时）。

语音质量：我们评估了语料的音质：DNSMOS 分数范围为 2.0–4.4，SNR 范围为 -5–80 dB，采样率分布为 8,000–32,000 Hz。为确保生成式任务的可用性，我们过滤后仅保留 DNSMOS > 2.5 且 SNR > 25 dB 的样本，共得到约 12,000 小时高质量语音，可用于 TTS、声码器或语音转换等任务。

说话人属性：语料库在性别与年龄上分布不均，以男性为主，尤其集中在中年群体（50.6%），而女性在各年龄段中比例相对较低。

WSYue-eval

为应对粤语的语言特性，我们提出 WSYue-eval，一个同时涵盖 ASR 与 TTS 的综合评测基准，用于全面检验模型在粤语处理上的表现。

ASR 评测集（WSYue-ASR-eval）：该测试集经过多轮人工标注，包含转写、情感、年龄、性别等信息，并划分为 短语音（0–10 秒，9.46 小时，2861 位说话人）和 长语音（10–30 秒，1.97 小时，838 位说话人）两个子集，覆盖粤英转换及多领域场景。

TTS 评测集（WSYue-TTS-eval）：该基准专为零样本粤语 TTS 设计，包含两个子集：

  • Base：1000 条来自 CommonVoice 的提示-文本对，用于测试日常场景；
  • Coverage：由于 CommonVoice 主要包含日常对话数据，其对不同领域和语言现象的覆盖范围有限。为了解决这个问题， Coverage 子集由人工与 LLM 生成文本组成，覆盖日常、新闻、娱乐、诗歌等多领域，并包含多音字、变调、语码转换、专名、数字等复杂语言现象。

模型训练策略：

模型均采用两阶段训练策略：初始阶段使用混合的中高置信度标签实现快速收敛，之后在高置信度标签上进行微调，以最大限度地提高转录准确率。这种设置既降低了训练成本，又直接反映了数据集的质量影响。

分2阶段ASR任务训练效果

阶段 1 在混合置信度数据集上训练，已经能够取得非常具有竞争力的粤语 ASR 性能，而阶段 2 在高置信度数据上进行微调，则在 WSYue-ASR-eval 的两个测试集上都带来了显著提升。这些观察结果验证了高置信度标签是性能提升的主要驱动力。我们认为保留置信度信息至关重要，因为它能够支持灵活的训练策略：高置信度子集可用于主导微调，而低置信度片段经过谨慎利用，则可以在半监督或领域自适应场景下提高模型的鲁棒性。

模型效果：

ASR任务：

采用混合错误率（MER）作为评测指标，其中中文按字级、英文按词级计算错误，用于比较基于 WenetSpeech-Yue 训练的模型与各类基线模型的表现。表1的实验结果显示：

  1. 在所有模型规模（small、medium、w/ LLM）下，我们的模型在大多数评测集上表现最佳；
  2. 在小规模模型中，SenseVoice-small-Yue 和 U2pp-Conformer-Yue 均表现优异，其中 SenseVoice-small-Yue 尽管规模较小，却超过了所有基线模型，说明该语料库能显著提升低容量模型的效率；
  3. 在不带 LLM 的组别中，U2pp-Conformer-Yue、Whisper-medium-Yue 和 SenseVoice-small-Yue 均优于大规模基线模型；
  4. 在带 LLM 的组别中，U2pp-Conformer-LLM-Yue 始终达到当前最先进水平。

总体来看，WenetSpeech-Yue 不仅显著提升了整体性能，还能充分释放不同规模模型的潜力，验证了其在传统 ASR 和 LLM 增强型 ASR 中的广泛价值。

TTS任务：

表2的实验结果表明，基于 WenetSpeech-Yue 微调的 Llasa-1B-Yue 和 CosyVoice2-Yue 在客观和主观指标上均显著优于各自的预训练基线：CosyVoice2-Yue 在 MER 和自然度（UTMOSv2）上表现最佳，并取得最高的可懂度（I-MOS），而 Llasa-1B-Yue 则在说话人相似度（S-MOS）和口音自然度（A-MOS）方面领先，体现了更自然的韵律与风格。整体上，两种模型在多维度上均大幅提升了粤语 TTS 的质量，验证了 WenetSpeech-Yue 在推动粤语语音合成方面的有效性。

MOSS-TTSD 中英双语口语对话合成模型

当前的文本到语音（TTS）模型在单句或孤立段落的语音生成效果上取得了令人瞩目的进展，合成语音的自然度、清晰度和表现力都已显著提升，甚至接近真人水平。不过，由于缺乏整体的对话情境，这些 TTS 模型仍然无法合成高质量的对话语音。

MOSS-TTSD 是一个口语对话语音生成模型，实现了中英双语的高表现力对话语音生成，支持零样本多说话人音色克隆，声音事件控制以及长语音生成。与传统 TTS 模型只能生成单句语音不同，MOSS-TTSD 能够根据完整的多人对话文本，直接生成高质量对话语音，并准确捕捉对话中的韵律变化和语调特性，实现超高拟人度的逼真对话语音合成。

亮点：

  • 高表现力对话语音：基于统一语义-声学神经音频Codec、预训练大语言模型、百万小时TTS数据与约40万小时的真实/合成对话语音数据，MOSS-TTSD能够生成高表现力，高自然度，具有自然对话韵律的拟人对话语音。
  • 双说话人零样本声音克隆：MOSS-TTSD支持零样本双说话人克隆，按脚本精确进行角色/声线切换。只需要提供10到20秒的参考音频片段。
  • 中英双语：MOSS-TTSD支持中英两种语言的高表现力语音生成。
  • 长音频生成：得益于低码率Codec与训练框架优化，MOSS-TTSD在长音频生成场景进行了大量训练（训练最大长度达到960s），能够单次生成超长音频。

模型概览：

1 模型结构概览：基于Qwen3-1.7B-base模型进行训练，使用八层RVQ码本进行语音离散化，使用自回归加Delay Pattern进行语音token生成，最后使用Tokenizer的解码器将语音token还原为语音。

MOSS-TTSD 使用完全离散化的方式进行语音生成。我们训练了一个8层 RVQ 的音频 Codec：XY-Tokenizer，来对原始音频进行量化。 XY-Tokenizer 能够同时编码语音的语义和声学信息，并具有较低的比特率（1kbps），这使得LLM能够有效地学习音频序列并建模细节声学特征。 在序列建模方面，受到 MusicGen 和 VOICECRAFT的启发，我们使用自回归建模加多头 Delay 的方式进行语音 token 生成。

语音离散化: XY-Tokenizer：

为了统一建模语音的语义和声学信息，并实现低比特率，我们构建了 XY-Tokenizer，它使用了双路 Whisper Encoder 进行语音编码，8层 RVQ 量化，两阶段多任务学习的方式进行训练。实现了 1kbps 的比特率和 12.5Hz 的帧率[1024码本大小]。

XY-Tokenizer 采用了两阶段多任务学习的方式进行训练。第一阶段（上半部分）训练ASR任务和重建任务，让编码器在编码语义信息的同时保留粗粒度的声学信息。第二阶段（下半部分）我们固定住编码器和量化层部分，只训练解码器部分。通过重建损失和 GAN 损失，利用生成式模型的能力补充细粒度声学信息。

我们扩展了Codec训练的数据量，使用了10万小时带有转录文本的语音数据进行训练。下表对比了在LibriSpeech测试集上不同 Codec 在语义和声学性能上的表现。WER为ASR任务中的词错误率，WER越低表示语音 token 的语义信息与文本对齐程度更好。粗体为低比特率 Codec 组中的最优或次优性能。

XY-Tokenizer 是在1kbps，12.5Hz的帧率下同时建模语义和声学信息性能最好的 Codec ，在语义和声学指标上都取得了最优或次优的结果。

为了更好地编码和重建复杂的对话音频，我们扩展了50万小时无转录音频数据进行增强训练，扩展 Codec 对于复杂音频和场景的处理能力。

得益于Codec的超低比特率，我们模型的训练长度最长达到了960s的音频，这使得我们的模型可以一次性地生成超长的语音，避免了拼接语音片段之间的不自然过渡。

数据工程：

TTS 模型的性能与训练数据的质量和数量有着密切的关系，为了规模化高质量 TTS 数据和 TTSD 数据，我们设计了高效的数据处理流水线，可以从海量原始音频中准确筛选出单人语音和多人对话语音并进行标注。

对于原始音频，我们首先使用内部的说话人分离模型进行语音分段和说话人标注。 基于预训练基模，我们的说话人分离模型性能已经优于开源说话人分离模型 pyannote-speaker-diarization-3.1 及其商用版本 pyannoteAI 。

说话人分离模型在不同数据集上的 DER(Diarization Error Rate) 结果（越低越好），我们的模型在四个测试集上都取得了最优性能

我们使用 DNSMOS 分数来作为语音质量的评估标准，我们假设 DNSMOS 分数高的语音大概率不包含背景噪声。 为了保证语音的质量和较少的噪声，我们只保留 DNSMOS >=2.8的语音片段。 对于高质量的音频片段，我们直接对语音进行转录，作为 TTS 训练数据。 此外，我们设计了一套规则来将 Diarization 分离的语音片段组合成双人对话的片段用作 TTSD 训练，这样得到的对话片段我们称之为粗粒度对话片段。 虽然说话人分离模型能够较准确地分离说话人，但是我们发现它对一些较短的 Backchannel 不是特别敏感，存在漏分离的情况。 此外，当前的 ASR 模型无法准确地转录对话中重叠的语音。 因此，受 Parakeet[4] 的启发，我们训练了中文版的 Whisper-d 模型来对中文数据进行细粒度说话人标注和文本转录。对于英文数据我们直接使用 Parakeet 的开源 Whisper-d。 最终，我们使用说话人分离模型的粗粒度标签和 Whipser-d 模型的细粒度标签来将短对话片段组成长对话片段。

TTS 预训练：

TTS 预训练模型在 Seed-tts-eval 测试集上的词错误率对比（越低越好），加粗的结果代表最优和次优的性能； WER(Norm) 表示我们针对 ASR 的同义结果做了规则修正，减少了 ASR 模型错误导致的误判； CER(Norm) 表示我们将中文文本转为拼音后再计算词错误率，即 PER 指标，我们认为这是更加合理的方式； SparkTTS 和 Cosyvoice2 的结果为我们本地使用官方推理代码重新测试的结果；

我们使用了110万小时的中英文 TTS 数据对模型进行了预训练，大规模的 TTS 预训练可以显著增强 TTSD 模型的语音韵律和表现力，并提升模型泛化能力。 我们使用了 Seed-tts-eval评测了 TTS 预训练模型的性能，取得了和当前顶尖闭源模型 Seed-TTS 相当的性能。 经过 TTS 预训练后的模型已经有了较强的语音生成能力和零样本音色克隆能力。

TTSD 后训练：

最终，我们收集了10万小时中文对话数据和27万小时英文对话数据。 此外，为了增强模型的说话人切换准确率，我们合成了4万小时中文对话数据和4万小时英文对话数据。 为了增强模型对于中文标点符号的感知能力，我们使用 Gemini 对部分数据（约7万小时）中的转录文本进行了修正。

在训练阶段，我们基于 TTS 预训练的检查点，使用 WSD Scheduler 进行训练，我们没有针对 Decay 阶段做特殊的数据规划。 此外，我们发现无法通过验证集挑选表现最好的检查点，因此我们通过人工评估的方式挑选了主观表现最好的检查点。