分类： 人工智能

Xiaomi-MiMo-Audio：小米端到端语音大模型

五年前，GPT-3 首次展示了通过自回归语言模型+大规模无标注数据训练，可获得强大 In-Context Learning（ICL）能力 [模型只靠上下文里的提示和少量示例，就能快速适应新任务，不必重新训练] ，并能通过少样本迁移到新任务，从而使语言开启通用人工智能（AGI）新纪元。然而在语音领域，现有模型仍严重依赖大规模标注数据，难以快速适应新任务达到类人智能。

这一瓶颈如今被打破。小米正式开源首个原生端到端语音模型——Xiaomi-MiMo-Audio，它基于创新预训练架构和上亿小时训练数据，首次在语音领域实现基于 ICL [ In-context Learning ] 的少样本泛化 [通过在 prompt 中放少量示例，利用模型在大规模预训练中学到的“上下文学习”能力，让模型无需再训练就能适应新任务。]，并在预训练观察到明显的“涌现”行为。后训练进一步激发了 Xiaomi-MiMo-Audio 的智商、情商、表现力与安全性在内的跨模态对齐能力，语音对话在自然度、情感表达和交互适配上呈现极高的拟人化水准。

核心：

  1. 如何完整的表征语音，不能损失任何语音声学/语义信息，需要建立一个无损传递语音信息的模型架构。
  2. 大规模数据扩展（scaling up），将训练数据扩展到上亿小时持续扩大预训练数据的规模将带来性能的持续提升，并可能产生意想不到的涌现能力。

Introduction

现有的音频语言模型通常依赖于针对特定任务的微调来完成特定的音频任务。相比之下，人类只需少量示例或简单指令就能将能力推广到新的音频任务上。GPT-3 已经证明，通过扩展下一个 token 预测的预训练可以在文本上实现强大的泛化能力，我们认为这一范式同样适用于音频领域。通过将 MiMo-Audio 的预训练数据规模扩展到超过一亿小时，我们观察到其在多种音频任务上出现了少样本学习能力。我们对这些能力进行了系统评估，发现 MiMo-Audio-7B-Base 在开源模型中，在语音智能和音频理解基准上均实现了SOTA性能。

除了标准指标外，MiMo-Audio-7B-Base 还能泛化到训练数据中未出现的任务，例如语音转换、风格迁移和语音编辑。它还展现了强大的语音延续能力，能够生成高度逼真的脱口秀、朗诵、直播及辩论内容。在后训练阶段，我们整理了多样化的指令调优语料，并在音频理解与生成中引入了思维机制。

最终，MiMo-Audio-7B-Instruct 在音频理解基准（MMSU、MMAU、MMAR、MMAU-Pro）、语音对话基准（Big Bench Audio、MultiChallenge Audio）以及指令式 TTS 评测中达到了开源 SOTA 水平，接近或超越了闭源模型。

语音领域中基于下一个 token 预测（next-token prediction）的预训练有两个关键要素。

1、能够无损传递语音信息的模型架构。为了充分发挥 next-token 预测范式的潜力，我们希望语音信号中的全部信息都能在模型中循环流动。这意味着我们不能采用会导致副语言信息（如情感、语调、说话风格等）丢失的语音表示方式。这一点使我们的方法与当前主流方案Kimi- Audio[基于ASR任务训练的语义编码器+预训练的whisper声学编码器] 和 Step-Audio 2[encoder 基于speech and audio understanding tasks 进行训练]有所不同。

2、第二个关键要素是大规模扩展（scaling up）。持续扩大预训练数据的规模将带来性能的持续提升，并可能产生意想不到的涌现能力。因此，我们将训练数据扩展到超过上亿小时的音频，这一规模比现有最大开源语音模型所使用的数据量大一个数量级。

预训练

预训练的目标是让模型具备语音领域的任务泛化能力——也就是说，模型在训练阶段学习到一系列基础的“原子技能”，并在推理阶段利用这些能力快速适应或识别任何语音任务。我们在预训练方法上的指导原则是：确保语音信号中的所有信息都能被完整保留并在模型架构中无损流动。

  • Tokenizer（分词器）：我们认为，音频分词器最重要的评判标准是其重建保真度（reconstruction fidelity），同时其生成的 token 应该便于下游语言建模使用。基于这一理念，我们提出了 MiMo-Audio-Tokenizer。该模型包含 12 亿参数（1.2B），采用基于 Transformer 的架构，由编码器、离散化层和解码器组成，以 25Hz 的帧率运行，并通过 8 层残差向量量化（RVQ） 每秒生成约 200 个 token。我们在训练中结合了语义与重建双重目标，从零开始在一个 1000 万小时规模的语音语料库上进行训练，获得了优异的重建质量，同时显著提升了下游语言建模的效果。
  • 架构（Architecture）。为了提升对高 token 速率序列（200 token/秒）的建模效率，并缓解语音与文本模态间的长度差异，我们提出了一种创新架构，将 patch 编码器（patch encoder）、大语言模型（LLM） 和 patch 解码器（patch decoder） 相结合。Patch 编码器将连续 4 个时间步的 RVQ token 聚合为一个 patch，从而将序列下采样为 6.25Hz 表示，输入至 LLM。Patch 解码器则以自回归方式（autoregressive）重建完整的 25Hz RVQ token 序列。
ps：OR 表示模型选择性地使用其中一个输入（Audio 或 Text），
或者在不同模式下激活不同输入分支。但一次只走一个分支。
  • 训练。为了实现统一的理解与生成预训练范式，并赋予模型更强的“语音智能”，我们设计了一个两阶段训练策略，并以 MiMo-7B-Base 作为初始化模型：阶段1 专注于语音理解任务，阶段2 将理解与生成统一于一个框架中，进行联合训练
  • 数据。将预训练语料规模扩展至超过 1 亿小时的语音数据，这一规模比现有任何开源语音模型的数据量大一个数量级。这一庞大数据集的获取和处理依托于我们自研的端到端数据管线，涵盖预处理、标注与数据筛选全过程。
  • 评估。构建了一个全面的评测基准（benchmark），用于严格评估模型在语音领域的上下文学习能力。该基准涵盖模态不变的常识知识、听觉理解与推理能力以及多样化的语音到语音生成任务多个维度。

经过大规模预训练后，MiMo-Audio-7B-Base 展现出强大的少样本学习能力。在我们构建的 SpeechMMLU 基准上（该基准源自 MMLU，并将其任务合成为语音形式），MiMo-Audio-7B-Base 在“语音智能（Speech Intelligence）”和跨模态对齐（modality alignment）方面表现出极高的水准。

在语音输入与输出条件下，它取得了接近文本版 MMLU 的卓越成绩，文本任务的性能仅出现极小幅度下降。更重要的是，它在未见过的任务上也具有优异的泛化能力：只需在上下文中提供少量示例，它就能完成包括语音转换、风格迁移、语速控制、去噪以及语音翻译等任务。

MiMo-Audio-7B-Base 还展现出强大的语音延续能力（speech continuation），能够生成高度逼真且语义连贯的独白或多说话人对话，涵盖脱口秀、演讲、辩论、播客以及游戏解说等多种场景。

后训练

后训练（post-training）的核心目标是将模型在预训练阶段获得的泛化能力与指令跟随能力对齐。为此，我们构建了一个高度多样化的音频指令微调语料库，涵盖音频理解与生成任务，并整合了来自多个领域的高质量开源与自建数据。

为了进一步增强模型的跨模态推理能力（cross-modal reasoning），我们还为音频理解和生成任务构建了高质量的“思维链”数据集。

同时，为了获得类人、可控风格的语音对话数据，我们训练了一个基于超过 700 万小时语音数据的 MiMo-TTS-7B 模型，用于将文本对话转换为语音形式。

主要贡献

  • 首次提供了实证证据，证明将基于无损压缩的语音预训练规模扩展至前所未有的 1 亿小时，能够激发出任务泛化的涌现能力，具体体现为强大的少样本学习能力（few-shot learning）。我们认为，这标志着语音领域迎来了类似 GPT-3 时刻（“GPT-3 moment”） 的重要突破。
  • 提出了首个全面且可复现的生成式语音预训练方案，包括全新的音频分词器、可扩展的模型架构、分阶段的训练策略、系统化的整体评测体系。
  • 首次在语音理解与生成的建模过程中引入了“思维机制（thinking）”，实现了从感知（perception）到复杂认知任务（complex cognitive tasks）之间的桥接，为语音模型的发展开辟了新的方向。

Model Architecture

MiMo-Audio-Tokenizer

现有音频分词方法的一个主要挑战在于如何有效平衡音频信号中语义信息与声学信息之间的固有权衡。语义 token 通常来源于自监督学习模型或 ASR 模型，它们与语言内容高度相关，有助于与文本模态对齐。然而，其主要缺点是丢失了细粒度的声学信息，限制了原始波形重建的质量。声学 token 则由神经音频编解码器生成，能够实现高保真音频重建，但难以与文本语义空间建立有效对齐。

MiMo-Audio-Tokenizer 将语义和声学统一，同时捕获语义信息并实现高保真音频重建，通过扩大模型参数规模和训练数据量，进一步缓解语义-声学表示冲突，从而提升跨模态对齐能力和语音重建质量。

架构

MiMo-Audio-Tokenizer 的架构由四个主要组件组成：音频编码器（audio encoder）、离散化模块（discretization module）、音频解码器（audio decoder）以及声码器（vocoder）。

音频编码器：双向注意力Transformer编码器，在输入和输出端各配备 2 层下采样，包含 32 层、20 个注意力头，使用 Rotary Position Embeddings（RoPE） 和 GELU 激活函数，模型维度设为 1280，前馈网络（FFN）内维度设为 5120。为缓解语义信息与声学信息之间的冲突，将第 3 层的隐藏状态通过元素级求和加入到最终层输出中。

离散化模块：20-layer残差向量量化器，前两层码本（codebook）大小为 1024，其余层码本大小为 128。

音频解码器：结构与编码器镜像，但采用因果自注意力（causal self-attention），以支持流式生成。

声码器：采用 Vocos 设计，将 ConvNeXt骨干替换为 Transformer，从而支持序列打包（sequence packing）以提高训练效率。Transformer 参数：16 层、16 个头，模型维度 256，FFN 维度 1024。集成 RoPE 与滑动窗口注意力（sliding window attention），窗口大小为 [40, 10]，分别对应 [6.4 秒, 1.6 秒] 的感受野。

前向流程：

  1. 对采样率为 24 kHz 的单通道音频波形 𝑋 进行梅尔谱图（melspectrogram）转换，帧率为 100 Hz。
  2. 将该谱图输入音频编码器，转化为长度为 𝑀 的连续表示序列（frame rate 25 Hz）。
  3. 离散化模块中的 RVQ 将连续表示量化为二维索引矩阵 𝐴 ∈ ℕ^{M×R}，其中 R 为 RVQ 层数。
  4. 利用码本查找并求和对应的嵌入向量，从而重建量化表示 Q。
  5. 最后，音频解码器和声码器根据 Q 重建音频波形 𝑋̂。

Training

采用两阶段训练范式（two-stage training paradigm）以提升训练效率，如图 2 所示。

阶段 1：

模型在大规模数据集上进行多任务学习（multi-task learning）[包括A2T跟语音重建任务]，训练数据规模扩展至 超过 1100 万小时。通过这一大规模训练，模型能够联合编码语义信息与声学信息，实现对音频信号的全面表征。

统一表示学习：在阶段 1 中，将音频重建任务（audio reconstruction task）与音频到文本任务（audio-to-text, A2T）结合，以对齐音频与文本的表示空间，同时确保声学信息的完整保留。为 A2T 任务提供监督，我们引入了一个 LLM，与 MiMo-Audio-Tokenizer 联合训练。MiMo-Audio-Tokenizer 与 LLM 的所有参数均 从零开始训练。

A2T 目标被形式化为 下一个 token 预测损失（next-token prediction loss），作用于 LLM 的文本输出，具体定义如下：

其中，𝑇 = [𝑡₁, …, 𝑡ₙ] 表示目标文本序列，Q̃ 表示量化后的音频表示，𝑁 为文本序列的总长度。对于音频重建任务，采用多尺度梅尔谱图重建损失，定义为 L₁ 距离（𝐿₁ distance）：

其中，S𝑖 表示尺度 𝑖 下的梅尔谱图（mel-spectrogram），具有 2^i 个频带，通过STFT, Short-Time Fourier Transform计算得到，窗长为 15·2^(i−1)，步长为 15·2^(i−2)。尺度集合定义为 𝑒 = {5, 6, 7}。

还额外增加一个训练loss：commitment loss，这个主要是约束encoder的输出和embedding空间保持一致，以避免encoder的输出变动较大（从一个embedding向量转向另外一个）。commitment loss也比较简单，直接计算encoder的输出ze(x)和对应的量化得到的embedding向量ek的L2误差：

阶段 1 的总损失被定义为各项损失的加权和：

阶段 2：

冻结音频编码器和离散化模块的参数。引入判别器训练音频解码器和声码器，重点提升原始音频波形的细粒度重建质量，并消除声码器生成的伪影（vocoding artifacts）。

对抗微调（Adversarial Fine-tuning）：引入了额外的判别器进行对抗训练（adversarial training），以提升音频波形重建质量。在该阶段，音频分词相关的所有参数均被冻结，以保持音频 token 空间的语义结构。

采用多任务 GAN 训练方案，联合优化以下目标：梅尔谱图重建损失、对抗损失、判别器特征匹配损失，为了在时域（time domain）和频域（frequency domain）同时提供监督，使用了Multi-Period Discriminator 和 Multi-Scale STFT Discriminator，训练框架采用 Hinge-GAN。

真实波形 𝑋与生成波形 𝑋̂，判别器的目标可被形式化为：

生成器的对抗目标：

特征匹配（feature matching）：

生成器的训练目标结合了多任务 GAN 训练中的各项损失：

Evaluation

使用 说话人相似度 、Short-Time Objective Intelligibility、语音质量感知评估来评估音频分词在保留声学信息方面的表现。考虑到下游 MiMo-Audio 模型仅使用 MiMo-Audio-Tokenizer 前八个码本（codebooks） 生成的音频 token，我们在评测中也仅使用这八个码本解码波形，从而真实反映下游语言模型可访问音频的保真度。

结果（Results）如 表 1 所示。MiMo-Audio-Tokenizer 在 Seed-TTS-Eval 上展现出出色的重建质量。关键在于，这些提升是在下游建模所使用的码本上测得的，说明 MiMo-Audio 完整保留了语音信息的声学特性，从而在各种语音任务中展现出强大的泛化能力。

MiMo-Audio

MiMo-Audio 是一个统一的生成式音频-语言模型（generative audio-language model），能够同时建模文本 token 与 音频 token 序列。

ps：OR 表示模型选择性地使用其中一个输入（Audio 或 Text），
或者在不同模式下激活不同输入分支。但一次只走一个分支

该模型既可以接收文本 token，也可以接收音频 token 作为输入，并以自回归的方式预测文本或音频 token，从而支持各种文本与音频模态任意组合的任务，例如：

  • 语音识别（ASR）
  • 语音合成（TTS）
  • 语音翻译
  • 声音编辑
  • 多模态对话生成

这种统一建模方式使得 MiMo-Audio 能够在理解和生成任务之间实现无缝切换，成为通用的语音-语言基础模型。

𝑇 = [𝑡1, . . . , 𝑡𝑁] 表示文本序列，语音序列用 𝐴 = [𝐴1, . . . , 𝐴𝑀], 𝐴𝑖 ≜ (𝑎𝑖,1, . . . , 𝑎𝑖,𝑅′), 𝑁 表示文本序列长度，𝑀 表示音频序列长度，𝑅′ = 8 表示在大语言模型（LLM）训练中使用的 RVQ码本数量。

由于音频序列的信息密度较低，单个音频帧所包含的信息量远小于一个文本 token。
为了缓解不同模态间粒度不匹配的问题，并促进跨模态知识迁移，我们将音频序列划分为由连续 𝐺 个帧（frames） 组成的分组，称为 audio patches 。

𝑃 = [𝑃1, . . . , 𝑃𝑀/𝐺], 𝑃𝑖 = [𝐴(𝑖−1)𝐺+1, . . . , 𝐴𝑖𝐺].

MiMo-Audio 的输入是交错排列的文本 token 与音频 patch 序列 ，S=[s1​,…,sL​] 为交错序列，其中每个元素 si 要么是一个文本 token，要么是一个音频 patch。模型采用自回归方式进行训练：

这种统一建模策略使模型能够无缝处理任意的文本-音频混合序列。

MiMo-Audio 主要由三个核心组件构成：

  • Patch 编码器（Patch Encoder）
  • LLM 主干网络（LLM Backbone）
  • Patch 解码器（Patch Decoder）

Patch Encoder

Patch 编码器将每个 patch 内的音频 token 转换为一个隐藏向量。我们维护 R′ 个独立的embedding表{Er​}r=1R′​，用于将音频 token 映射到对应的嵌入向量。对于每个音频 token ai,r​，其嵌入表示为： ei,r​=Er​(ai,r​)，然后，将该帧在所有 RVQ codebook 上的嵌入进行聚合，形成统一表示：

得到的每个 patch 内的序列会经过一个 Transformer 编码器，该编码器共有 Lenc​=6 层。
每层的隐藏维度为 1024，注意力头数为 64，前馈层（FFN）的维度为 4096。该编码器采用双向自注意力（bidirectional self-attention），使模型能够捕获 patch 内帧级的局部上下文信息。随后，patch 中所有帧的输出被拼接并通过一个线性变换层，以匹配 LLM 输入的维度。

Large Language Model

采用 MiMo-7B-Base 作为 LLM 主干网络。该模型在每个位置上都可以接收两种类型的输入：

  • 文本 token 的嵌入向量，或
  • 由 patch 编码器生成的音频 patch 表示。

模型输出的隐藏状态（hidden states）可以有两种用途：

  • 经过 输出投影层（output projection layer），用于 文本 token 预测；
  • 或输入至 patch 解码器（patch decoder），用于 音频 patch 生成。

Patch Decoder

音频生成过程中，patch 解码器 以自回归（autoregressive）的方式在每个 patch 内生成音频 token。该解码器由 𝐿_dec = 16 层 Transformer 组成，每层的结构参数如下：

  • 隐藏维度（hidden dimension）：1024
  • 注意力头数（attention heads）：64
  • 前馈层维度（FFN dimension）：4096

解码器的自注意力机制中采用 因果掩码，以确保生成过程的自回归特性。此外，patch 解码器与 patch 编码器共用相同的 𝑅′ 个embedding tables，每个嵌入表对应一个 RVQ 码本。为支持 RVQ token 的生成，Transformer 配备了 𝑅′ 个独立的输出头，每个输出头专门负责预测对应 RVQ 码本中的 token。

具体来说给定来自 LLM 的隐藏状态 h，设要生成的音频 patch 为 P=[A1,A2,…,AG]，即由连续的音频帧组成。一个朴素的生成方式是：在时间维度上对每个音频帧进行自回归生成，其概率建模为：

其中，每个音频帧 Ai的概率又可以在 RVQ 的各个码本之间分解：

然而，由于 不同 RVQ 层（codebook layer）之间的 token 存在依赖关系，在每个时间步同时预测所有 RVQ token 会导致生成质量下降，音频往往不自然或带噪。

为缓解这一问题，论文引入了 音频 token 延迟生成机制。具体地，为每个 RVQ 层设置一个层特定的延迟向量：𝐷 = [𝑑1, . . . , 𝑑𝑅′],其中 dr表示 RVQ 第 r 层的生成延迟（以时间步为单位）。引入延迟后，延迟后的音频 patch 表示为：

其中：

其中，i∈[1,G+max⁡(D)]，r∈[1,R′]。符号 0 表示“空 token”，在编码和解码阶段都会被忽略。最终，patch 解码器（patch decoder） 按上述方式对延迟后的音频 patch 进行自回归建模，并在解码过程中保持相同的延迟模式，从而改善不同 RVQ 层之间的依赖建模和音频生成质量。

Pre-Training

Data

预训练语料库包含三类数据：单模态数据：文本-only、语音-only；多模态数据：语音–文本配对。语音模态目标是为模型提供大规模、高质量、多样化的音频数据。开发了一个完整的数据处理流水线用于确保预训练语料既丰富又可靠，为模型的语音理解与生成能力奠定坚实基础。

数据处理：

预训练数据包含数亿小时的“野外采集（in-the-wild）”音频数据，并确保数据在来源和内容上的多样性：

  • 来源多样性：数据涵盖公开播客、有声书、新闻广播、访谈、会议录音等，保证模型不会偏特定的录音环境或说话风格。
  • 内容多样性：数据涵盖的话题包括日常交流、娱乐媒体、商业与创业、艺术与文化、科学研究等。

为了将大规模原始音频转化为高质量训练数据，我们设计并实现了一个高效且可扩展的自动化流水线，包括以下模块：

  • 音频标准化
  • 说话人分离
  • 语音活动检测
  • 自动语音识别
  • 音频质量评估

数据标注：

构建了一个自动化标注系统，覆盖语义（semantic）与非语义（non-semantic）两个维度，为每条数据生成丰富且结构化的属性标签：

语义维度：基于 ASR 等模块的转写结果，我们构建了文本质量评估模型（text quality assessment model）。该模型可以从多个角度对内容的语义价值进行评分，例如：

  • 会话质量（conversational quality）
  • 知识密度（knowledge density）
  • 逻辑推理能力（logical reasoning）

非语义维度：为获取非语义层面的信息，我们训练了一个音频描述模型，模型能够直接生成音频的丰富自然语言描述：音色特征、情绪风格、背景环境。

双维度标注方法不仅可以评估数据质量，还为语料库提供了更细粒度的属性信息，从而支持更高效、目标更明确的筛选和训练。

数据整理

对多维度数据标注进行数据筛选采样。

  • 低质量数据过滤:噪声过多/低质量音频/不安全内容
  • 高质量数据采样:综合语义和非语义维度的评分指标，设计采样策略，确保模型能够高效地从高质量语料中学习。

训练

基于MiMo-7B-Base 模型 ，为了在最大程度保留其文本能力的同时，使模型具备语音理解与生成能力，MiMo-Audio 采用了渐进式的两阶段预训练方法。

理解阶段训练

在第一阶段中，我们训练模型的 patch encoder和 LLM 组件。该阶段的目标是让模型掌握语音理解能力。

我们共构建了一个 总计 2.6 万亿（T）token 的数据集，其中包括 1.2T 的文本 token 和 1.4T 的语音相关 token（以 6.25Hz 的语音帧率计算）。数据涵盖四种任务格式：

  • 语音-文本交错数据
  • 自动语音识别数据
  • 通用音频描述数据
  • 仅文本预训练数据

在该阶段中，我们仅对文本 token 计算损失（loss）。
如表 3 所示，patch encoder 的学习率设为 2e-4，LLM 的学习率设为 3e-5，并使用常数学习率调度器。每个 batch 包含 1680 万个 token，训练的上下文长度为 8192。

理解-生成联合训练

在第二阶段，我们训练模型的所有参数，包括 patch encoder、LLM 和 patch decoder。该阶段旨在赋予模型语音理解与生成的综合能力。

  • 训练数据集
    总计 5 万亿（T）token，其中 2.6T 为文本 token，2.4T 为音频 token（按 6.25Hz 语音帧率计算）。
    数据涵盖七种任务格式：
    • 语音续写
    • 语音-文本交错数据
    • 自动语音识别（ASR）
    • 文本转语音（TTS）
    • 通用音频描述
    • 指令跟随 TTS（instruction-following TTS）
    • 文本预训练数据
  • 损失计算
    对文本和音频 token同时计算损失。
    • 文本 token 的损失权重为 100
    • 各 RVQ token 的权重分别为 12, 8, 6, 4, 2, 2, 1, 1
  • 学习率与调度（如表 3 所示）
    • patch encoder 和 decoder 学习率：2e-4
    • LLM 学习率：3e-5
    • 学习率调度器采用 余弦衰减（cosine decay）
  • 其他设置
    • batch 大小和上下文长度与阶段 1 保持一致。

评估

我们对 MiMo-Audio-7B-Base 进行了两类评估：

  1. 少样本上下文学习评估（Few-Shot In-Context Learning Evaluation）
  2. 语音续写评估（Speech Continuation Evaluation）

Few-shot In-context Learning

从三个维度评估模型的语音–文本能力：

  1. 模态无关的通用知识
  2. 听觉理解与推理
  3. 语音到语音生成

模态无关的通用知识：模型无论输入或输出模态为何（语音或文本），都能访问并表达相同底层知识的能力。为了跨语音与文本评估这一能力，我们构建了 SpeechMMLU数据集：

基于 MMLU原始数据集，将问题与选项合成为语音，保持语义一致。按主题与长度筛选后，共包含 8,549 条样本，覆盖 34 个学科。使用多样化声音的商用 TTS 系统进行语音合成。数据集划分为四个平行子集，便于在相同问题下进行跨模态对照测试：

  • 文本 → 文本（T2T）：评估模型是否在语音–文本联合预训练后仍保留文本理解与生成能力；同时为语音相关任务提供性能上界参考。
  • 语音 → 文本（S2T）：衡量模型从语音输入中提取语义并以文本输出作答的能力，反映语音到语义映射的跨模态代价。
  • 文本 → 语音（T2S）：检验模型能否在文本到语音生成中保持语义一致性与表达可控性。
  • 语音 → 语音（S2S）：综合测量模型在端到端语音交互中的潜力，完整覆盖“听—思考—说”的循环过程。

听觉理解与推理：基于MMAU数据集， 包含 音频信息抽取 与 推理问答 两类任务，覆盖语音、环境声音、音乐三个领域。

语音到语音生成：MiMo-Audio 使用高保真音频 token 表征语音，这些 token 既用于感知，也用于生成，构成了语音理解与生成的统一接口。这种机制将预训练过程视为对大规模语音语料的高保真压缩。我们假设：只要压缩机制足够有效，模型便能自然地具备上下文学习（in-context learning）能力，并能在无需参数更新的情况下泛化至各种下游语音到语音任务。

为验证这一假设，我们设计了一种 few-shot 语音到语音生成评测协议：

  • 模型仅以配对语音示例（speech exemplars） 作为上下文条件；
  • 无需文本提示或梯度更新；
  • 直接生成目标语音。

语音续写

“续写”能力是自回归语言模型的基础能力之一。通过在大规模文本语料上进行生成式预训练，诸如 GPT-3等文本语言模型能够从输入提示中生成语义连贯的文本续写。

MiMo-Audio 经过在大规模语音语料上的生成式预训练，对高保真音频 token 进行语言建模，从而具备了通用的语音续写能力：
当输入一段简短的语音提示时，MiMo-Audio-7B-Base 能够生成在语义上连贯且在声学特征上自然衔接的续写语音，同时保持输入语音的关键声学属性，包括：

  • 说话人特征 —— 如身份、音色等个体化特征；
  • 韵律特征 —— 包括节奏、语调与语速；
  • 环境声学特征 —— 包括空间声效与非语音音素（如掌声、笑声、叹息声等）。

为评估这种能力，我们从多个领域采集了语音提示样本，涵盖：

  • 单人独白类：脱口秀、公众演讲、新闻播报、诗歌朗诵、有声书叙述、学术讲座；
  • 多人对话类：辩论、访谈、戏剧表演。

结果

涌现能力：在多个评测基准上观察到了显著的能力涌现现象，包括 5-shot SpeechMMLU（T2S 与 S2S）、16-shot 语音转换、以及 16-shot 语音到语音翻译。

在训练的早期阶段（即当训练数据量尚未达到约 0.7 万亿 tokens 时），模型在这些任务上的表现几乎可以忽略不计，表明它尚未具备解决这些复杂任务所需的基本原子能力。
然而，当训练数据规模超过这一临界阈值后，模型的性能出现了显著的非线性跃升，表现出典型的“相变”特征。

在经历这一突变后，模型性能持续稳步提升，并最终趋于稳定，表明模型已经完全掌握并巩固了这一新能力。这种从近乎零起点的能力涌现，而非循序渐进的提升，直接体现了模型通过大规模学习自主形成高级泛化能力的过程。
这一发现强有力地支持了我们的核心观点：

这标志着语音领域的 “GPT-3 时刻”——
通过足够大规模、无损压缩式的预训练，模型能够自发学会解决复杂、前所未见的任务，从而实现任务泛化。

语音智能：MiMo-Audio 模型在语音智能任务中展现出了卓越的性能，其优势主要体现在SpeechMMLU 得分和模态差距两个关键维度

1、SpeechMMLU 评估模型直接以语音作为输入或输出时，执行复杂推理与知识问答（QA）任务的能力。MiMo-Audio 在三个主要指标上均取得了最高分

相比之下：

  • Step-Audio2 mini-base 虽在 S2T 上取得了 67.8 的相对竞争力成绩，但在 S2S 上骤降至 51.8，显示出跨任务不稳定性。
  • Kimi-Audio-base 在 S2T 上表现一般（67.9），但在 S2S 上存在明显短板。
  • Baichuan-Audio-base 在两项任务中表现均较低（31.9 与 29.9）。

综上，MiMo-Audio 是唯一能在所有语音推理任务中保持高水平性能的模型，体现了其在语音理解与生成间的深度整合能力。

模态差距：模态差距衡量模型在语音模态与文本模态间能力一致性的程度。

Modality Gap = Text2Text Score − Speech2Speech (S2S) Score

结果如下：

  • MiMo-Audio：3.4
  • Step-Audio2 mini-base：22.3
  • Kimi-Audio-base：58.9
  • Baichuan-Audio-base：39.2

MiMo-Audio 的模态差距最小，说明其在语音与文本两种输入模态之间能高度保持一致的推理与理解能力。这也表明其模型架构设计在跨模态知识迁移与能力保持方面最为高效，有效实现了语音与语言智能的统一。

通用音频理解：MiMo-Audio 在当前所有开源模型中展现出了最强的通用音频理解能力。
这一优势不仅体现在整体得分上，也体现在各子任务上的性能均衡性。在 MMAU 总得分 上，MiMo-Audio 取得了 66.0 分，比排名第二的 Step-Audio2 mini-base（60.3 分） 高出 5.7 分。相比 Kimi-Audio-base（28.6 分） 和 Baichuan-Audio-base（25.9 分），MiMo-Audio 的成绩有显著优势。这种总分上的领先直观地体现了模型整体性能的优越性。

MiMo-Audio 在通用音频理解上表现尤为突出，展现出均衡且稳健的能力分布：

  • 语音（Speech）：67.6
  • 音效（Sound Effects）：65.2
  • 音乐（Music）：65.3

三者之间没有明显短板，说明模型在多类型音频场景中都能保持高质量表现。

语音任务泛化：16-shot in-context learning 设置下，模型在语音转换（Voice Conversion）和语音到语音翻译（Speech-to-Speech Translation）任务中的结果说明：MiMo-Audio 的语音到语音生成能力与模态无关知识能力在相似的训练规模上同时出现。这种一致性表明，模型在大规模训练中正在形成一种统一的语音理解能力，能够泛化至控制层面的语音特征变换，如说话人身份、情感、语速等。

语音续写：在多种场景下（游戏直播、教学、朗诵、歌唱、脱口秀、辩论等），
MiMo-Audio-Base 都能进行自然流畅的语音续写，无需任何参数调整。

具体表现包括：

  • 歌唱续写：生成旋律连贯、音色悦耳的歌声；
  • 脱口秀续写：在适当时机生成观众掌声与笑声；
  • 双人辩论续写：生成两人立场一致、语义流畅、韵律平衡的对话；
  • 方言续写：保持一致的口音特征；
  • 游戏直播 / 教学场景：生成具备情绪张力和口语化表达的语音，适时插入语气词或结巴；
  • 朗诵续写：生成具备专业朗诵语气和情感表达的语音。

Post-Training

Data

后训练阶段的数据策略目标，是通过一系列有监督的指令微调数据集，激活预训练模型在不同任务上的理解与生成能力。

音频理解

为了激活模型的音频理解与推理能力，我们整合了多个涵盖语音、声音和音乐的开源数据集。针对这些数据中存在的标签噪声与任务单一性问题，我们设计了一套基于 LLM 的数据清洗与增强管线。通过该管线，我们生成了大量多样化的音频理解数据，涵盖任务类型包括音频描述与音频问答等。

语音生成

为了激活模型的语音生成能力，我们从预训练数据中提取了一个高质量语音子集，并基于音频描述构建了指令数据。
在这一任务中，模型需要根据给定的文本指令生成匹配的音频。这种训练方式旨在增强模型的指令遵循能力，从而实现可控且高质量的语音生成。

口语对话

为了激活模型在不同对话场景下生成多样化、富有表现力语音的能力，我们构建了一个大规模口语对话数据集，涵盖单轮与多轮对话。这些对话包含用户提问与助手回复，内容主要来源于经过严格筛选的文本数据，以确保质量可靠。

为使 MiMo-Audio 能适应多样化的会话风格，我们首先对问答对进行口语化风格重写，然后使用内部的 MiMo-TTS 系统合成具有相应风格与情感的语音。
在合成过程中，我们从包含大量音色的语音库中随机选择提示音频（prompt audio），以覆盖不同的声音表现力范围。

训练

在后训练阶段，模型的所有参数——包括 patch encoder（音频块编码器）、LLM（语言模型） 和 patch decoder（音频块解码器）——都进行了微调。

为此，我们构建了一个规模达 1000 亿 tokens 的综合训练数据集，涵盖以下 六种任务形式：

  • 自动语音识别（ASR）
  • 语音合成（TTS）
  • 音频理解（Audio Understanding）
  • 口语对话（Spoken Dialogue）
  • 指令驱动语音生成（Instruction-Following TTS）
  • 文本对话（Text Dialogue）

其中，ASR、TTS 和文本对话的数据来源于开源数据集；而其余任务使用了上面中介绍的高质量自建数据集。

在损失加权方面，文本 token 的权重设为 100，音频 token 的权重分别为 12、8、6、4、2、2、1、1，与预训练第二阶段保持一致。

模型的训练上下文长度为 8192 tokens，batch size为 210 万 tokens。

评估

在后训练阶段完成后，我们对 MiMo-Audio-7B-Instruct 模型进行了系统性的综合评估，涵盖了以下主要任务领域：

  • 音频理解
  • 口语对话
  • 语音识别与生成（Speech Recognition & Generation）

各类任务的具体评测配置列于 表 7。

音频理解：采用MMSU 基准评估多任务语音理解，采用MMAU基准评估声音/音乐等更广泛的音频理解任务。采用 MMAR和 MMAU-Pro基准用于评估模型处理混合音频输入（如语音、音乐与环境音）以及理解音频知识的能力。

口语对话：借鉴 OpenAI 的评估流程来评估模型在多轮对话中遵循用户指令与完成任务的能力。使用 Big Bench Audio基准衡量音频语言模型的智能水平，模型的回答质量通过基于 GPT 的自动评估获得。对于语音形式的回答，首先使用 Whisper-Large-V3模型将其转写为文本，然后由 GPT-4o-mini 进行质量评估。为了测试模型在更复杂对话任务中的表现，使用 Multi-Challenge 数据集，该数据集要求模型生成与上下文语义一致的、符合情境的对话回应，以评估模型的多轮语音交互能力，对该数据集进行语音版本转换，构建了 MultiChallenge Audio：

  • S2T（speech-to-text）：对话历史以文本形式呈现；
  • S2S（speech-to-speech）：对话历史完全以语音形式呈现。

语音识别与生成：ASR采用了广泛使用的 LibriSpeech test-clean 集合来评估英语识别性能，并使用 AISHELL-1 测试集来评估中文识别性能。ASR 任务的评估指标为 词错误率（WER）。除了识别能力外，我们还评估了 MiMo-Audio-7B-Instruct 的语音生成能力。
首先，在 SeedTTS基准上测试其 TTS 性能，该基准涵盖中英文两个子集，并包含一个更具挑战性的中文 hardcase 子集。除传统的 TTS 评估外，我们还在 InstructTTSEval 基准上进行了更高级别的测试，用以衡量模型根据自然语言风格控制指令生成相应语音的能力，从而联合评估其保真度与表达力。

在 TTS 任务中，同样采用 WER 作为基本评价指标：生成的语音首先通过 ASR 模型转录为文本，然后与参考文本进行比较。此外，InstructTTSEval 还利用基于 Gemini 的评分体系进一步评估生成语音与输入指令之间的匹配度，从而更全面地反映模型的语音生成理解与控制能力。

结果

在音频理解任务中，如表 8 所示，MiMo-Audio-7B-Instruct 在 MMSU 和 MMAU 基准上的结果显示出卓越表现，在语音、音频与音乐问答任务上均取得领先成绩。该模型在这两个基准上的总体得分不仅超过了所有开源模型，也超过了部分闭源模型，如 Gemini 2.5 Flash 和 Gemini 1.5 Pro。

对于更具挑战性的音频推理任务，MiMo-Audio-7B-Instruct 在 MMAU-Pro 和 MMAR 基准上同样表现领先，其结果已接近 Gemini 2.5 Flash。这些结果共同表明，MiMo-Audio-7B-Instruct 是一个通用且强大的音频理解模型，具备广泛的跨模态推理与理解能力。

口语对话:MiMo-Audio-7B-Instruct 在 Big-Bench-Audio 与 Multi-Challenge-Audio 两个任务上，均在开源模型中表现最佳，并且性能接近闭源模型 gpt-4o。在 Big-Bench-Audio 基准上，MiMo-Audio-7B-Instruct 分别取得 72.90（S2T） 和 60.20（S2S） 的分数，仅次于 gpt-4o，但显著优于所有其他开源模型。同样地，在 Multi-Challenge-Audio 基准上，该模型分别取得 15.15（S2T） 与 10.10（S2S），再次以明显优势领先开源阵营。

总体而言，MiMo-Audio-7B-Instruct 不仅在开源模型中遥遥领先，还进一步缩小了与最先进的闭源模型 gpt-4o 之间的差距，展现出极强的竞争力与实际应用潜力。

语音识别与生成（Speech Recognition and Generation）
如表 9 所示，MiMo-Audio-7B-Instruct 在开源大规模语音模型中，在 ASR（语音识别） 和 TTS（语音合成） 任务上均展现出强劲性能。

在 ASR 与 TTS 的基准测试中，其表现与其他开源模型（如 Step-Audio2-mini 和 Kimi-Audio-Instruct）相当。但在 InstructTTS 评测中，MiMo-Audio-7B-Instruct 在英语与中文两个子集上均超越了 gpt-4o-mini-tts，尤其在综合指标上表现尤为突出。这些结果充分证明了 MiMo-Audio-7B-Instruct 在可控文本转语音生成方面的高效性，确立了其作为领先的开源语音生成解决方案的地位

结论

在本研究中，我们展示了在大规模、无损音频数据上进行“下一个 token 预测”预训练，是实现通用语音智能的可行路径。通过在超过 1 亿小时的前所未有的数据语料上进行预训练，MiMo-Audio 成功突破了现有音频语言模型以任务特定微调为主的局限性。

主要贡献是实证验证了在语音领域同样可以出现类似 GPT-3 的“临界时刻”。我们观察到，在跨越关键数据量阈值后，模型的少样本学习能力显著涌现，使其能够在无需任务特定训练的情况下泛化到广泛任务，包括复杂的语音转换、风格迁移以及语音编辑等。此外，我们提出了这一范式的完整蓝图，包括：新颖的统一高保真音频编码器、可扩展模型架构以及分阶段训练策略。MiMo-Audio-7B-Instruct 在多个基准测试中取得了最先进的性能，并可与闭源系统媲美。

总体而言，本研究为构建真正多功能的音频语言模型提供了基础方法论。我们认为，这标志着向创建更自然、灵活、智能的系统迈出了重要一步，使其能够以类人适应性理解和生成语音。

限制与未来工作

有限的上下文学习能力
MiMo-Audio-Base 的上下文学习能力仍受限。虽然预训练模型可以通过上下文学习完成许多超出预训练范围的新任务，但在某些场景下表现不佳，例如带背景音乐的语音生成和复杂声事件的处理。未来，我们计划提升 MiMo-Audio 在通用音频生成方面的能力。

不稳定的语音对话性能
MiMo-Audio-Instruct 在语音对话中存在一些限制，包括音色不连续、音质不稳定、发音错误以及对系统提示的响应不一致。尤其在复杂符号和公式的发音上容易出错，对话中的风格控制也不稳定。未来，我们将利用强化学习（RL）来提高模型性能的稳定性。

有限的思维能力表现
在引入思维机制后，MiMo-Audio-Instruct 仅在语音相关理解任务中表现改善，而在声音与音乐理解任务中性能反而下降。我们对失败案例分析发现，这种现象源于模型在思维过程中产生的幻觉。未来，我们计划通过强化学习（RL）进一步增强模型的音频理解能力。

WenetSpeech-Chuan：用于方言语音处理的大规模、注释丰富的四川话语料库

📑 Paper    |    🐙 GitHub    |    🤗 HuggingFace
🎤 Demo Page    |    💬 Contact Us

WenetSpeech-Chuan 包含10000小时大规模川渝方言语音语料，标注丰富，是目前川渝方言语音研究最大的开源资源。涵盖十大领域：短视频、娱乐、直播、纪录片、有声读物、戏剧、访谈、新闻等。开发并开源了Chuan-Pipeilne(方言语音数据处理框架)， 收集了大规模的、自然界中的语音录音，涵盖故事讲述、戏剧、评论、视频博客、美食、娱乐、新闻和教育等多个领域。这些长录音通过语音音频检测 (VAD) 被分割成短片段，从而生成用于转录和质量评估的话语级数据。

Chuan-Pipeline

 WenetSpeech–Chuan 流程概览

 Chuan-Pipeline流程能系统地将原始、未标注的音频转化为一个内容丰富、标注完善的语料库，用于语音识别（ASR）和语音合成（TTS）。

Pre-Processing and Labeling

管道的初始阶段主要关注数据获取、分割，以及为语音片段添加多维副语言标签。原始数据的获取始于从在线视频平台挖掘元数据，以识别可能包含四川方言的内容。经过初步人工审核以确认目标方言的存在后，获取的音频流将进入多阶段处理流程：

  1. VAD 与分割：使用语音活动检测（VAD）将长音频流切分为 5–25 秒的片段，同时去除沉默和噪声等非语音部分。
  2. 单说话人选择与聚类：首先使用 pyannote 工具包隔离单说话人片段。随后，使用 CAM++ 模型提取说话人嵌入，并进行聚类，为同一说话人的所有语句分配一致的说话人 ID。
  3. 副语言注释：
  • 性别识别：使用预训练分类器（准确率 98.7%）确定说话人性别。
  • 年龄估计：基于 Vox-Profile 基准评测，将年龄划分为儿童、青少年、青年、中年和老年阶段。
  • 情绪标注：通过 Emotion2vec 和 SenseVoice 的预测结果进行多数表决，覆盖七类情绪：高兴、愤怒、悲伤、中性、恐惧、惊讶和厌恶。

质量评估

自动化质量评估：用时间戳对齐的语音作为输入，提取音频时长和信噪比（SNR）等指标。随后，这些特征用于计算词级虚拟主观评价分数（WVMOS），作为感知音频质量的替代指标。低质量的音频样本将被丢弃。

LLM-GER纠错处理

为了提高自动语音识别（ASR）转写的准确性，并在已有研究的基础上，我们提出了一套针对四川方言的鲁棒 ASR 转写框架。我们的方法被称为 基于大语言模型生成的错误纠正 ROVER（LLM Generative Error Correction based ROVER, LLM-GER），旨在将多个 ASR 系统的输出融合为单一、准确且可靠的转写结果。

首先，三套不同的 ASR 系统（FireRed-ASR、SenseVoice-Small 和 TeleASR）生成初步候选转写。随后，这些转写由 Qwen3 进行融合，利用其强大的方言理解能力，并结合我们精心设计的提示（prompt）进行错误纠正，同时保持原始语义和 token 长度不变。

通过这种方法，充分发挥了大语言模型（LLM）在规范化四川方言表达方面的能力，同时整合了多套 ASR 系统的互补优势。这样的组合为 WenetSpeech-Chuan 数据集生成了高质量的转写结果。对测试集的计算结果显示，与单一 ASR 系统的转写相比，LLM-GER 平均可将转写准确率提高约 15%。

标点符号预测

带标点的准确转写对于 TTS 训练至关重要，但仅依靠文本的标点预测往往与实际语音停顿不匹配。为此，我们提出了一种结合音频与文本模态的多模态标点预测方法。

在音频模态方面，我们使用 Kaldi 模型对音频与文本进行强制对齐，从而获得每个词的时间戳和停顿时长，并根据阈值将停顿划分为短停顿或长停顿（例如，短停顿 0.25 秒，长停顿 0.5 秒）。

在文本模态方面，我们使用 BiLSTM 标点模型在停顿候选位置预测标点：短停顿对应逗号，长停顿对应句号、问号或感叹号。阈值通过人工反馈进行迭代优化，以确保标点与实际语音停顿保持一致。

ps：该方法存在的的问题：由于不涉及语音信息，单模态模型时常无法获知说话人的情感态度，这会导致模型在一些句子末尾难以抉择以句号还是问号作为结束符。

WenetSpeech-Chuan Corpus

通过将 Chuan-Pipeline 应用于收集到的多源原始数据，我们构建了 WenetSpeech-Chuan 语料库，这是一个面向四川方言的大规模、多标签、多领域的资源。本节将详细介绍该语料库，包括其元数据、音频格式、数据多样性以及训练集和评估集的设计原则。

为每个音频片段分配一个置信度，用于衡量自动语音识别（ASR）转录的质量。 如表 1 所示，我们选取了 3,714 小时的强标签数据（Strong Label），其置信度大于 0.90。 6,299 小时的弱标签数据（Weak Label），置信度介于 0.60 与 0.90 之间，被保存在我们的元数据中，用于半监督训练或其他用途。 总的来说，WenetSpeech-Chuan 共包含 10,013 小时的原始音频。

WenetSpeech-Chuan 的来源领域，共包含 9 个类别。 其中，短视频占比最大（52.83%），其次是 娱乐（20.08%） 和 直播（18.35%）。 其他领域包括纪录片、有声书、访谈、新闻、朗读和电视剧，占比较小，但提升了数据集的多样性。

基于 WVMOS 指标 计算得到的音频质量评分主要集中在 2.5 到 4.0 区间，其中 3.0 到 3.5 之间存在一个显著峰值。 这一分布表明，语料库的大部分音频属于 中高质量语音，在干净录音与真实环境声学条件之间取得了平衡，从而使其在训练通用语音模型时具备较强的鲁棒性。

WenetSpeech-Chuan Eval Benchmark：

ASR 评测集：人工标注9.7 小时的评测集划分为 Easy 和 Hard 两个子集

TTS 评测集：

  • WSC-Eval-TTS-easy：包含来自多个领域的方言词句子；
  • WSC-Eval-TTS-hard：由长句子和大语言模型（LLM）生成的多样化风格句子组成，例如绕口令、俗语和情感化语音。

Experiments

ASR

如表 3 所示，不同类型的模型在四川方言测试集上的表现存在差异。 首先，在所有开源模型中，FireRedASR 在多个评测集上表现出相对稳定的识别性能。 值得注意的是，FireRedASR-AED 在所有测试集上的平均词错误率（WER）为 15.14%，成为表现最优的开源模型。 相比之下，Qwen2.5-omni 和 kimi-audio 等模型在 MagicData-Dialogue 测试集 上的错误率显著偏高，表明其对方言语音的适应性不足。

我们经过微调的模型展现出明显的性能提升。在 WenetSpeech-Chuan 上对 Paraformer 和 Qwen2.5-omni 进行微调后，整体性能分别提升了 11.7% 和 11.02% ，彰显了 WenetSpeech-Chuan 在提升方言识别能力方面的显著效果。此外，在额外使用 1000 小时内部数据进行持续微调后，Paraformer 在所有测试集上均达到了 13.38% 的平均 CER，达到了当前最佳水平 ，这证明了 ASR 模型在使用高质量方言数据训练时具有强大的迁移能力和适应性。

综上所述，我们的评估结果清楚地表明，在保持普通话识别能力没有明显下降的同时，WenetSpeech-Chuan 大大增强了模型识别四川方言的能力。

Speech Synthesis

CosyVoice2-WSC 在客观和主观指标上均展现出极具竞争力的表现。在简单分类下，其 CER 达到 4.28%，接近 Qwen-TTS 的 4.13%，同时实现了更高的感知质量和最佳的说话人相似度。在困难分类下，其 CER 上升至 8.78%，而 Qwen-TTS 仅为 7.35%，但仍保持了更高的感知质量，SIM 高于 62%，在挑战性场景中展现出更佳的鲁棒性。

与错误率较高的 Step-Audio-TTS 和 CosyVoice2 基线相比，CosyVoice2-WSC 在准确率和感知质量之间取得了更佳的平衡。经过微调后，CosyVoice2-WSC-SFT 取得了进一步的提升。在简单划分中，其 CER 最低，为 4.08%，SIM 最高，为 78.84%，同时 MOS 家族得分也处于领先地位。在困难划分中，其 CER 降至 7.22%，并保持了最佳 AMOS 得分，这表明微调能够同时提升准确率和感知质量。

总而言之，这些结果证实了 WenetSpeech-Chuan 数据集为构建稳健、高质量的四川方言 TTS 系统奠定了坚实的基础。

结论

WenetSpeech-Chuan，这是目前中国最大的四川方言开源语料库，包含超过 10,000 小时的多维语音标注。为了构建该数据集，我们开发了 Chuan-Pipeline，这是一个功能全面的数据处理工具包，能够支持这一大规模资源的创建。

FunAudio-ASR 语音识别大模型-解决幻觉/语种混淆，支持热词

技术报告：https://github.com/FunAudioLLM/FunAudioLLM.github.io/blob/master/pdf/FunAudio-ASR.pdf

魔搭社区体验：https://modelscope.cn/studios/iic/FunAudio-ASR

个人一些看法：1、关于语种混淆问题，目前的语音识别大模型确实存在较为严重的语种混淆，一般可以通过指定语种缓解该问题。 FunAudioLLM 提出的将CTC 的第一遍解码结果作为 Prompt 输入给 LLM，可以有效缓解该问题，这个后面可以尝试下，但个人感觉CTC能力可能不会很强，技术报告中说的CTC本身发生串语种的概率极低，这个个人表示存疑。另外关于语种混淆，感觉跟LLM本身翻译能力可能无关，应该是部分语种某些发音以及说话人发音不规范导致语种识别错误。2、对于“幻觉”问题，可以通过加入纯噪声/纯背景声进行训练。3、热词这块结合RAG，确实是个好的办法，毕竟直接注入上千的热词势必会对模型的识别产生不可控的影响，通过检索增强生成，只将少量相关性高的热词进行注入，可以避免无关信息干扰，但关键是如何利用ctc的粗解码结果检索出相关的热词，做到不漏检。4、ASR性能提升的核心还是数据，论文中无论是优化抗噪能力/幻觉问题/热词能力/混合中英语言等，基本上都依靠设计生成对应的高质量的数据！！！5、关于语音编码器的训练范式和数据量：自监督+监督学习，上千万小时的训练数据。

阿里巴巴通义实验室推出了FunAudio-ASR端到端语音识别大模型。这款模型通过创新的Context模块，针对性优化了“幻觉”、“串语种”等关键问题，在高噪声的场景下，幻觉率从78.5%下降至10.7%，下降幅度接近70%。FunAudio-ASR使用了数千万小时的音频数据，融合了大语言模型的语义理解能力，从而提升语音识别的上下文一致性与跨语言切换能力。

Abstract

FunAudio-ASR，一个结合大规模数据、超大模型、LLM整合和强化学习的先进ASR系统。该系统不仅在复杂语音场景中实现了最先进的识别性能，还通过针对实际部署的优化增强了流式处理、噪声鲁棒性、混合语言【中英】、和热词自定义能力，验证了其在真实应用环境中的高效性和可靠性。

Introduction

数据规模扩展、模型规模扩展以及与大型语言模型（LLM） 共同推动ASR系统的能力提升:

  • 数据规模扩展被证明是ASR提升的基础驱动力；
  • 模型规模扩展，尤其是模型参数数量的增加，进一步放大了数据规模扩展的优势；
  • 与LLM的深度整合代表了ASR方法论的一次范式转变，不再将ASR视为独立任务，而是利用LLM丰富的语言知识和上下文理解能力来增强语音识别，例如，Seed-ASR和FireRedASR展示了引入LLM可以显著提升ASR性能，尤其在解决语义歧义和生成更连贯、上下文更合理的转录结果方面表现突出。这些模型有效地弥合了语音理解与文本理解之间的鸿沟。

FunAudio-ASR ，这是一个基于 LLM 的大规模 ASR 系统，可在大规模数据上进行训练。FunAudio-ASR 具有以下关键特性：

  • 规模化与创新性LLM整合。
  • 最先进的语音识别准确率。通过在数据规模、模型规模以及与LLM的创新架构整合方面的协同进展，FunAudio-ASR在多语言和多声学领域实现了前所未有的识别准确率，确立了ASR系统的新一代最先进水平。
  • 面向实际生产的优化。经过精心设计，以满足真实部署场景的复杂需求：
  1. 高效流式ASR架构：FunAudio-ASR采用高度高效的流式识别架构，支持低延迟实时处理，可无缝集成到视频会议、实时字幕和语音控制设备等应用中。
  2. 噪声鲁棒性增强：通过多阶段方法，显著提升系统在嘈杂环境下的识别能力。
  3. 先进的混合语言处理能力：能够在同一句话中无缝处理中英文切换，这对于全球商业环境中的多语言用户至关重要。
  4. 可定制的热词识别：允许用户定义特定领域的术语或短语，以提高识别准确率。该功能在医疗、企业及汽车技术等专业领域尤为有价值。

Model Architecture

FunAudio-ASR由四个关键组件组成：

  1. 音频编码器（Audio Encoder）：用于从输入语音中提取特征表示，采用多层Transformer编码器实现。
  2. 音频适配器（Audio Adaptor）：用于将音频编码器的输出与LLM连接，采用两层Transformer编码器实现。
  3. CTC解码器（CTC Decoder）：基于音频编码器构建，用于生成初步识别参考，该参考将用于热词自定义。
  4. 基于LLM的解码器（LLM-based Decoder）：在音频条件和CTC预测的基础上生成最终输出。

提出了两种不同规模的模型：FunAudio-ASR [0.7B参数的编码器 和 7B参数的LLM解码器]和 FunAudio-ASR-nano[0.2B参数的编码器 和 0.6B参数的LLM解码器],用以满足不同的计算资源约束和推理效率需求

Data【核心】

Pre-taining Data

预训练数据集包括约数千万小时的音频数据，涵盖无标注音频和带标注的音频-文本数据。无标注音频覆盖了人工智能、生物技术、电子商务、教育、娱乐、金融、交通等领域的广泛真实场景。对于带标注的数据，采用了完整的数据处理流程，包括：

  1. 语音活动检测（VAD），识别语音片段；
  2. 多系统伪标签生成，利用多种ASR系统（如 Paraformer-V2、Whisper 和 SenseVoice生成伪标签；
  3. 逆文本正则化（ITN），将文本恢复为标准化格式。

带标注数据的主要语言为中文和英文。

Supervised Fine-tuning Data

有监督微调（SFT）数据规模约为数百万小时，具体包括以下几类：

  1. 人工转写数据：由人工标注的高质量语音转写。
  2. 伪标签数据：由ASR系统自动生成的标注数据。
  3. 环境噪声数据：覆盖各种真实噪声场景。
  4. CosyVoice3生成的TTS数据：由TTS合成的补充语音数据。
  5. 流式模拟数据：用于优化实时流式识别能力。
  6. 噪声增强数据：通过数据增强方法引入不同类型的噪声。
  7. 热词定制数据：支持特定领域和应用场景的热词识别。

Training

Pre-training of Audio Encoder

为了开发一个强大而有效的音频编码器，以便集成到基于 LLM 的 ASR (LLM-ASR) 系统中，采用了自监督+监督学习结合的方法，如上图所示，通过利用自监督学习和监督学习范式来生成高质量的语音表示，并使其能够与 LLM 中的语言知识有效匹配。

Stage 1: 基于Best-RQ的自监督学习训练encoder

Best-RQ是一种先进的语音表示学习方法，它通过对语音单元进行掩码和重建，并利用量化模块将连续表示离散化，从而在不依赖标注数据的情况下学习通用语音表示，使其能够大规模扩展到海量无标注音频数据。

创新点在于 初始化策略：发现预训练文本LLM的层可有效用于ASR系统编码器的初始化。使用 Qwen3模型的部分层参数来初始化Best-RQ编码器。该跨模态初始化策略的假设是：LLM中蕴含的深层语言与语义知识能够为语音表示学习提供有益的归纳偏置。实验表明，与随机初始化相比，采用预训练文本LLM进行初始化可以显著加快训练收敛速度，并提升所学习语音表示的质量。

补充关于语音encoder的训练：

SeedASR也使用自监督学习进行预训练，特点是contrastive-loss[对比损失]和 codebook-diversity-loss去训练模型的speech representation和codebook。

Seed-ASR endoer training

Best-RQ的自监督学习方法：为了使用类似BERT的方式自监督训练语音识别，需要把语音连续的语音信号搞成类似文本text这样的离散的token，常用的手段是通过学习语音表征的方法，BEST-RQ使用一个离散的随机量化器来近似的表示连续的语音信号。这个随机的量化器训练阶段是固定不变的，这样就不用再像wav2vec 2.0中使用contrastive-loss[对比损失]和 codebook-diversity-loss去训练模型的speech representation和codebook。

主要特点在于：不在使用contrastive loss去学习音频表征(无contrastive-loss)，极大简化了SSL训练的过程，并且因为量化器是随机初始化并固定的，因此codebook和训练的encoder模型解耦了。

BEST-RQ 训练范式

Stage 2: 基于encoder-decoder (AED) 进行 Supervised pre-training 

参考SenseVoice-Large的训练方法，编码器在大规模标注的 ASR 数据集上进行端到端训练，使用标准的序列到序列学习目标。目标是获得一个从转录语音数据中学习到丰富的声学和语言特征的编码器，训练好的该编码器将用于初始化下游 LLM-ASR 系统中的音频编码器。

通过上述预训练阶段，减少了从头开始进行大量低级特征学习的需要，从而加速了训练收敛。

Supervised Fine-tuning

监督微调（SFT）包括四个连续的阶段：

阶段 1：保持预训练的音频编码器和 LLM 参数冻结，仅训练适配器模块，使音频编码器的输出表征能够与 LLM 的语义空间对齐。本阶段的训练数据约为 20 万小时。

阶段 2：依然冻结 LLM 参数，同时训练音频编码器和适配器模块，以学习更好的语义表征。本阶段使用约 1000 万小时的低成本 ASR 训练数据，并训练 1 个 epoch。

阶段 3：冻结音频编码器和适配器模块，仅使用 LoRA（低秩适配） 来更新 LLM 参数。LoRA 微调的目的是在保持模型文本生成能力的同时，缓解对预训练知识的灾难性遗忘。本阶段使用 2 万小时的 ASR 数据。

阶段 4：对音频编码器和适配器进行全参数微调，同时对 LLM 采用 LoRA 进行微调。在此阶段，仅使用 高质量数据（约 300 万小时语音）。这些转录数据由 Whisper-Large-V3、FireRed-ASR 和 SenseVoice 三个不同的 ASR 模型进行评估。

阶段 5：如图 2 所示，我们在音频编码器之上添加了一个 CTC 解码器。在该训练阶段，音频编码器保持冻结，仅训练 CTC 解码器。该 CTC 解码器通过 贪心搜索（greedy search）生成初始识别假设。随后，这个一次性解码结果被用于 检索增强生成（RAG），以获取上下文信息。

此外，通义实验室发现，给语音大模提供必要的上下文，可以减少文本生产时候的幻觉现象。为此，设计了 Context 增强模块：该模块通过 CTC 解码器快速生成第一遍解码文本，并将该结果作为上下文信息输入 LLM，辅助其理解音频内容。由于 CTC 结构轻量且为非自回归模型，几乎不增加额外推理耗时。此外，观察到幻觉问题在高噪声场景中更易发生，因此在训练数据中加入了大量仿真数据。我们构建了一个包含 28 条易触发幻觉音频的测试集，经优化后，幻觉率从78.5% 下降至 10.7%。 

 上下文监督微调

作为 内容先验（content prior），上下文信息可以有效帮助模型在 ASR 任务中：

  1. 识别关键文本内容，从易混淆的发音中消除歧义；
  2. 提高长时连续语音识别的准确性，尤其在复杂场景下表现显著。

因此，在完成 SFT 训练后，我们进一步在 具有上下文信息和长时语音 的数据上训练 FunAudio-ASR，以增强其 上下文建模能力。

  • 音频样本的时长可达 5 分钟。
  • 对于较长的样本，我们将其进行切分，并将前一段的转录文本添加到当前音频段的前面，作为提示（prompt）。

由于高质量上下文音频数据严重匮乏，通过以下步骤构建了 超过 5 万小时的带上下文内容的 SFT 数据：

步骤 1：关键词提取。为了生成与当前对话内容相关的上下文信息，我们首先使用 Qwen3-32B从转录文本中提取关键词。关键词通常包括实体、专业术语以及特定时间段等，这些是 ASR 系统容易识别错误或遗漏的词汇。

步骤 2：相关上下文生成。利用 Qwen3-32B 模型生成上下文内容：

  • 给定当前对话内容和提取出的关键词，提示 Qwen3-32B 合成多个、多样化的上下文内容，这些内容应与口语对话特征相符。
  • 对合成的上下文内容，通过 关键词匹配 筛选，剔除未包含指定关键词的片段。
  • 如果在第一步中未提取到任何关键词，则仅根据当前对话内容提示 LLM 合成上下文。

步骤 3：无关上下文混合。为了防止模型对上下文过度依赖，从数据集中为每条对话随机抽取 五条无关上下文片段，并与生成的相关上下文混合，形成最终的上下文 SFT 训练数据。

Reinforcement Learning

设计了 FunRL，一个专为 大规模音频-语言模型（LALMs） 定制的高效强化学习（RL）框架。与文本 LLM 不同，作为 LALM 的 FunAudio-ASR 包含一个音频编码器，用于将语音转换为嵌入向量，而现有的 RL 框架或 Trl原生并不支持这一组件。

如图 4(a) 所示，FunRL 使用 Ray 协调音频编码器、rollout 和策略模块，使它们能够交替使用 GPU 资源：

  1. 音频编码器推理阶段
    • 将所有输入音频批量处理，通过基于 Torch 的编码器提取音频嵌入。
    • 提取的嵌入从 GPU 转移到 CPU。
  2. SGLang LLM Rollout
    • GPU 控制权转交给 SGLang Rollout 模块，根据音频嵌入和指令文本 token 生成多个假设序列。
    • 每个假设根据预定义规则分配奖励（奖励规则将在后文详细说明）。
  3. FSDP LLM 策略优化
    • 利用音频嵌入和生成的假设序列计算输出概率，并通过 RL 进行策略优化。
    • 每次更新后，将优化后的策略同步回 Rollout 模块，保证 RL 过程保持 on-policy。

我们在 8 块 A100 GPU 上评估了 FunRL 的训练效率（如图 4(b)）：

  • 对大约 1 小时输入音频，每个训练步骤约需 54.6 秒，对应实时因子（RTF）约为 0.015。
  • 如图 4(b) 所示，SGLang Rollout 阶段占据了大部分计算时间，而设备切换开销仅占总时间的不到 6%。

这表明 FunRL 的交替 GPU 利用策略非常高效，使其成为 大规模音频-语言模型 RL 训练的可扩展且有效的解决方案。

GRPO-based RL for ASR

基于 FunRL 框架，对 FunAudio-ASR 的 GRPO（Generalized Reinforced Policy Optimization） 强化学习算法进行了增强。

策略优化采用 裁剪目标（clipped objective） 并直接施加 KL 惩罚项（KL penalty term）。

我们观察到，当 WER（词错误率） 被用作值函数时，GRPO 与 最小词错误率（MWER, Minimum Word Error Rate） 方法非常相似，MWER 是 ASR 社区广泛采用的优化标准。在本文中，我们进一步设计了一组新的值函数 {Rk(yi∗,yi)}k=1K，以同时提升 ASR 性能和用户体验：

  1. ASR 准确率（R1i​）
    • 为直接优化识别质量，我们以 1−WER(y∗,y) 作为基础值函数，其取值范围为 [0,1]。
  2. 关键词准确率与召回率（R2i）
    • 由于关键词对用户体验影响显著，我们将 关键词召回率 作为奖励组件。每条语音的关键词可通过人工标注或 LLM 自动识别获得。
    • 仅使用召回率可能会增加插入错误，因此我们同时加入 关键词准确率，以平衡精度与召回。
  3. 噪声鲁棒性与幻觉抑制（R3i）
    • 在 LLM ASR 系统中，幻觉（hallucination）是常见问题，尤其在嘈杂环境下。
    • 为缓解这一问题，通过正则表达式匹配检测幻觉内容，并按幻觉片段长度施加惩罚。
  4. 语言一致性（R4i​）
    • 某些情况下，模型可能错误生成语音翻译而非转录。
    • 为保证语言一致性，如果输出语言与源语言不匹配，则最终奖励设为 −1。

除 R4i外，所有函数结果会求和得到最终的 Ri​。虽然 R2i​ 到 R4i的效果在一定程度上可由 ASR 准确率反映，但实验结果表明，加入这些规则能显著改善用户体验，并在困难样本上降低 WER。

构建 RL 训练数据

针对应用场景中的实际问题，我们采用以下方法构建一个小但高质量的 RL 训练数据。

困难样本（Hardcase Samples）

  • 收集大量未标注语音，并使用 FunAudio-ASR（上下文 SFT 后） 以及其他三个独立 ASR 系统（Whisper、FireRed-ASR、SenseVoice）进行转录。
  • 当三个外部系统输出一致（WER < 5%），但与 FunAudio-ASR 差异显著（WER > 10%）时，将该样本识别为 困难样本，并纳入 RL 训练集。

长时语音样本（Long-duration Samples）

  • 选择时长超过 20 秒 的音频片段，以提升模型对长语音输入的识别能力。
  • 现实应用中长语音常见，但训练数据中比例不足（<10%）。

幻觉相关样本（Hallucination-related Samples）

  • 特别包括基础模型出现幻觉的语料，例如输出明显长于真实文本或出现重复片段。
  • 同时加入参考转录中存在长重复词或短语的语句，这类样本与幻觉类似，但是真实存在，用于帮助模型区分 真实模式 与 虚假模式。

关键词与热词样本（Keyword and Hotword Samples）

  • 对于没有预设热词的语句，使用 Qwen-2.5 7B 识别显著关键词。
  • 热词特定训练中，将参考转录中的热词作为目标关键词。

常规 ASR 数据（Regular ASR Data）

  • 包含部分标准 ASR 数据，以缓解 灾难性遗忘，并在 RL 训练中保持通用识别性能。

面向生产的优化

Streaming Ability

为了增强大规模音频语言模型 FunAudio-ASR 的 流式识别能力，我们构建了 流式训练数据，显式模拟流式解码过程，从而减少训练与推理之间的不匹配。

具体方法如下：

  1. 从离线训练语料中抽取一个子集。
  2. 将训练语料转化为 增量分块输入（incremental, chunked inputs），每个块仅暴露过去的上下文信息。
  3. 将这种模拟流式训练数据与原离线训练数据结合进行微调，从而提升模型在流式解码场景下的性能。

Noise Robust Training

鉴于现实部署场景的多样性，FunAudio-ASR 必须在 复杂声学环境（如餐厅、火车站、商场等）下保持可靠性能，且不出现显著性能下降。然而，要构建一个能完整覆盖真实噪声环境复杂性和多样性的语料库几乎不可能。

为应对这一挑战，我们采用了 大规模噪声数据增强策略：

  1. 从内部语料库中选择约 11 万小时低噪语音 和 1 万小时噪声样本。
  2. 将它们组合生成约 11 万小时离线模拟噪声语音，平均信噪比（SNR）为 10 dB，标准差为 5 dB。
  3. 为进一步提升数据多样性，随机选择 30% 训练语音 进行 在线数据增强，在训练过程中混入环境噪声。

通过这种综合性的噪声鲁棒性训练策略，在复杂噪声评估集上平均实现了约 13% 的相对性能提升。

多语言 ASR

不同语言的训练数据可用性差异显著。资源丰富的语言，如 中文（普通话） 和 英语，数据充足；而 越南语 和 泰语 等语言的数据相对有限。

FunAudio-ASR 的主模型为中文-英语模型。为提升多语种 ASR 性能，我们训练了额外的 多语种 FunAudio-ASR 模型（FunAudio-ASR-ML），支持以下语言：

  • 中文（普通话）
  • 英语
  • 越南语
  • 泰语
  • 印尼语

训练策略如下：

  1. 对中文和英语数据进行 下采样，减少过度占比。
  2. 对越南语、泰语和印尼语数据进行 上采样，平衡数据分布。
  3. 多语种数据集总量约 50 万小时音频。
  4. 训练方法与中文-英语 FunAudio-ASR 模型相同。

混合语音（code-switched）

混合语（code-switched）语音的识别一直是 ASR 的挑战。为优化 中文-英语混合语 的 ASR 性能，我们通过以下步骤合成混合语训练数据：

  1. 收集关键字
    • 收集超过 4 万条英语关键词或短语，覆盖技术、教育、金融、体育等常见领域。
  2. 生成混合语文本
    • 使用 Qwen3模型，根据从上述池中随机选择的关键词，生成中文-英语混合语文本。
  3. 合成语音
    • 利用 文本转语音（TTS）模型，为 LLM 生成的混合语文本合成多种声音的语音数据，从而得到最终的 混合语训练语料。

热词定制

在 FunAudio-ASR 中，我们实现了基于 RAG（Retrieval-Augmented Generation） 的 热词定制机制。具体方法如下：

  1. 构建热词词表
    • 每个预设热词通过预定义词典被转换为 音素序列（中文）或 子词序列（其他语言）。
  2. 热词检索
    • 推理阶段，根据 CTC 假设输出 与热词词表条目的 音素级或子词级编辑距离，检索热词候选。
  3. 生成定制输出
    • 将检索到的热词候选、音频输入和 CTC 预测结果一起作为 LLM 的输入（如图 2 所示），生成热词定制的最终输出。

定制化识别通过提高特定词汇（如人名、术语等）的识别优先级，来提升它们的召回率，同时不影响整体准确度。

传统方法直接将用户词表输入大模型，虽然简单，但词量增多时干扰增强，效果下降。为解决这一问题，通义实验室采用RAG（检索增强生成）机制：

  • （1）构建知识库：将用户配置的定制词构建成专属RAG库；
  • （2）动态检索：依据CTC第一遍解码结果，从RAG库中抽取相关词汇；
  • （3）精准注入：仅将相关词汇注入大语言模型的提示词中，避免无关信息干扰。

该方法可在不增加计算负担的前提下，支持上千定制词，并保持高识别效果。

缓解幻觉

尽管通过训练将声学特征对齐到文本特征空间，由于声学特征 Embedding 与真实的文本 Embedding 仍然存在这一定的差距，这会导致LLM在生成文本时发生幻觉的现象。

在 ASR 中，幻觉（hallucination） 指模型生成的文本并未出现在输入音频中。这一问题在 静音段、说话者突然打断 或 噪声环境 下尤为严重，模型可能在没有语音的情况下产生虚假转录。

为缓解幻觉问题，FunAudio-ASR 采用以下策略：

  1. 数据增强阶段引入零填充（zero-padding）
    • 在向音频信号添加噪声前，先在音频中插入零填充，从而生成 纯噪声前缀片段。
  2. 模型学习纯噪声识别
    • 该策略迫使模型学会识别仅含噪声的输入，并将输出与实际音频对齐，从而降低幻觉文本生成的概率。

实验表明，这种方法显著提升了 FunAudio-ASR 在多样声学条件下的 鲁棒性、准确性和稳定性。

此外，通义实验室发现，给语音大模提供必要的上下文，可以减少文本生产时候的幻觉现象。为此，设计了 Context 增强模块：该模块通过 CTC 解码器快速生成第一遍解码文本，并将该结果作为上下文信息输入 LLM，辅助其理解音频内容。

由于 CTC 结构轻量且为非自回归模型，几乎不增加额外推理耗时。此外，观察到幻觉问题在高噪声场景中更易发生，因此在训练数据中加入了大量仿真数据。我们构建了一个包含 28 条易触发幻觉音频的测试集，经优化后，幻觉率从78.5% 下降至 10.7%。 

测试结果：

  • 错误识别结果：你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你你我说不尽的春风吹又生
  • ours 大模型识别结果：离离原上草一岁一枯荣
  • FunAudio-ASR识别结果：是我说不尽的中国味。
  • 豆包大模型识别结果：别急别慌。我说不见的。

“串语种”问题

“串语种”是语音大模型落地中的另一类典型问题。具体表现为：输入音频内容为英文，模型输出却为中文文本。这是因为文本 LLM 本身具备翻译能力，在声学特征映射不够精确时，模型可能在推理过程中“自动启动”翻译功能，从而影响语音识别的准确性。

在 FunAudio-ASR 的 Context 增强模块中，CTC 解码器经过高质量数据训练，本身发生串语种的概率极低。通过将 CTC 的第一遍解码结果作为 Prompt 输入给 LLM，可有效引导模型聚焦于语音识别任务，缓解“翻译”行为的发生。

Evaluation

我们在开源 ASR 基准数据集和真实工业评测集上对 FunAudio-ASR 和 FunAudio-ASR-ML 进行了评测。
在开源评测方面，我们使用了 AIShell-1、AIShell-2、Librispeech 、Fleurs、WeNetSpeech、Gigaspeech2 等数据集的相应测试集。然而，这些开源数据集长期公开，存在数据泄漏进入模型训练集的风险。为保证评测的可靠性与无泄漏性，我们额外收集了 2025年6月30日之后 在 YouTube 与 Bilibili 新上传的视频，并进行人工转写，构建了一个独立的测试集。

在噪声鲁棒性评测方面，我们使用了真实环境下采集的音频，覆盖多种场景：食堂、餐厅、会议室、办公室、户外、公园、商店、街道、地铁、超市和步行街。这些数据进一步按声学条件和话题进行分类，以更全面地评估系统在复杂多样场景下的表现。

Overall results

我们首先在开源基准上评测了近期发布的 ASR 系统，结果如表 1 所示。在这些数据集上，所有模型的 WER（词错误率）都非常低，甚至有一些开源模型在 Librispeech 和 AIShell 数据集上的表现超越了商业 API。
然而，如表 2 所示，在真实的工业评测集上，Seed-ASR-API 在多数场景，尤其是噪声环境下，表现出明显优势。这表明 在开源测试集上的表现并不能可靠反映真实世界的 ASR 能力，因此需要定期更新评测集以避免数据泄漏。

相比开源模型与商业 API，我们的 FunAudio-ASR 在开源基准（表 1）和工业数据集（表 2）上均取得了 SOTA（最优）性能。
由于所有训练数据都在 2025年6月30日之前 收集，确保了评测过程中 无数据泄漏，使得结果可信且可复现。值得注意的是，FunAudio-ASR-nano（仅 0.8B）也超越了开源模型，并且在性能上接近 Seed-ASR。

Streaming ASR Performance

为了评估 FunAudio-ASR 模型的流式识别能力，我们在与离线语音识别相同的测试集上进行了实验，结果如表 3 所示。与 Seed-ASR 相比，我们的 FunAudio-ASR 模型在不同测试集和不同场景下都表现出更优异的性能。

Evaluation on Noise Robustness

表 4 中展示了 噪声鲁棒性评估。结果表明，噪声鲁棒训练（NRT） 对于工业应用至关重要。在餐厅、超市等复杂环境中，NRT 能带来超过 30% 的相对提升，这是因为基于大模型的 ASR 系统在此类声学条件下容易生成幻觉式输出。此外，强化学习（RL） 进一步增强了模型的噪声鲁棒性。

Code-switching Evaluation

用两个测试集 A 和 B 来评估构建的语码转换训练数据的有效性：

热门词汇定制评估

在 热词评测 中，我们选择了一些带有特殊主题的音频，包括 生物、数学、宗教、食品、姓名、天文学、化学、哲学和物理，因为技术术语的识别对大多数 ASR 系统来说仍然是关键但具有挑战性的任务。表 6 的结果表明，FunAudio-ASR 可以从热词定制中显著受益。在大多数主题上，FunAudio-ASR 的 召回率（recall）可以提升到 0.97 以上。在 姓名 主题上，召回率甚至可以从 0.75 提升到 1.0。这表明 热词定制不仅仅是提供上下文信息，而是真正激发并强化了目标关键词的识别。

Multilingual ASR Results

我们还在多个开源测试集和内部行业测试集上评估了我们的多语种 ASR 模型 FunAudio-ASR-ML。表 7 给出了测试结果。由表 7 可见，在 中文和英文的开源测试集及内部行业测试集 上，我们的多语种 ASR 模型 FunAudio-ASR-ML 相较于 Kimi-Audio具有更优或相当的效果。我们还将该模型与其他多语种 ASR 模型进行了比较，例如 Whisper large v3 、dolphin-small和 seamless-m4t large v2 。与这些模型相比，我们的 FunAudio-ASR-ML 同样能够获得 SOTA 性能。

Effect of Reinforcement Learning

表 8 显示，RL 在 FunAudio-ASR 训练中发挥了关键作用，在离线和流式条件下分别带来了约 4.1% 和 9.2% 的相对提升。对于离线 ASR，相较于干净或开源数据，在嘈杂和复杂环境下的音频上性能提升更为显著。值得注意的是，在流式 ASR 设置中，改进幅度更大。RL 有助于抑制插入和删除错误，这些错误往往源于模型在完整发音尚未结束前的过早终止或预测。

如表 6 所示，RL 还能 有效增强热词集成，在大多数测试集上都提升了准确率和召回率。在某些领域（如哲学和宗教），RL 模型的准确率或召回率可能略低于基线模型；然而，整体 WER 仍然降低。这是因为在 RL 训练过程中，关键词的选择基于实际转录而非输入提示，从而使 FunAudio-ASR 能够更好地识别领域特定术语——即便这些专业词汇未被显式包含在热词列表中。

Limitations and Future Plans

尽管我们的 FunAudio-ASR 模型在多项评估中都取得了优异的成绩，但仍存在一些局限性。首先，它主要针对中文和英文进行优化，尤其是在流媒体性能和启动词自定义方面，因此对其他语言的支持仍然有限。其次，有效上下文窗口受限；如果没有外部语音活动检测 (VAD) 模块，系统难以稳健地处理长时间录音。第三，当前版本不支持远场或多声道音频。我们计划在未来的工作中解决这些局限性。

Qwen3-ASR：语音识别大模型

Qwen3-ASR-Flash实现了⾼精度⾼鲁棒性的语⾳识别性能，⽀持11种语⾔和多种⼝⾳。与众不同的是，Qwen3-ASR-Flash⽀持⽤户以任意格式提供⽂本上下⽂，从⽽获得定制化的 ASR 结果，同时还⽀持歌声识别。

Qwen3-ASR-Flash 单模型支持多种语言、方言和口音的精准转录：

  • 中文：包括普通话以及四川话、闽南语、吴语、粤语等主要方言。
  • 英语：支持英式、美式及多种其他地区口音。
  • 其他支持语言：法语、德语、俄语、意大利语、西班牙语、葡萄牙语、日语、韩语和阿拉伯语。

为获得定制化的ASR结果，用户可提供任意格式的背景文本来获得倾向性ASR结果，Qwen3-ASR-Flash无需对上下文信息进行格式预处理。

支持的格式包括但不限于：

  • 简单的关键词或热词列表。
  • 任意长度和来源的完整段落或整篇文档。
  • 以任意格式混合的关键词列表与全文段落。
  • 无关甚至无意义的文本(模型对无关上下文的负面影响具有高度鲁棒性)。

 性能表现：

核心特性：

  • 领先的识别准确率：Qwen3-ASR-Flash在多个中英文，多语种benchmark测试中表现最优。
  • 惊艳的歌声识别能力：支持歌唱识别，包括清唱与带bgm的整歌识别，实测错误率低于8%。
  • 定制化识别：用户可以以任意格式（如词汇表、段落或完整文档）提供背景文本，模型能智能利用该上下文识别并匹配命名实体和其他关键术语，输出定制化的识别结果。
  • 语种识别与非人声拒识：模型能精确分辨语音的语种，自动过滤非语音片段，包括静音和背景噪声。
  • 鲁棒性：面对长难句、句中语言切换和重复词语等困难文本模式，以及在复杂的声学环境中，模型仍能保持高准确率。

WenetSpeech-Yue:大规模粤语语音语料库

论文题目：WenetSpeech-Yue: A Large-scale Cantonese Speech Corpus with Multi-dimensional Annotation

  • 论文预印版：https://arxiv.org/abs/2509.03959
  • 仓库地址：https://github.com/ASLP-lab/WenetSpeech-Yue
  • Demo展示：https://aslp-lab.github.io/WenetSpeech-Yue/
  • WenetSpeech-Yue数据集地址：https://huggingface.co/datasets/ASLP-lab/WenetSpeech-Yue
  • WSYue-ASR-eval: https://huggingface.co/datasets/ASLP-lab/WSYue-ASR-eval
  • WSYue-TTS-eval: https://huggingface.co/datasets/ASLP-lab/WSYue-TTS-eval
  • ASR模型地址：https://huggingface.co/ASLP-lab/WSYue-ASR
  • TTS模型地址：https://huggingface.co/ASLP-lab/WSYue-TTS

背景动机

语音理解与生成的飞速发展离不开大规模高质量语音数据集的推动。其中，语音识别（ASR）和语音合成（TTS）被公认为最首要的任务。但对于拥有约 8490 万母语使用者的粤语而言，受限于标注资源匮乏，研究进展缓慢，ASR 与 TTS 的表现始终不尽如人意。现有公开的粤语语料库在规模、风格和标注维度上普遍存在不足。例如 Common Voice 和 MDCC 等项目过度依赖人工标注，仅能提供小规模数据；评测集大多局限于短句，缺乏对复杂语言现象的覆盖。同时，这些语料往往只提供语音-文本对齐信息，缺乏说话人属性或声学质量等元数据，极大限制了其在自监督学习、风格建模和多任务训练中的应用，导致主流 ASR 与 TTS 系统在粤语任务上表现欠佳，并在真实场景中泛化能力不足。

为解决上述问题，西北工业大学音频语音与语言处理研究组（ASLP@NPU）联合中国电信人工智能研究院、希尔贝壳、香港科技大学和Wenet开源社区，提出了 WenetSpeech-Pipe ——一个面向语音理解与生成、支持多维度标注的大规模语音语料构建一体化流程。该流程包含六个模块：音频采集、说话人属性标注、语音质量标注、自动语音识别、文本后处理与识别结果投票，能够生成丰富且高质量的标注。基于该流程，构建并发布了 WenetSpeech-Yue ——首个大规模粤语多维标注语音语料库，涵盖 21800 小时、10 大领域的粤语语音数据，并包含 ASR 转录、文本置信度、说话人身份、年龄、性别、语音质量评分等多种标注信息。同时，我们还发布了 WSYue-eval，这是一个全面的粤语评测基准，包含两个部分：WSYue-ASR-eval（人工标注集，用于评测短句/长句、粤英转换及多样声学条件下的 ASR 性能），以及 WSYue-TTS-eval（基础与覆盖子集，用于标准测试与泛化能力测试）。实验结果表明，基于 WenetSpeech-Yue 训练的模型在粤语 ASR 与 TTS 任务中表现优异，性能超越最先进（SOTA）的系统，并与商业系统相媲美，凸显了该数据集与流程的重要价值。

WenetSpeech-Pipe

 WenetSpeech-Pipe 框架如图 所示，由六个模块组成：(A) 音频采集，(B) 说话人属性标注，(C) 语音质量标注，(D) 自动语音识别，(E) 文本后处理，以及 (F) 识别结果投票。

音频采集： WenetSpeech-Pipe 首先从多个领域（如故事、影视、评论、Vlog、美食、娱乐、新闻和教育）大规模采集真实语音数据。由于原始录音多为几十分钟至数小时的长音频，不适合直接用于模型训练或对齐，因此系统通过语音活动检测（VAD）自动切分为短音频片段，从而生成可用于转写和质量评估的语句级数据，为后续处理奠定基础。

说话人属性标注：为了丰富数据集，使其具备多说话人建模和风格感知合成所需的说话人级别元数据，WenetSpeech-Pipe 引入了 说话人属性标注阶段。首先，利用 pyannote 工具包 进行说话人分离，为同一录音中的短片段分配局部说话人标签，实现录音内的说话人区分。
其次，利用 Vox-Profile对每个片段的说话人进行年龄和性别估计，从而生成说话人属性注释。该流程最终得到带有说话人身份、年龄和性别信息的语句级片段，形成多维度的元数据，有助于监督建模和可控风格的语音建模

语音质量标注：WenetSpeech-Pipe 在语音质量评估阶段结合三种方法：Brouhaha 计算信噪比、DNSMOS 预测主观质量分、带宽检测分析频谱特性，从而为每个片段生成包含 SNR、MOS 与频谱参考的结构化质量标注，支撑高保真语音建模。

ps：关于 Brouhaha: multi-task training for voice activity detection, speech-to-noise ratio, and C50 room acoustics estimation：
代码：https://github.com/marianne-m/brouhaha-vad
给定一个音频片段，Brouhaha 可以提取：语音/非语音片段，语音噪声比 (SNR)，C50，测量环境混响程度。

DNSMOS：基于多阶段自我学习（multi-stage self-teaching） 的无参考感知客观指标：DNSMOS，用来评估噪声抑制模型的语音质量。基于 CNN；输入为语音频谱；训练以人类主观评分为目标，采用自我学习提升性能.

自动语音识别：单一 ASR 系统通常会因架构限制、训练数据不足或领域不匹配而表现出系统性偏差和错误模式。为了缓解这些问题并提升转写可靠性，WenetSpeech-Pipe 采用 多系统集成识别 方法，结合不同的识别范式。具体来说，每个音频片段会被 独立输入到三个高性能粤语 ASR 系统：开源模型 SenseVoice、Whisper，以及商用系统 TeleASR。这些系统在架构、训练数据和优化目标上各不相同，因此能够形成互补的错误分布和多样的语言假设。最终输出为每条语句的三份并行转写，作为后续融合与优化的基础输入。

文本后处理：WenetSpeech-Pipe 通过文本后处理统一多系统转写结果：使用 OpenCC 繁转简，去除符号与标签，规范数字和日期格式，并在中英文间加空格。这样生成的规范化转写确保 ROVER 融合时不会受表层差异干扰。

  • 使用 OpenCC 将繁体字统一转换为简体字；
  • 去除所有标点和特殊符号；
  • 基于规则重写统一数字与日期表达；
  • 在粤语与英语单词之间插入空格，便于双语建模。

经过上述步骤，系统获得了跨三套 ASR 的标准化转写，作为 ROVER 模块的鲁棒输入，避免表层差异干扰语音与词汇层面对齐。

为了确保不同 ASR 系统之间的转写格式一致，我们提出了一个集成的文本后处理框架，包含四个关键操作：

  1. 标点去除：通过正则表达式匹配，删除符号类字符；
  2. 繁转简：利用 OpenCC 库实现繁体到简体的转换；
  3. 文本规范化：使用 an2cn 工具进行数字的标准化转换；
  4. 合理分词：借助 Pangu 工具实现恰当的词间空格。

这四个步骤共同作用，能够在不同 ASR 系统输出存在差异的情况下，保证生成标准化的文本格式。

识别结果投票：虽然文本后处理统一了转写表层形式，但在词汇选择、分词和音素表示上仍存在差异。为了得到统一且高精度的参考转写，WenetSpeech-Pipe 采用了 ROVER (Recognizer Output Voting Error Reduction) 框架 ，通过多系统投票提升转写精度。

在实现上，标准 ROVER 流水线被扩展以更好地适应粤语：

  • 使用动态规划对三套系统的转写结果进行对齐；
  • 引入候选过滤模块，计算某系统输出与其余两套平均转写的编辑距离，若超过阈值则剔除该系统结果；
  • 在每个对齐位置，选择最常出现的词，并将整体投票频率作为语句级置信度；
  • 并行引入 基于拼音的投票，结合字符级投票，保证音素一致性。

为进一步提高转写准确率，系统引入 大语言模型 Qwen3-4B，在共识输出的基础上进行最小化的上下文感知修正，仅在语法、用词或命名实体方面做必要调整，保持口语内容的完整性。

字级别时间戳对齐：最后，使用预训练声学模型在字符级别上强制对齐修正后的转写与原始音频，从而获得精确的逐字符时间戳，支持更精细的语音处理和下游任务。

Meta Data Example:

将所有音频的元数据以标准化的 JSON 格式进行存储。核心字段包括：

  • utt_id（每个音频片段的唯一标识符）、
  • rover_result（来自三个 ASR 转写结果的 ROVER 融合结果）、
  • confidence（文本转写的置信度分数）、
  • jyutping_confidence（粤语拼音转写的置信度分数）、
  • duration（音频时长）。

说话人属性（Speaker attributes）包含参数：speaker_id、性别（gender）和年龄（age）。音频质量评估指标包括专业测量项：采样率（sample_rate）、DNSMOS 和 SNR。时间戳信息（timestamp）精确记录了起始时间（start）和结束时间（end）。此外，在 meta_info 字段下还扩展了更多元数据，包括：program（节目名称）、region（地理信息）、link（原始内容链接）、以及 domain（领域分类）。

WenetSpeech-Yue

数据集分布

元数据：所有元数据存储在单一 JSON 文件中，字段包括音频路径、时长、文本置信度、说话人身份、信噪比（SNR）、DNSMOS 分数、年龄、性别以及字符级时间戳。这些字段具有可扩展性，未来可进一步加入新的标签。

领域分布：WenetSpeech-Yue 的语料来源大致涵盖十个领域：故事、娱乐、戏剧、文化、Vlog、评论、教育、播客、新闻及其他，具体分布如图2所示。

时长分布：整个语料库共包含 21,800 小时音频，既包括长录音也包括短片段，切分后平均时长为 11.40 秒。

置信度：我们仅保留文本置信度高于 0.6 的标注，并根据confidence区间划分为三类：强标注（confidence> 0.9，6,771.43 小时）、中等标注（0.8 ~ 0.9，10,615.02 小时）和弱标注（0.6 ~ 0.8，4,488.13 小时）。

语音质量：我们评估了语料的音质：DNSMOS 分数范围为 2.0–4.4，SNR 范围为 -5–80 dB，采样率分布为 8,000–32,000 Hz。为确保生成式任务的可用性，我们过滤后仅保留 DNSMOS > 2.5 且 SNR > 25 dB 的样本，共得到约 12,000 小时高质量语音，可用于 TTS、声码器或语音转换等任务。

说话人属性：语料库在性别与年龄上分布不均，以男性为主，尤其集中在中年群体（50.6%），而女性在各年龄段中比例相对较低。

WSYue-eval

为应对粤语的语言特性，我们提出 WSYue-eval，一个同时涵盖 ASR 与 TTS 的综合评测基准，用于全面检验模型在粤语处理上的表现。

ASR 评测集（WSYue-ASR-eval）：该测试集经过多轮人工标注，包含转写、情感、年龄、性别等信息，并划分为 短语音（0–10 秒，9.46 小时，2861 位说话人）和 长语音（10–30 秒，1.97 小时，838 位说话人）两个子集，覆盖粤英转换及多领域场景。

TTS 评测集（WSYue-TTS-eval）：该基准专为零样本粤语 TTS 设计，包含两个子集：

  • Base：1000 条来自 CommonVoice 的提示-文本对，用于测试日常场景；
  • Coverage：由于 CommonVoice 主要包含日常对话数据，其对不同领域和语言现象的覆盖范围有限。为了解决这个问题， Coverage 子集由人工与 LLM 生成文本组成，覆盖日常、新闻、娱乐、诗歌等多领域，并包含多音字、变调、语码转换、专名、数字等复杂语言现象。

模型训练策略：

模型均采用两阶段训练策略：初始阶段使用混合的中高置信度标签实现快速收敛，之后在高置信度标签上进行微调，以最大限度地提高转录准确率。这种设置既降低了训练成本，又直接反映了数据集的质量影响。

分2阶段ASR任务训练效果

阶段 1 在混合置信度数据集上训练，已经能够取得非常具有竞争力的粤语 ASR 性能，而阶段 2 在高置信度数据上进行微调，则在 WSYue-ASR-eval 的两个测试集上都带来了显著提升。这些观察结果验证了高置信度标签是性能提升的主要驱动力。我们认为保留置信度信息至关重要，因为它能够支持灵活的训练策略：高置信度子集可用于主导微调，而低置信度片段经过谨慎利用，则可以在半监督或领域自适应场景下提高模型的鲁棒性。

模型效果：

ASR任务：

采用混合错误率（MER）作为评测指标，其中中文按字级、英文按词级计算错误，用于比较基于 WenetSpeech-Yue 训练的模型与各类基线模型的表现。表1的实验结果显示：

  1. 在所有模型规模（small、medium、w/ LLM）下，我们的模型在大多数评测集上表现最佳；
  2. 在小规模模型中，SenseVoice-small-Yue 和 U2pp-Conformer-Yue 均表现优异，其中 SenseVoice-small-Yue 尽管规模较小，却超过了所有基线模型，说明该语料库能显著提升低容量模型的效率；
  3. 在不带 LLM 的组别中，U2pp-Conformer-Yue、Whisper-medium-Yue 和 SenseVoice-small-Yue 均优于大规模基线模型；
  4. 在带 LLM 的组别中，U2pp-Conformer-LLM-Yue 始终达到当前最先进水平。

总体来看，WenetSpeech-Yue 不仅显著提升了整体性能，还能充分释放不同规模模型的潜力，验证了其在传统 ASR 和 LLM 增强型 ASR 中的广泛价值。

TTS任务：

表2的实验结果表明，基于 WenetSpeech-Yue 微调的 Llasa-1B-Yue 和 CosyVoice2-Yue 在客观和主观指标上均显著优于各自的预训练基线：CosyVoice2-Yue 在 MER 和自然度（UTMOSv2）上表现最佳，并取得最高的可懂度（I-MOS），而 Llasa-1B-Yue 则在说话人相似度（S-MOS）和口音自然度（A-MOS）方面领先，体现了更自然的韵律与风格。整体上，两种模型在多维度上均大幅提升了粤语 TTS 的质量，验证了 WenetSpeech-Yue 在推动粤语语音合成方面的有效性。

MOSS-TTSD 中英双语口语对话合成模型

当前的文本到语音（TTS）模型在单句或孤立段落的语音生成效果上取得了令人瞩目的进展，合成语音的自然度、清晰度和表现力都已显著提升，甚至接近真人水平。不过，由于缺乏整体的对话情境，这些 TTS 模型仍然无法合成高质量的对话语音。

MOSS-TTSD 是一个口语对话语音生成模型，实现了中英双语的高表现力对话语音生成，支持零样本多说话人音色克隆，声音事件控制以及长语音生成。与传统 TTS 模型只能生成单句语音不同，MOSS-TTSD 能够根据完整的多人对话文本，直接生成高质量对话语音，并准确捕捉对话中的韵律变化和语调特性，实现超高拟人度的逼真对话语音合成。

亮点：

  • 高表现力对话语音：基于统一语义-声学神经音频Codec、预训练大语言模型、百万小时TTS数据与约40万小时的真实/合成对话语音数据，MOSS-TTSD能够生成高表现力，高自然度，具有自然对话韵律的拟人对话语音。
  • 双说话人零样本声音克隆：MOSS-TTSD支持零样本双说话人克隆，按脚本精确进行角色/声线切换。只需要提供10到20秒的参考音频片段。
  • 中英双语：MOSS-TTSD支持中英两种语言的高表现力语音生成。
  • 长音频生成：得益于低码率Codec与训练框架优化，MOSS-TTSD在长音频生成场景进行了大量训练（训练最大长度达到960s），能够单次生成超长音频。

模型概览：

1 模型结构概览：基于Qwen3-1.7B-base模型进行训练，使用八层RVQ码本进行语音离散化，使用自回归加Delay Pattern进行语音token生成，最后使用Tokenizer的解码器将语音token还原为语音。

MOSS-TTSD 使用完全离散化的方式进行语音生成。我们训练了一个8层 RVQ 的音频 Codec：XY-Tokenizer，来对原始音频进行量化。 XY-Tokenizer 能够同时编码语音的语义和声学信息，并具有较低的比特率（1kbps），这使得LLM能够有效地学习音频序列并建模细节声学特征。 在序列建模方面，受到 MusicGen 和 VOICECRAFT的启发，我们使用自回归建模加多头 Delay 的方式进行语音 token 生成。

语音离散化: XY-Tokenizer：

为了统一建模语音的语义和声学信息，并实现低比特率，我们构建了 XY-Tokenizer，它使用了双路 Whisper Encoder 进行语音编码，8层 RVQ 量化，两阶段多任务学习的方式进行训练。实现了 1kbps 的比特率和 12.5Hz 的帧率[1024码本大小]。

XY-Tokenizer 采用了两阶段多任务学习的方式进行训练。第一阶段（上半部分）训练ASR任务和重建任务，让编码器在编码语义信息的同时保留粗粒度的声学信息。第二阶段（下半部分）我们固定住编码器和量化层部分，只训练解码器部分。通过重建损失和 GAN 损失，利用生成式模型的能力补充细粒度声学信息。

我们扩展了Codec训练的数据量，使用了10万小时带有转录文本的语音数据进行训练。下表对比了在LibriSpeech测试集上不同 Codec 在语义和声学性能上的表现。WER为ASR任务中的词错误率，WER越低表示语音 token 的语义信息与文本对齐程度更好。粗体为低比特率 Codec 组中的最优或次优性能。

XY-Tokenizer 是在1kbps，12.5Hz的帧率下同时建模语义和声学信息性能最好的 Codec ，在语义和声学指标上都取得了最优或次优的结果。

为了更好地编码和重建复杂的对话音频，我们扩展了50万小时无转录音频数据进行增强训练，扩展 Codec 对于复杂音频和场景的处理能力。

得益于Codec的超低比特率，我们模型的训练长度最长达到了960s的音频，这使得我们的模型可以一次性地生成超长的语音，避免了拼接语音片段之间的不自然过渡。

数据工程：

TTS 模型的性能与训练数据的质量和数量有着密切的关系，为了规模化高质量 TTS 数据和 TTSD 数据，我们设计了高效的数据处理流水线，可以从海量原始音频中准确筛选出单人语音和多人对话语音并进行标注。

对于原始音频，我们首先使用内部的说话人分离模型进行语音分段和说话人标注。 基于预训练基模，我们的说话人分离模型性能已经优于开源说话人分离模型 pyannote-speaker-diarization-3.1 及其商用版本 pyannoteAI 。

说话人分离模型在不同数据集上的 DER(Diarization Error Rate) 结果（越低越好），我们的模型在四个测试集上都取得了最优性能

我们使用 DNSMOS 分数来作为语音质量的评估标准，我们假设 DNSMOS 分数高的语音大概率不包含背景噪声。 为了保证语音的质量和较少的噪声，我们只保留 DNSMOS >=2.8的语音片段。 对于高质量的音频片段，我们直接对语音进行转录，作为 TTS 训练数据。 此外，我们设计了一套规则来将 Diarization 分离的语音片段组合成双人对话的片段用作 TTSD 训练，这样得到的对话片段我们称之为粗粒度对话片段。 虽然说话人分离模型能够较准确地分离说话人，但是我们发现它对一些较短的 Backchannel 不是特别敏感，存在漏分离的情况。 此外，当前的 ASR 模型无法准确地转录对话中重叠的语音。 因此，受 Parakeet[4] 的启发，我们训练了中文版的 Whisper-d 模型来对中文数据进行细粒度说话人标注和文本转录。对于英文数据我们直接使用 Parakeet 的开源 Whisper-d。 最终，我们使用说话人分离模型的粗粒度标签和 Whipser-d 模型的细粒度标签来将短对话片段组成长对话片段。

TTS 预训练：

TTS 预训练模型在 Seed-tts-eval 测试集上的词错误率对比（越低越好），加粗的结果代表最优和次优的性能； WER(Norm) 表示我们针对 ASR 的同义结果做了规则修正，减少了 ASR 模型错误导致的误判； CER(Norm) 表示我们将中文文本转为拼音后再计算词错误率，即 PER 指标，我们认为这是更加合理的方式； SparkTTS 和 Cosyvoice2 的结果为我们本地使用官方推理代码重新测试的结果；

我们使用了110万小时的中英文 TTS 数据对模型进行了预训练，大规模的 TTS 预训练可以显著增强 TTSD 模型的语音韵律和表现力，并提升模型泛化能力。 我们使用了 Seed-tts-eval评测了 TTS 预训练模型的性能，取得了和当前顶尖闭源模型 Seed-TTS 相当的性能。 经过 TTS 预训练后的模型已经有了较强的语音生成能力和零样本音色克隆能力。

TTSD 后训练：

最终，我们收集了10万小时中文对话数据和27万小时英文对话数据。 此外，为了增强模型的说话人切换准确率，我们合成了4万小时中文对话数据和4万小时英文对话数据。 为了增强模型对于中文标点符号的感知能力，我们使用 Gemini 对部分数据（约7万小时）中的转录文本进行了修正。

在训练阶段，我们基于 TTS 预训练的检查点，使用 WSD Scheduler 进行训练，我们没有针对 Decay 阶段做特殊的数据规划。 此外，我们发现无法通过验证集挑选表现最好的检查点，因此我们通过人工评估的方式挑选了主观表现最好的检查点。

DeSTA2.5-Audio 保留大模型推理能力

核心：通过设计模型自我生成数据的方法，仅使用少量数据就能跨模态对齐，同时实现鲁棒、泛化强、无需任务调参的通用音语大模型。 实现对音频输入的有效适应的同时，保留其指令跟随能力。 适用于没有大量的训练数据的情况！！！

论文标题：DeSTA2.5-Audio: Toward General-Purpose Large Audio Language Model with Self-Generated Cross-Modal Alignment

当前主流音频语言模型虽可执行听觉感知与指令遵循任务，但往往依赖人工构建或跨模型生成的数据集，导致模型出现灾难性遗忘（Catastrophic Forgetting）现象，语言能力退化明显。本论文从根本出发，重新审视数据构建流程，提出「模型自我生成训练目标」机制，保留 LLM 的语言能力，同时实现精准的跨模态对齐，从而训练出鲁棒、泛化强、无需任务调参的通用音语大模型。

论文的主要研究成果与创新点：自生成跨模态对齐策略 DeSTA： 由 LLM 自行生成训练标签，确保风格与输出一致性，克服灾难性遗忘，提升跨模态迁移鲁棒性；大规模通用数据集 DeSTA-AQA5M： 覆盖语音、环境声、音乐三大领域，含 500 万组音频-指令-响应数据，源自 50 个公开数据集，总计约 7000 小时；强大的泛化性能： DeSTA2.5-Audio 在多个标准测试集（Dynamic-SUPERB、MMAU、SAKURA、Speech-IFEval、VoiceBench）上展示优异的性能。 

首篇系统提出“自生成音频文本对齐”策略并应用于 LALM 训练的研究；无需人工调教或额外任务调参，模型即能在多个语音理解、情绪识别、环境声分析等任务中展现 SOTA 表现；重要对比发现： 明确指出模型训练过程中数据来源与模型分布不一致将大幅损害性能，即使采用更强大的 LLM 生成数据亦无法弥补，凸显「数据生成一致性」为构建通用 LALM 的关键。以少胜多，仅用 7000 小时音频达成超过使用 51 万小时数据的模型效果，堪称“大模型训练范式创新”典范。

当训练数据与模型原有生成分布不一致时，模型容易遗忘其原有的语言理解与生成能力，这种现象在 LLM 融入新模态时尤为突出。

原因： 该方法本质上是利用encoder+Qformer学习语音中的元数据信息，采用同一个LLM为了保证输出分布一致性，这样只要encoder+Qformer学习到了语音中的元数据信息（对齐语音-文本），那么最后模型的输出就跟LLM的输出一致。如果构造数据的LLM跟训练的LLM不一致，那么不仅仅需要对齐语音和文本，还需要重新学习文本LLM的输出分布，那么就需要放开LLM的权重进行训练，会影响模型本身的文本能力，会逐渐扭曲大模型原本的输出分布或指令跟随能力，最终损害其基于文本的知识！！！

图 2. （左）数据集构建：将音频描述 xtext和随机采样的提示 p输入到基础大模型中，以生成训练目标 y。
（右）模型训练：融合模型使用自生成的目标 y 以及相应的音频输入 xaudio 和提示 p进行训练。火焰和雪花图标分别表示可训练模块和冻结模块。音频解码器为可选组件。

DeSTA2，一种自生成的跨模态对齐框架，通过让基础语言模型生成其自身的训练目标，从而缓解监督信号冲突。具体来说，我们将每个音频片段的元数据转换为结构化的文本描述，并与任意提示词配对；随后，大语言模型生成相应的响应，作为跨模态对齐的训练目标。这种自生成监督确保了风格和语义与大模型原生输出分布保持一致，从而在实现对音频输入的有效适应的同时，保留其指令跟随能力。

自生成数据集构建

Step1：收集多样化的音频数据集，这些数据集包含丰富的元数据信息。将每段音频的元数据转换为结构化的文本格式。

  • 例：语音片段 → "[00:00-00:05] Hello world (Gender:Female, Emotion:Happy...)"
  • 例：音频描述片段 → "[00:00-00:10] (A dog barking)"

Step 2：构建初始配对数据集

  • 形成初始数据集 Dinitial={(xaudio,xtext)}，其中每条音频xaudio​ 与其对应的文本描述 xtext​ 对齐。

Step 3：采样提示词

  • 从预定义的指令池P 中随机采样一个提示词 p。
  • 指令池包含多样化的提示类型：
    • 描述类任务（如 “Describe the audio”）
    • 角色扮演类任务（如 “Respond to the audio based on its expression”）
    • 开放式问题（如 “Where is the audio being recorded?”）

Step 4：生成训练目标

  • 将文本描述 xtext​ 与提示词 p 输入到大语言模型。
  • 模型输出响应 y=LLM(xtext,p)。

Step 5：形成最终训练数据集

  • 构建最终的数据集D=(xaudio​ , xtext ​, p , y)。
  • 每条样本包含：音频输入、对应文本描述、提示词、以及大模型生成的响应。

该方法的一个关键优势在于，它能够保留大语言模型对输入的原生理解与响应方式，从而保证训练数据在风格与语义上的一致性。举例来说，我们观察到经过指令调优的 Llama3.1往往会生成带有解释性的回答，使用项目符号组织内容，并且常常在正文前包含问候语。这些特定于模型的风格模式会自然地体现在生成的数据中。因此，虽然该构建流程可兼容任意文本类大模型，但在跨模态对齐任务中，采用相同模型（即自生成方式）是最合理的设计。

模型训练

采用 Llama3.1-8B-Instruct 和 Whisper-large-v3，六层 Q-former 【 64 个查询】架构。

预训练的音频模型与经过指令调优的大语言模型（LLM）进行融合。为了实现音频与语言模态之间的桥接，我们在二者之间引入了由 Q-Former 块 构成的模态适配器。

音频模型与 LLM 参数均被冻结，仅对模态适配器进行微调，以学习稳健的音频–文本对齐表征。融合模型在三元组形式(xaudio​,p,y) 上进行训练。

输入音频xaudio​ 可选地通过音频解码器转录为文本序列 t∈RL，其中 L 为序列长度。该转录结果进一步输入 LLM 的词嵌入层，用于增强语言对齐。

  • 优化器：Adam
  • 学习率调度：余弦退火（cosine annealing），包含 2000 步预热
  • 训练轮数：5 epoch
  • 硬件配置：8 张 NVIDIA A100-80GB GPU
  • 全局 batch size：96
  • 初始学习率：1e-4
  • 总训练步数：约 250,000 steps

Dataset

元数据包括副语言特征（例如音高、响度、语速、韵律、音色、情绪基调和说话风格）、说话者身份属性（例如口音、性别和年龄）、音频质量指标（例如背景噪音水平、混响以及伪造或合成音频）以及环境或情境声音（例如动物叫声、人类动作、环境声音、乐器、音乐类型和自然环境）。

数据集总计约 7,000 小时音频：5,400 小时语音、1,000 小时环境声音和 500 小时音乐。

关于指令池，为语音类别挑选了 4,000 个提示，为环境声音和音乐类别挑选了 3,000 个提示。

响应均使用 vLLM 工具包 生成，解码参数设定为 temperature = 0.05、top-p = 1.0。通过这一过程，我们构建了一个规模约 500 万条音频–提示–响应三元组 的大规模数据集，命名为 DeSTA-AQA5M，并将其作为 DeSTA2.5-Audio 的训练语料。

实验结果

模型在多个基准测试中的排名呈现出一致的趋势。值得注意的是，DeSTA2.5-Audio 始终展现出卓越的性能，凭借在各种音频语言任务中强大的泛化能力，成为表现最佳的模型。它在 Dynamic-SUPERB Phase-1（69.53）、MMAU（57.50）、SAKURA-Multi（69.85）和 Speech-IFEval（93.89）上均取得了最高分，彰显了其在多个领域和条件下的稳健性和泛化能力。

消融实验：【核心】

 (PPL)困惑度越低，表明模型对训练目标越熟悉，分布差异就越小。

如表三所示，自生成的训练数据始终表现出较低的困惑度，这表明生成的响应与主干 LLM 的分布很好地一致。比较 Llama3.1 (A1) 和 Qwen2.5 (A2)，Qwen2.5 在所有基准测试中始终优于 Llama3.1。这种性能差距可能归因于 Qwen2.5 更强大的文本生成能力。虽然 Qwen2.5 在基本内容理解任务中的表现与 Llama3.1 相对相当，但它在其他领域表现更佳，例如 Dynamic-SUPERB Phase-1 中的说话人分类，以及 MMAU 中的环境声音和音乐理解。先前对基于文本的基准测试的评估也表明，与 Llama3.1 相比，Qwen2.5 表现出更出色的推理和数学能力 。然而，目前尚无确凿证据表明在听觉感知方面有相应的优势，这值得进一步研究。尽管如此，在相同的训练条件下，我们的实验结果表明 Qwen2.5 作为主干 LLM 比 Llama3.1 更有效。这些发现也表明我们的训练框架在不同 LLM 上具有良好的泛化能力。

提示多样性对模型性能也起着重要作用，尤其是在 A1 和 A3 的比较中。在 A3 中，我们采用了使用单个描述性提示 (1-p) 的自生成设置，已经展示了强大的零样本泛化能力。通过简单地增加提示多样性（就像在 A1 中所做的那样），进一步丰富了训练目标并提高了训练方法的整体有效性。值得注意的是，这些结果是在不需要任何特定于任务的指令对的情况下实现的。这凸显了自生成设计的优势。即使数据构建完全依赖于随机抽样的提示，该模型仍然可以利用 LLM 的固有功能实现零样本生成。

比较自生成和跨模型设置时，跨模型设置中的训练目标会导致更高的困惑度，这表明主干 LLM 对数据分布的熟悉程度较低。例如，虽然在 Qwen2.5 生成的数据 (A2) 上训练 Qwen2.5 会产生很好的结果，但在 Qwen2.5 生成的数据 (B1) 上训练 Llama3.1 会导致模型退化，输出包含重复或无意义的标记。同样，在 Gemma3-12B (B2) 生成的数据上训练 Llama3.1 也无法达到在自生成设置 (A1) 中观察到的性能。这些结果支持了我们的分布不匹配假设，并强调了使用自生成配置的重要性，即使在注释器 LLM 功能更强大的情况下也是如此。我们还探索了使用 Llama3.1-70B 生成训练数据 (B3)，它代表了同一系列中更强大的模型。在这种情况下，较低的困惑度 (2.20) 表明训练数据与 Llama3.1 的分布更加一致。然而，与 A1 相比，B3 在 Dynamic-SUPERB 和 SAKURA 上取得了更好的表现，但在 MMAU 和 Speech-IFEval 上表现不佳。这表明使用更强大的模型并不一定能在所有任务上带来一致的改进。

在 LoRA 适配器设置中，我们向骨干 LLM 引入了可训练参数，预计这将提升模型容量并有助于缓解分布不匹配问题。在自生成设置 (C1) 中，数据集与骨干 LLM 高度对齐，我们发现添加 LoRA 层可获得相似或略微提升的性能。这表明，在自生成设置下，加入 LoRA 适配器并不能带来显著的优势。换句话说，在使用我们提出的训练框架时，微调轻量级模态适配器足以实现跨模态对齐，其中模型专注于学习听觉概念，而不会受到风格或分布不匹配的影响。有趣的是，当使用 Qwen2.5 生成的数据 (C2) 进行训练时，在 Dynamic-SUPERB、MMAU 和 SAKURA-Single 等音频处理基准测试中的表现与自生成设置 (A2) 相当。然而，它们在 SAKURA-Multi 和 Speech-IFEval 中的表现显著下降，这需要额外的文本知识和指令遵循能力。这一差异表明，虽然添加 LoRA 适配器有助于缓解分布不匹配问题，并在领域内任务中取得良好表现，但在需要 LLM 预训练知识的基准测试中，它仍可能降低模型的通用能力。这揭示了当前 LALM 训练策略的一个关键设计缺陷。LTU-AS 和 SALMONN 等模型试图通过在 LLM 中引入 LoRA 适配器层来解决灾难性遗忘问题。 然而，我们的实验结果表明，减少训练数据和模型分布之间的差异对于保持泛化能力是比单纯的架构修改更为关键的因素。

在 5 个 epoch 的设置下，我们研究了训练时长对模型性能的影响。5 个 epoch 的结果（D1 和 D2）表明，即时多样性不仅提升了有效性，也提高了训练效率。尽管训练次数仅为 epoch 的一半，但这些模型的性能与 10 个 epoch 的模型（A1）相当。值得注意的是，虽然 D2 随着训练时间的延长而持续改进（与 A3 类似），但收敛速度较慢，最终性能仍然较差，这表明多样化的训练目标对于实现更好的对齐效果也至关重要。相比之下，尽管 D3 仅用 5 个 epoch 就取得了不俗的性能，但 B1 表明在分布不匹配的情况下延长训练会导致模型退化。这些发现强调了我们的主要动机：有效的跨模态对齐需要反复训练以在不同 epoch 之间对齐音频表征。当训练数据与骨干模型匹配时，性能会稳步提升，而不会降低模型固有的语言能力。相反，从不匹配的数据中学习会给模型带来更重的负担，最终导致性能不佳并忘记其预先训练的语言能力。

Q-Former 跨模态对齐

论文：BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models

Q-Former 最开始被设计用于跨模态任务（如视觉-语言建模）的 transformer 模型。它由 BLIP-2（Bootstrapping Language-Image Pre-training 2）提出，目的是在视觉特征和语言模型之间建立高效的桥梁，从而提高大规模预训练语言模型在多模态任务中的表现。

后续也逐渐用于语音-文本模态的对齐任务中，比如： DeSTA2.5-Audio

BLIP-2 提出了一个通用且高效的预训练策略，能够从已存在的冻结图像编码器和大型语言模型中引导出强大的视觉-语言模型。核心思想是引入一个轻量级的Querying Transformer（Q-Former），在冻结的图像编码器和语言模型之间架起桥梁。Q-Former 被设计为一个信息瓶颈，负责从图像编码器中提取对文本生成最有用的视觉特征，并将其传递给大型语言模型。

Querying Transformer（Q-Former）：

Q-Former 是一个轻量级的 Transformer 模型，包含一组可学习的查询向量（queries）。其架构由两个共享自注意力层的 Transformer 子模块组成：

  1. 图像 Transformer：与冻结的图像编码器交互，提取视觉特征。
  2. 文本 Transformer：同时可以作为文本编码器和解码器。

这些查询向量通过交叉注意力层与图像特征进行交互，提取出固定数量且对文本生成最有用的视觉特征。Q-Former 的输出是这些查询向量的表示，记为Z 。

由于 Q-Former 的输出维度比图像编码器的输出特征要小很多（例如，32×768 vs. 257×1024），因此它起到了信息瓶颈的作用，只保留了对后续文本生成最有用的视觉信息。这种设计减轻了大型语言模型在冻结参数的情况下与视觉特征进行对齐的负担。

两阶段预训练策略：

BLIP-2 的预训练分为两个阶段，每个阶段都有特定的训练目标，以逐步引导模型实现视觉和语言的有效结合。

第一阶段：从冻结的图像编码器中引导视觉-语言表示学习

在第一阶段，将 Q-Former 与冻结的图像编码器连接，通过图像-文本对进行预训练。目标是训练 Q-Former，使其能够提取与文本最相关的视觉表示。

第二阶段：从冻结的大型语言模型中引导视觉到语言的生成学习

在第二阶段，将 Q-Former 输出的视觉表示连接到冻结的 LLM 上，训练 Q-Former 使其输出的视觉特征能够被 LLM 解释和利用。根据 LLM 的类型（解码器或编码器-解码器），采用不同的策略：

对于解码器类型的 LLM：利用语言模型的自回归特性，采用语言建模损失，让 LLM 在给定视觉特征的情况下生成文本。

对于编码器-解码器类型的 LLM：将视觉特征和前缀文本输入到 LLM 的编码器中，然后让解码器生成后续的文本，使用前缀语言模型损失进行训练。

在这一阶段，Q-Former 被训练使其输出的视觉特征能够被 LLM 有效地理解和利用，从而实现视觉到语言的高效生成。

SecoustiCodec 流式语音单码本编解码器

快手科技、天津大学、中科院自动化所与清华大学联合发布了SecoustiCodec，一种跨模态对齐的流式单码本语音Codec。支持语义信息、副语言信息、声学信息的独立编码与重构。可以应用于语音合成、语音对话模型等生成式语音任务。

背景动机

随着大型语言模型（Large Language Models，LLMs）在生成式人工智能领域的快速发展，基于语音的应用如文本到语音合成（TTS）、自动语音识别（ASR）以及语音对话系统等日益受到关注。语音编解码器作为连接原始语音信号与语言模型的重要桥梁，其作用类似于自然语言处理中的文本分词器，能够将连续的语音波形转化为离散的编码 token，便于与LLM等模型进行有效融合和交互。 

然而，当前主流的神经语音编解码器通常采用残差向量量化（RVQ）方法，通过将语音的语义信息与残差信息直接相加的方式重构语音。这种设计限制了语义编码的解耦能力及重构效果，不利于语义和声学信息的有效分离和高质量恢复。采用单一码本进行编码，这在低比特率条件下限制了编码的表达能力，难以兼顾语音的高保真度和压缩效率。同时，大多数现有模型采用非因果网络结构，导致处理延迟较高，难以满足实时语音翻译、在线会议和交互式对话系统等延迟敏感场景的需求。 

针对上述瓶颈，我们提出了SecoustiCodec，一种全新设计的神经语音编解码器框架。SecoustiCodec通过独立建模声学信息、语义信息以及副语言信息，实现了低码率、高保真度的实时流式语音编码与解码。该方法不仅提升了语义编码的可分离性和重构质量，还有效降低了延迟，显著增强了模型在实际实时应用中的适用性。

图2： SecoustiCodec 使用经过训练的声学表征（逐帧的连续值）来约束语义表征（逐帧的离散值）和副语言表征（全局的连续值）的联合训练。虽然某些副语言线索（如细微的情感变化）会呈现出难以完全由全局层面捕获的细粒度变化，但我们有意采用全局层面的副语言表征。这一设计能够在实现稳健语义解耦的同时，捕捉声学与语义表征之间的主要残差信息，例如说话人的音色和整体情感特征。我们认为，这种全局层面的表征能够高效地覆盖大部分副语言信息，并促进核心关系的建模：
语义 + 副语言 ≈ 声学

Contributions：

  • 为了确保语义完整性和重建保真度，引入了副语言编码来弥合语义编码和声学编码之间的信息鸿沟。
  • 基于 VAE+FSQ 的纯语义高效量化方法，提高码本利用率以及缓解token的长尾分布。
  • 提出了一种基于对比学习的语义解缠方法，该方法在联合多模态帧级空间中对齐文本和语音。
  • 设计了一种声学约束的多阶段优化策略，通过逐步引入模块并调整不同损失成分的影响来确保模型的有效收敛。此外，采用因果架构来支持流式编码和解码。

方法

SecoustiCodec的整体架构包括三个主要的建模过程：声学建模（Acoustic Modeling）、语义建模（Semantic Modeling）和副语言建模（Paralinguistic Modeling）。这三个过程相互协作，共同实现语音信号的编码和解码。具体来说：

  • 声学建模：负责将输入的语音信号编码为连续的声学表示，并通过解码器重建语音信号。
  • 语义建模：通过对比学习和高效的量化方法，提取纯净的语义信息，并将其编码为离散的语义表示。
  • 副语言建模：提取语音中的副语言信息（如音色、情感等），并将其编码为全局级的副语言表示。

这三个表示之间的关系可以用公式S + G ≈ A 来描述，其中 S 是离散语义编码，G 是全局级副语言编码，A 是连续声学表示。通过这种方式，SecoustiCodec能够在单码本空间中实现语义和副语言信息的分离。

1.声学建模

声学建模部分包括语音编码器、声学投影和语音解码器。语音编码器将输入的语音信号Sin编码为连续的声学表示 A，然后通过声学投影模块进一步处理。语音解码器则负责将声学表示 A 重建为语音信号。

2. 语义建模

语义建模部分包括语义投影、变分自编码器（VAE）、有限标量量化（FSQ）和对比学习模块。其目标是从语音信号中提取纯净的语义信息，并将其编码为离散的语义表示 S。首先通过语义投影，将语音编码器的输出进一步映射到一个低维的语义空间。随后采用VAE + FSQ，通过VAE生成语义表示的均值 μ 和方差 σ，然后通过FSQ将这些连续的语义表示量化为离散的语义编码 S。这种方法不仅保留了语义信息，还进一步去除了副语言信息，同时提高了码本利用率。最后通过对比学习模块，将语音编码器生成的语义表示 S 和文本编码器生成的音素表示 P 对齐到一个联合帧级对齐的多模态空间中。通过最大化正样本对（S和对应的P）之间的相似度，同时最小化负样本对（S和不对应的P）之间的相似度，模型能够学习到纯净的语义表示。

其中 P 是音频表征，S 是语义表征，A是声学表征。

3. 副语言建模

副语言建模部分包括副语言编码器和语义连接器。其目标是从语音信号中提取副语言信息，并将其编码为全局级的副语言表示G。首先通过副语言编码器才从语音信号中提取副语言信息，如音色、情感等。随后经过语义连接器，将语义表示 S 和副语言表示 G 结合起来，预测声学表示 A^。通过这种方式，模型能够在解码阶段利用副语言信息来重建语音信号。

副语言语音 Gi​n 作为副语言编码器的输入：

G 表示副语言嵌入，其中 G 是固定长度的全局向量

4. 声学约束的多阶段优化策略

SecoustiCodec设计了一种声学约束的多阶段优化策略，逐步引入模块和调整损失函数的影响，确保模型的有效收敛。具体来说：

第一阶段（声学建模）Algorithm(Lines 3-4)：仅训练语音编码器、声学投影和语音解码器，专注于学习声学表示A。

第二阶段（语义和副语言建模）Algorithm(Lines 5-13)：冻结第一阶段的模块，训练语义投影、副语言编码器、语义连接器等模块，逐步引入对比学习损失和KL散度损失，优化语义和副语言表示。

实验结果

1.结构对比

SecoustiCodec在0.27kbps的比特率下实现了20Hz的帧率和20tokens/s的编码速率，仅次于MimiCodec。SecoustiCodec采用VAE+FSQ量化方法，同时支持单码本语义编码和连续值声学编码。SecoustiCodec使用1000小时的训练数据，与SpeechTokenizer、MimiCodec和BigCodec相当，但远少于FACodec的500000小时和TAAE的100000小时。此外，SecoustiCodec采用因果结构以支持流式编码和解码。

2. 语音重建性能

SecoustiCodec在0.27kbps和1kbps的比特率下实现了业界领先的重建质量。具体来说，SecoustiCodec（0.27kbps）在PESQ（感知语音质量评估）指标上达到了1.77，而SecoustiCodec（1kbps）的PESQ值更是高达2.58。这些结果不仅优于其他单码本模型，甚至在某些情况下超过了使用多个码本的模型。此外，SecoustiCodec在情感相似度（EmoSim）、说话人相似度（SpkSim）、对数谱距离（LSD）、基频误差（MSEP）、误配率（Mismatchrate）和词错误率（WER）等多个指标上也表现出色，证明了其在语义解耦和重建能力方面的优势。

3. 流式处理能力

SecoustiCodec的因果架构设计使其在流式处理方面表现出色。实验结果表明，SecoustiCodec的初始延迟为12.08ms，低于Encodec和MimiCodec等其他支持流式处理的模型。虽然Encodec在实时因子（RTF）方面表现更好，区别主要体现在解码阶段，SecoustiCodec在去掉声码器处理时间后的解码RTF仅为0.001，显著低于Encodec。

4. 消融实验

在不同量化方法的性能对比结果显示，VAE+FSQ量化方法在各项关键指标上均展现出优于VQ-VAE、SimVQ和FSQ等其他量化方法的表现。这一结果表明，VAE+FSQ在保留语义信息、去除副语言信息以及提高码本利用率方面具有显著优势。

对于因果结构的实验结果表明，具备因果结构的模型版本在多个指标上相较于不具备因果结构的版本有更佳表现，尤其是在实时性和低延迟场景中，这凸显了因果结构对于流式处理支持的重要作用。

在音高特征方面，实验结果表明，加入音高特征的模型在MSEP和WER等指标上的表现不如未加入音高特征的模型，这表明音高特征可能会对语义信息的提取产生干扰。

对于多阶段训练策略的实验结果表明，采用该策略的模型在所有指标上均优于未采用的版本，这表明多阶段训练策略对于模型的收敛和性能提升具有关键性影响。

声学嵌入维度的实验结果表明，较高的声学嵌入维度（256维）能够显著提升模型在多个评价指标上的表现。基于此，我们最终选择将256维作为SecoustiCodec的声学编码维度。

SecoustiCodec在单说话人场景下也表现出色，经过针对单一目标说话人进行微调后，模型在所有关键指标上均取得了高分。

SecoustiCodec的VAE + FSQ量化方法在码本利用率方面表现出色，达到了98.06%。这一结果显著高于其他量化方法，如VQ-VAE（9.7%）和SimVQ（8.61%）。高码本利用率意味着模型能够更有效地利用有限的码本资源，减少长尾分布问题，从而提高语言模型训练的效率和效果。

总结与未来展望

SecoustiCodec通过独立建模声学、语义和副语言信息，结合基于VAE + FSQ的高效量化方法、对比学习驱动的语义解耦技术和声学约束的多阶段优化策略，成功地在低比特率下实现了高保真、实时流式语音编解码。其在多个关键指标上的卓越表现证明了其在语音编解码领域的先进性和实用性。未来，我们计划探索无监督解耦方法，以减少对标注文本数据的依赖，并验证模型在其他语言上的适应性，以进一步提升其有效性和通用性。

S2SND 在线/离线统一推理的高精度说话人日志新框架

论文题目：Sequence-to-Sequence Neural Diarization with Automatic Speaker Detection and Representation

论文：https://arxiv.org/abs/2411.13849

摘自：https://mp.weixin.qq.com/s/s1JuYq5S2v2bfGnXPE0Qnw

研究动机

“谁在什么时候说话”是多说话人语音理解中的核心任务。然而，传统的说话人日志系统普遍依赖从完整音频提取说话人嵌入、聚类匹配或端到端建模等方法，往往只能离线运行，难以适应实时对话、会议转写等对系统延迟要求极高的实际场景。

为突破这些限制，武汉大学与昆山杜克大学研究团队提出了全新框架—— S2SND（Sequence-to-Sequence Neural Diarization，序列到序列的神经日志）。该方法基于序列到序列架构，创新性地融合了“说话人自动检测”与“嵌入动态提取”机制，无需聚类与先验的说话人嵌入，即可以在线推理的形式逐个识别新加入的未知说话人，并同步完成语音活动检测与说话人表示建模。

S2SND 无需聚类或排列不变训练（PIT），并具备统一支持在线推理与离线重解码等特性，在多个评估数据集的多种评测条件下均取得了领先性能，相关成果已发表于语音领域权威期刊 IEEE Transactions on Audio, Speech and Language Processing。

方法介绍

如图1所示，S2SND 框架采用序列到序列架构，主要包含三部分模块：基于ResNet-34的特征提取器（Extractor），基于Conformer的编码器（Encoder），和创新性设计的检测解码器（Detection Decoder）和表征解码器（Representation Decoder）两个部分，实现了说话人检测与嵌入提取的双向协同。首先，输入音频经过 ResNet 结构的帧级提取器生成时序说话人特征序列。随后送入基于 Conformer 架构的编码器建模长时依赖关系，输出作为下游解码器的主特征输入。在解码阶段，模型并行使用两个功能互补的解码器：检测解码器利用编码器的输出特征与目标说话人声纹嵌入作为参考信息，预测多个说话人的语音活动。反之，表征解码器则利用提取器的输出特征与目标说话人语音活动作为参考信息，提取多个说话人的声纹嵌入。

为了打通两条路径的协同优化，S2SND 引入一个可学习的全体说话人嵌入矩阵（Embedding Matrix），每一个行向量对应训练集中一个说话人的声纹嵌入。训练时，语音活动标签由标注数据提供，而目标说话人嵌入通过该矩阵查表获得（one-hot 标签与嵌入矩阵相乘），作为检测解码器的辅助查询；同时，该矩阵也作为表征解码器的监督目标，用于对其预测出的嵌入执行 ArcFace Loss监督。检测解码器输入的声纹嵌入和表征解码器输出的声纹嵌入为同个特征空间内联合优化所得。

为增强模型对新说话人的检测能力，训练中采用Masked Speaker Prediction机制：每个训练样本中会随机屏蔽一个已知说话人嵌入，使用一个可学习的“伪说话人嵌入”代替，并将其语音活动标签对应输出位置，促使模型学会发现“未注册说话人”的语音。另一方面，S2SND设计了Target-Voice Embedding Extraction机制：利用表征解码器从从多说话人混合音频中反向提取嵌入，实现检测与表征的闭环优化。整个框架端到端训练，联合优化语音活动预测的 BCE 损失与嵌入空间的 ArcFace 损失。 

图1. 序列到序列神经说话人日志（S2SND）框架示意图。其中，Det. 和 Rep. 分别表示检测（Detection）与表征（Representation）的缩写。

如图2所示，S2SND 支持低延迟的在线推理，采用块式（Blockwise）输入方式处理长音频。每次输入一个音频块，包含三部分：左上下文、当前块与右上下文，分别用于建模历史依赖、输出当前结果与提供未来参考。整个音频以滑动窗口方式逐块推进，当前块的结果实时输出，保证因果性。推理过程中，系统维护一个说话人嵌入缓冲区（Speaker-Embedding Buffer），用于存储当前已知说话人的嵌入表示。每一轮推理的输入说话人嵌入由三部分拼接组成：

  1. 固定在首位的训练过程中使用的伪说话人嵌入，用于检测是否有新说话人出现；
  2. 从缓冲区按顺序读取的已知说话人嵌入，用作特定人身份的参考信息；
  3. 用训练过程中使用的非语音嵌入作为填充，确保一个数据批次（Batch）的说话人数维度一致。

检测解码器以当前编码特征与上述嵌入序列为输入，预测每个说话人的语音活动（包括伪说话人）；随后，表征解码器再以提取器特征与预测的语音活动作为输入，反向提取所有目标说话人的嵌入表示。模型通过评估每个预测出的语音活动的非重叠语音时长作为嵌入质量权重，对应生成的嵌入只有在超过设定阈值时才会写入缓冲区：

  1. 若伪说话人的语音活动质量满足阈值，说明存在新的未注册说话人，其嵌入将以新身份编号写入缓冲区；
  2. 若已有说话人的语音活动质量满足阈值，则对应嵌入将追加到该说话人的缓冲列表；
  3. 低质量嵌入则被舍弃，以避免污染已缓存的嵌入。

每次推理仅采用当前块对应的时间范围内的预测结果拼接到历史结果，确保输出的时间因果性。此外，当整个音频推理完成后，系统可利用缓冲区中聚集的高质量说话人嵌入，对全段音频进行一次离线重解码（Re-Decoding），进一步提升整体识别精度。由于模型结构在在线与离线模式下完全一致，无需额外转换或重新建模。

图2. 序列到序列神经说话人日志（S2SND）推理流程图。其中，
Det. 和 Rep. 分别表示检测（Detection）与表征（Representation）的缩写。

流式推理伪代码：

Algorithm 1 Pseudocode of online inference in the Python-like style.
"""
- Extractor(), Encoder(), Det_Decoder(), Rep_Decoder(): neural network modules in S2SND models
- W(): calculating embedding weight
Inputs
- blocks: a sequence of input audio blocks
- e_pse/e_non: pseudo-speaker/non-speech embedding
- tau_1/tau_2: threshold for pseudo-speaker/enrolled-speaker embedding weight
- lc/lr: number of output VAD frames belonging to the current chunk / right context
- N: speaker capacity
- S: embedding dimension
Outputs
- dia_result: predicted target-speaker voice activities
- emb_buffer: extracted speaker embeddings
"""
dia_result = {}             # 初始化分离结果：字典，key=spk_id，value=拼接好的VAD帧序列
emb_buffer = {}             # 初始化“说话人嵌入缓冲区”：key=spk_id, value=[(embedding, weight), ...]
num_frames = 0              # 已经输出（拼接）的VAD帧计数，用于新出现的说话人补零对齐
for audio_block in blocks:  # 块式滑窗读取下一段音频（含左/当前/右三部分）

# 流式：逐块处理，保持低延迟与因果性。
    emb_list = [e_pse]                    # 输入给解码器的“说话人嵌入序列”首位固定放伪说话人嵌入
    spk_list = [len(emb_buffer) + 1]      # 并为它占一个新ID（“潜在新说话人”的候选ID）

# 伪说话人（pseudo-speaker）：用于探测是否有新说话人。
# spk_list[0] 提前预留一个“新ID”，如果这次块里真的检测到新说话人且质量达阈值，就用这个 ID。

# 将每个“已知说话人”的汇总参考嵌入拼到 emb_list，与 spk_list 一一对应。这样解码器就能对“伪说话人 + 已知说话人们”同时进行语音活动预测。
    for spk_id in emb_buffer.keys():      # 遍历已知/已注册的说话人
        e_sum = torch.zeros(S)            # 为该说话人累积权重和
        w_sum = 0
        for e_i, w_i in emb_buffer[spk_id]:
            e_sum += w_i * e_i            # 质量加权的嵌入加和
            w_sum += w_i
        emb_list.append(e_sum / w_sum)    # 得到该说话人的“参考嵌入”（加权平均）
        spk_list.append(spk_id)           # 记录其对应的说话人ID（顺序与emb_list对应）

# 确保这次前向中，说话人维（batch）长度固定为 N，便于张量化与并行。
    while len(emb_list) < N:              # 若说话人槽位不够，用非语音嵌入 e_non 填满（batch 维度对齐）
        emb_list.append(e_non)

    emb_tensor = torch.stack(emb_list)    # 形状：N x S

# 提取器/编码器是声学前端，抽取时序表示。
X = Extractor(audio_block)            # 提取器：原波形 -> 帧级特征，形状 T x F
X_hat = Encoder(X)                    # 编码器：进一步编码，形状 T x D


# Y_hat[n]：第 n 个槽位（伪/已知/填充）的语音活动（帧级概率/0-1）。
#E_hat[n]：第 n 个槽位对应的说话人嵌入。
#两者联动：先“检测哪里在说话”，再“在这些区域提代表征”。
Y_hat = Det_Decoder(X_hat, emb_tensor)  # 检测解码器：对每个“说话人槽位”预测VAD，形状 N x T'
E_hat = Rep_Decoder(X, Y_hat)           # 表征解码器：反向提取每个槽位的嵌入，形状 N x S

y_pse = Y_hat[0]                       # 伪说话人的 VAD（T'）
e_pse = E_hat[0]                       # 伪说话人的嵌入（S）
w_pse = W(y_pse)                       # 基于非重叠语音时长等指标计算质量权重（标量）

# 关键点：只拼当前块对应的 lc 帧，保证因果输出；右上下文只作参考不输出。
# 新说话人第一次出现，需要在历史时间线前边补零对齐
    if w_pse > tau_1:                      # 若伪说话人质量过阈，判定：出现新说话人
        elapsed_y = torch.zeros(num_frames)      # 为新ID补齐历史帧的0（过去都未说话）
        current_y = y_pse[-(lc+lr) : -lr]        # 只取当前块的有效帧（去掉右上下文）
        new_id = spk_list[0]                     # 取预留的新说话人ID
        dia_result[new_id] = torch.cat([elapsed_y, current_y])  # 拼成全局时间线
        emb_buffer[new_id] = [(e_pse, w_pse)]    # 把该新人的嵌入写入缓冲区


# 更正：循环上界不应是 len(S)（那是嵌入维），应该是 N 或 Y_hat.size(0)。
#已知说话人的 dia_result[spk_id] 直接在已有时间线上拼接本块的 lc 帧。
#当质量好时，往该说话人的 emb_buffer 追加一条 (embedding, weight)，后续会参与加权平均，越滚越稳。
    for n in range(1, len(S)):             # 【这里有 Bug】应为 range(1, N) 或 Y_hat.shape[0]
        y_n = Y_hat[n]                     # 第 n 槽位的 VAD
        e_n = E_hat[n]                     # 第 n 槽位的嵌入
        w_n = W(y_n)                       # 质量
        spk_id = spk_list[n]               # 槽位对应的说话人 ID（已知）
        dia_result[spk_id] = torch.cat([dia_result[spk_id], y_n[-(lc+lr) : -lr]])  # 拼接本块有效帧
        if w_n > tau_2:                    # 若质量好，把新嵌入追加到该说话人的缓冲列表
            emb_buffer[spk_id].append((e_n, w_n))
    num_frames += lc                       # 全局时间线向前推进 lc 帧
#每处理完一个块，就“确认输出”了 lc 帧，时间线前移。

实验结果与性能分析

本研究构建了两类模型规模的 S2SND 系统：S2SND-Small 和 S2SND-Medium，最终模型参数量分别约为16+M和 46M+。为支撑大规模训练，我们分别采用了两个不同规模的说话人语料作为仿真素材。其中，VoxCeleb2数据库约 100 万条语音，覆盖 6112 名说话人；VoxBlink2数据库约 1000 万条语音，覆盖超过 11 万名说话人。此外，为提升中型模型对大语料的建模能力，本研究引入了以 ResNet-152 提取器作为教师模型的知识蒸馏策略，显著增强了说话人嵌入质量与下游推理性能。模型结构、训练细节与延迟设置等信息详见论文原文。所有实验均基于标准的 DER（Diarization Error Rate） 指标进行评估，不使用 Collar ，严格衡量系统在真实应用条件下的实际表现。同时，分别评测依赖和不依赖 Oracle VAD的情况，以满足和其他现有方法在不同评估标准下的公平对比。

如表1所示，在 DIHARD-II 测试集中，S2SND-Medium 模型结合 VoxBlink2 语料与知识蒸馏训练，在在线推理模式（0.64s 总延迟）下取得了 24.41% DER，刷新当前所有在线系统的最优结果。完成一次离线重解码后，DER 进一步降低至 21.95%，即便不依赖 Oracle VAD，也全面超越现有最强的 EEND-GLA 与 VBx 等方法。相比之下，传统 EEND-EDA + STB 方法的在线DER 仍在 30% 以上，EEND-GLA-Large 系统也仅在离线条件下达到 28.33%。S2SND 实现了更低延迟、更高准确率的双重突破。

表1. S2SND 模型与其他方法在 DIHARD-II 测试集上的对比结果

如表2所示，在更新一代的 DIHARD-III 数据集上，S2SND 同样表现出色。在 0.80s 延迟设置下的在线模式，S2SND-Medium 达到 17.12% DER，明显优于各类在线系统。完成离线重解码后，DER 进一步降至 15.13%。值得一提的是，S2SND 的在线 DER 已逼近甚至优于许多离线系统（如 EEND-M2F 的 16.07%），体现出其在新说话人检测与时序建模方面的强大泛化能力。

表2. S2SND 模型与其他方法在 DIHARD-III 测试集上的对比结果

如表2所示，在更新一代的 DIHARD-III 数据集上，S2SND 同样表现出色。在 0.80s 延迟设置下的在线模式，S2SND-Medium 达到 17.12% DER，明显优于各类在线系统。完成离线重解码后，DER 进一步降至 15.13%。值得一提的是，S2SND 的在线 DER 已逼近甚至优于许多离线系统（如 EEND-M2F 的 16.07%），体现出其在新说话人检测与时序建模方面的强大泛化能力。

除了识别“谁在什么时候说话”，说话人日志系统还应有效估计音频中“有多少人参与对话”。图3展示了不同系统在 DIHARD-III 测试集上的说话人数量预测混淆矩阵。相比 EEND 和聚类方法，S2SND 的预测结果更集中于主对角线，表明其在不同说话人数场景下具有更强的稳定性和泛化能力。这种能力得益于 S2SND 在训练阶段将说话人检测和表征联合优化的设计，使模型能够在无需先验聚类的情况下，自主发现新说话人的出现并持续跟踪，从而自然完成说话人数量的判断与更新。

图3. DIHARD-III 测试集上的说话人数量预测混淆矩阵。Pyannote.audio v3.1、VBx 和 DiaPer 的结果由各自作者提供。评估过程中未使用 Oracle VAD。