月度归档： 2026年1月

LEMAS：15W小时多语种TTS数据集

LEMAS 是一个大规模可扩展的多语种音频套件，提供带有单词级时间戳的多语种语音语料库（LEMAS-Dataset），涵盖 10 种主要语言（中文/英文/德文/法文/西班牙文/葡萄牙文/意大利文/俄文/印尼文/越南文），总量超过 150,000 小时。通过严格的对齐和基于置信度的过滤流程构建，LEMAS 支持多种生成范式，包括零样本多语种语音合成（LEMAS-TTS，0.3B 参数）和无缝语音编辑（LEMAS-Edit，0.3B 参数）。

从真实环境（in-the-wild）音频中构建此类数据集面临着独特的挑战，因为传统的基于 HMM 的强制对齐工具（例如 MFA ）在处理嘈杂、未分割的语音时往往表现不佳。针对这一问题，我们设计了一套鲁棒的多阶段处理流水线，利用 MMS 对齐器（MMS aligner） 提取词级时间戳，并且关键性地为每一个对齐后的词分配一个置信度分数。这种设计支持灵活且具备可靠性感知的数据过滤机制，使研究人员能够根据下游任务需求，在数据规模与对齐精度之间进行动态权衡，从而确保该数据集在对精度要求较高的应用场景中具有较高的实用价值。

Dataset Processing Pipeline:

数据接入与结构统一。
我们首先从多个公开可用的语音语料库中汇集音频–文本配对数据，包括 GigaSpeech（英语）、GigaSpeech2（印尼语、越南语）、WenetSpeech4TTS（中文，基于 VoiceBox）、Emilia（中文和英语，基于 VoiceBox）、MLS（英语、德语、法语、葡萄牙语、西班牙语、意大利语）、多语种 TEDx（德语、法语、葡萄牙语、西班牙语、意大利语）、Alcaim（葡萄牙语）、Golos（俄语）以及 Yodas（德语、法语、西班牙语、葡萄牙语、俄语、意大利语、印尼语、越南语）。这些数据源覆盖了多种录制场景，包括有声书、播客以及真实环境下的对话语音。

不同于保留各数据集特有的数据结构，我们将所有输入统一规范化为一致的数据表示形式，从而支持与语言无关的下游处理以及大规模自动化流程。

词级时间戳对齐：采用了由 torchaudio 提供的基于 wav2vec 的 CTC 对齐模型Multilingual MMS Forced Aligner。该模型在超过 23,000 小时、涵盖 1,100 多种语言的语音数据上进行了训练。在对齐处理之前，先对转录文本进行语种特异性归一化，再通过 Uroman 3 等工具将其罗马化 —— 该工具可将多种文字（如汉字、西里尔字母等）映射为统一的拉丁字母表示形式。这种设计摒弃了对语种专属发音词典的依赖，使对齐模型能够稳健处理生僻词、命名实体及句内语码转换现象。随后，MMS 对齐器会生成词汇级边界信息及词元级后验概率，为后续的质量控制环节奠定基础。

基于置信度的质量过滤：

仅仅对齐成功是不够的，只有具有高时间可靠性的对齐结果才适合用于生成式语音建模。因此，我们仅保留能够提取到词级对齐的样本，并基于对齐置信度和时间一致性应用一系列规则过滤器：

  1. 对齐置信度过滤（Alignment Confidence Filtering）
    对于每条语音，我们根据对齐 token 的后验概率计算平均对齐置信度分数。为了适应不同语言和数据集的差异，我们使用数据集特定的阈值 [0.2,0.5]，仅保留置信度高于对应阈值的样本。
  2. 时长与停顿约束（Duration and Pause Constraints）
    • 移除长度小于 0.5 秒或大于 30 秒的语音，以确保与 TTS 训练兼容。
    • 删除包含长时间未对齐区域或静默超过 4 秒的样本，因为这些通常表示分段或转录错误。
  3. 语速归一化（Speech Rate Normalization）
    为排除异常快或慢的语音，我们对文本长度与音频时长的比值施加语言特定约束。对于每种语言 L，字符级比值 len(text)/duration必须落在经验确定的区间 [min_ratioL,max_ratioL]内，该区间由语料统计经验获得。
  4. 语言与字符验证（Language and Character Validation）
    数据集仅限于十种目标语言：中文（zh）、英语（en）、俄语（ru）、西班牙语（es）、印尼语（id）、德语（de）、葡萄牙语（pt）、越南语（vi）、法语（fr）和意大利语（it）。
    • 所有转录文本必须属于上述语言之一。
    • 含有不支持字符集、表情符号或过多非语言符号的样本将被移除，过滤规则依据语言特定字符集执行。

所有阈值均通过经验选择，以在数据规模与对齐精度之间取得平衡。值得注意的是，在预处理阶段未进行显式的语音增强或背景噪声去除。虽然许多 TTS 系统对声学干扰仍较为敏感，但我们有意保留了真实环境（in-the-wild）特征，期望更先进的生成模型能够更好地利用这种多样性。

GLCLAP：用于ASR热词检索的对比学习预训练模型

小米团队提出了一个叫GLCLAP的预训练模型，专门解决ASR（自动语音识别）里的“上下文偏向”问题——简单说就是让ASR更准地识别那些领域特定词汇（比如人名、地名），还不用微调原ASR模型。

传统的上下文偏置 ASR 解决方案中，主要存在两种范式。第一种依赖发音词典，例如基于加权有限状态转换器（WFST）的相关方法。这类系统利用预先定义的发音信息来提升特定术语的识别准确率。第二种范式是将偏置机制直接融入 ASR 模型结构中，通过与 ASR 模型进行联合训练来实现 ，典型代表包括 SeAco-Paraformer。

然而，这两类系统都不利于在支持 prompt 的 ASR 场景中处理偏置词。对于基于 WFST 的系统而言，获取少数语言或方言的发音词典往往十分困难；而端到端的上下文偏置方法通常需要修改 ASR 模型结构并进行联合训练，这在 prompt 支持的大模型范式下缺乏灵活性，难以快速更新和迭代。同时，大模型训练本身需要大量时间和计算资源，成本较高。

大语言模型（LLMs）中引入的提示机制与检索增强生成（Retrieval-Augmented Generation，RAG）为此提供了重要启示。RAG 通过优化提示来获得期望输出，而无需修改 LLM 的网络结构或进行微调。受这一范式的启发，偏置提示的生成可以作为一个独立模块，与识别过程进行解耦。这样，模型既不需要依赖发音词典，也不必在训练阶段依赖 ASR 模型本身。该方法与当前的大模型框架高度契合，能够利用 RAG 思路实现大规模的上下文偏置增强。

之前常用的多模态预训练模型CLAP（对比语言-音频预训练），只能做“句子级”的音频-文本匹配——但偏向词往往只是音频里的一小段（比如句子里的“Taylor Swift”），CLAP抓不住这种局部信息。所以就搞了GLCLAP，同时抓“全局”（整句语义）和“局部”（偏向词细节）的信息，专门适配偏向prompt生成。

本文的主要贡献如下：

  • 利用音频-语言预训练模型生成用户自定义的偏置提示；
  • 提出全局-局部对比式语言-音频预训练模型（GLCLAP），能够在不同尺度上提取音频信息，显著提升句内偏置提示的准确性；
  • 将基于 GLCLAP 的偏置提示生成组件集成到 ASR 模型中，在无需微调的情况下对解码结果进行纠正。

Proposed Method

Local Subtext Extraction for CLAP

主要目标是将音频嵌入与从用户定义的偏向列表生成的嵌入进行对齐。通过计算这些嵌入之间的相似度，可以确定提供最佳匹配的偏向。如图1所示，原始的CLAP模型旨在捕捉整个音频和文本输入的语义信息。然而，它与偏向词检索任务并不完全兼容，因为偏向词通常是整个句子的一部分。为了克服这一限制，对训练过程进行了修改。具体来说，从原始文本注释中随机提取子文本。这种方法有助于增强模型对句子中短语境的表示能力。

全局-局部对比学习模型（GLCLAP）

文本分支：在文本处理方面，除了原始的处理方法（称为全局分支），还添加了一个局部分支来处理子文本。设ft(.)为文本编码器。局部分支和全局分支共享相同的权重，其后均连接一个平均池化层p(.)以降低词维度。全局分支从完整文本Xt ∈ RB×N 中捕获嵌入Et，而局部分支专注于为子文本Xt′∈ RB×N′提取嵌入Et’，其中N表示文本标记N’ ≤N的数量 ：

音频分支：音频输入是“梅尔频谱”（Mel spectrogram），用Data2Vec2.0-large当编码器（Transformer结构，自监督预训练过，支持中英）。这里有个巧思：在平均池化前后都做对比学习——因为音频的局部信息是“时序相关”的，直接池化会丢信息。

  • 局部音频embedding（Ea’）包含时序（局部信息）：编码器输出的原始结果，形状[B, T//4, D]（T是音频帧数，//4表示编码器做了4倍下采样）；
  • 全局音频embedding（Ea）包含全局信息：对Ea’做“时间维度平均池化”，形状[B,D]。

分别对文本和音频的局部表示与全局表示计算对比损失。音频与文本嵌入之间的全局对比损失 Lg定义为：

局部 最大池化损失：

其中，maxt​ 表示沿时间维度取最大值。
l(⋅)=−B1​∑log(diag(softmax(⋅)))，其中， diag 表示在对矩阵应用 softmax 函数之后，取其对角元素。该函数用于度量预测分布与目标分布之间的相似性。

GLCLAP for Contextual Biasing ASR

GLCLAP 模型能够检索出与音频最匹配的偏置词，并将其作为提示（prompt）输入 ASR 模型，从而帮助 ASR 更准确地识别那些容易被误识别的低频词。

  1. 先准备“用户定义的偏向词列表”（比如[“Catherine”, “Katherine”]），把这些词输入GLCLAP的文本分支，生成文本embedding（形状[K,C]，K是列表长度）；
  2. 把要识别的音频输入GLCLAP的音频分支（不做平均池化，保留时序信息），得到局部音频embedding（E^a’，形状[T,D]）；
  3. 算“相似度矩阵”（Sim = 文本embedding × 音频embedding转置），形状[K,T]——每个元素代表“第k个偏向词”和“第t帧音频”的相似度；
  4. 对相似度矩阵做“时间维度max池化”，得到一个[K]的向量——每个值是“某个偏向词和整段音频的最大相似度”；
  5. 把超过“预设阈值”的偏向词挑出来当prompt，和原音频一起喂给ASR（比如Whisper），最后得到更准的识别结果。

实验

关键参数

  • 学习率：5e-4；
  • batch size：64；
  • 训练轮次：100轮（早停防过拟合）；
  • 对比模型：Base ASR（Conformer架构，1.3亿参数，训过4个训练集）、Base CLAP、Subtext CLAP（只加了子文本提取的CLAP）、LCLAP（只算局部损失）。

音频编码器（Audio Encoder）
我们采用与 Data2Vec2.0-large 相同的网络结构和预训练方式。具体而言，使用的是 Data2VecAudioModel，这是一种基于 Transformer 的架构，专门用于语音表示的自监督学习。该模型在一个私有数据集上进行了预训练，数据集同时包含英文和中文语音数据。

文本编码器（Text Encoder）
文本编码器初始化为 bert-base-multilingual-uncased。该模型由 12 层 Transformer 组成，能够有效地捕获文本中的上下文信息 。

评估指标

  • 偏向词检索：用“Top-1召回率”（找对最匹配的偏向词的比例）和“F1分数”；
  • ASR性能：用“词错误率（WER）”——越低越好。

（1）偏向词检索效果（表1）对比不同模型的Top-1召回率（%）

  • Base ASR和Base CLAP效果都差，尤其是Base CLAP在STOP2上才19.4%；
  • 加了“子文本提取”后明显提升，说明局部信息有用；
  • LCLAP已经比Base好很多，再加上“全局分支”的GLCLAP，直接冲到97%左右，不管是人名还是地名场景都稳赢。

还有表2（Aishell-1 test NT的F1）：

  • SeACo-Paraformer（传统偏向模型）：96%；
  • LCLAP：96%（打平）；
  • GLCLAP：96.96%（+0.96%）——比传统模型还强一点。

多模态对齐效果（图4）：局部匹配很准

  • 图4a（词级）：每个词（比如“NEW”“YORK”）都能和音频里对应的时序片段对齐，相似度高的地方很集中；
  • 图4b（短语级）：“NEW YORK CITY”这种短语也能准确匹配音频片段，不会跟其他部分混；
  • 图4c（音频-文本对齐）：即使文本有小错误（比如“EVETS”“YOR”），音频还是能和正确的文本片段对齐——说明GLCLAP的局部匹配能力很稳，不会因为文本小错跑偏。

对比Whisper Small加不同prompt模块的WER（%）：

这篇论文最核心的贡献是：用“全局+局部对比学习”解决了ASR上下文偏向的“prompt匹配”问题

  1. 不用依赖发音词典，也不用改ASR模型、做微调，直接加个独立的GLCLAP模块就行，灵活又省资源；
  2. 不管是中文还是英文，不管是人名还是地名，GLCLAP的偏向词检索 accuracy都很高，还能实实在在降低ASR的WER；
  3. 给大模型时代的ASR个性化提供了新思路：用多模态预训练做检索增强，比传统方法更高效。

基于大语言模型的语音识别上下文偏置：热词检索与强化学习方法

在真实业务里，如果你做过语音识别落地，大概率会遇到类似的崩溃瞬间：

  • 在医疗场景，医生口述一长串药品名、病理名，模型能把普通口语识得很好，一到专业名词就开始「编」，还经常把词表里没出现的药名硬说出来；
  • 影视媒体、短视频领域，剧名、角色名、艺人名每天都在更新，热词词表轻轻松松几十万条，模型一旦“认不住、认不准”，用户搜不出东西。

即使对于LLM-ASR这种强大的语音识别模型，在落地过程中也绕不开热词这个话题。

通义最新工作中提出了一个面向 LLM-ASR 的可扩展上下文偏置框架，把“热词检索 + LLM 自适应 + 强化学习”串成一套系统，在大规模热词场景（近 10 万规模词表）下显著提升了热词识别能力，同时提升了整体识别效果。具体来说，首先，扩展了 Global–Local Contrastive Language–Audio Pre-trained（GLCLAP）模型，通过具备鲁棒性的数据增强与模糊匹配机制，从大规模词表中检索出一个紧凑的 top-k 热词候选集合。其次，将检索到的候选热词以文本提示的形式注入到 LLM-ASR 模型中，并采用GRPO进行强化微调，使用任务驱动的奖励函数同时优化热词识别性能和整体转写准确率。

总体框架：检索 + 强化学习，两阶段协同

  1. 热词检索（Hotword Retrieval）：
    从大词表中，为当前语音检索出一小撮最相关的 top-k 热词；
  2. 热词感知 ASR 适配（Hotword-aware ASR Adaptation）：
    把检索出的热词以 prompt 形式喂给 LLM-ASR，并用强化学习优化其使用策略。

整体结构可以类比为语音版的 RAG（Retrieval-Augmented Generation）：

  • 检索侧：基于改进版 GLCLAP（Global–Local Contrastive Language–Audio Pre-trained Model）做音频 ↔ 热词文本的匹配；
  • 识别侧：把检索到的热词放到 LLM-ASR的文本 prompt 中，用 GRPO（Generative Rejection-based Policy Optimization）做 RL 微调，让模型学会：
    • 对真正出现的热词要“认得准”；
    • 对没出现的热词不要“瞎猜”；
    • 兼顾整体转写的 WER / 句子准确率。

增强版 GLCLAP 热词检索

GLCLAP 检索器以音频信号 x 及候选偏置词集合 G={g1,g2,…,gN}作为输入，其中 N 表示候选词表的规模。该检索器由两个组件构成：音频编码器（A-enc）和文本编码器（T-enc）。对于输入音频，A-enc 提取一个固定维度的音频嵌入表示，记为 haudio。同时，候选集合中的每一个偏置词 gi∈G 通过 T-enc 编码为对应的语义向量 ei​，从而得到文本嵌入集合 E={e1,e2,…,eN}。随后，我们计算 haudio​ 与集合 E 中所有文本嵌入之间的相似度得分，并选取得分最高的 top-k 个偏置词，构成子集 G′。这些被选中的偏置词随后被拼接到偏置提示（bias prompt）中，以引导模型进行上下文感知的转写。

本文对 GLCLAP 又做了两方面增强。

Robustness-Aware Data Augmentation（RADA）。

为缓解热词规模扩大会导致召回率下降及干扰项增多的问题，我们构建了一套鲁棒性感知数据增强（RADA）流程，用于缩减热词词表规模。初始热词词表通过网络爬取领域相关的热词构建得到。对于候选集合 G 中的每一个偏置词 gi，我们首先利用TTS系统合成对应语音（在必要时由大语言模型生成上下文文本），随后使用现有的 ASR 系统对合成语音进行解码，以检测原始 LLM-ASR 是否已具备对该热词的稳定识别能力。若该热词能够被可靠识别，则将其从热词词表中移除；反之，则保留该词作为后续偏置建模的目标。通过该流程，模型训练与推理阶段仅需关注真正具有识别难度的热词，从而提升整体检索与偏置效果。结果：词表规模从 60 万缩减到约 9.8 万。

  • 检索难度显著降低；
  • 减少大量“干扰”的词，后面 LLM-ASR也不会被这些词干扰。

模糊匹配策略（Fuzzy Matching Strategy）：

在实际应用场景中，热词往往难以通过严格的词面匹配进行约束，否则将导致热词词表规模急剧膨胀，进而降低系统的可扩展性。然而，在 GLCLAP 的训练过程中，热词通常通过严格的词汇级匹配进行约束，这与真实部署环境存在不一致性。在真实场景中，用户可能会使用目标热词的不同形态（如屈折变化）、语义改写（paraphrases）或仅部分提及目标术语。为弥合训练与部署之间的差异，我们在 GLCLAP 训练阶段引入模糊匹配策略，使模型能够学习到更具语义与发音鲁棒性的热词表示，从而提升在复杂真实场景下的检索与上下文偏置能力。

真实场景中，用户说的热词常常不是词表里的标准形式，比如：

  • 说一个药品名，可能有胶囊、颗粒、口服液等。
  • 说一个影片名，可能有第二部、续、新xxx等。

如果训练中的监督只允许严格的字面匹配，检索模型就会对这些变体缺乏鲁棒性。因此，本文引入了 fuzzy matching（模糊匹配策略），在训练阶段引入了由生成式上下文句子嵌入以及经过刻意扰动的偏置词变体所构成的数据增强。

  • 在训练数据中增加多种变体：人为扰动词形，如Tongyi → Tongyi abc等；

这样做的效果：

  • 更贴合真实业务中“词形变动、说法多样”的场景；
  • 检索模型对热词的语义及形态变体更鲁棒。

LLM-ASR

LLM-ASR 网络由音频编码器、适配器以及LLM三部分组成。本文选用 Qwen2.5-7B 作为 LLM 主体。在音频编码器方面，将原始的 Conformer 编码器扩展为 Conformer-MoE 编码器，具体做法是在每一层 Conformer 中，将第二个前馈网络（FFN）模块替换为混合专家（MoE）结构。我们定义了 KC个候选专家，并通过router从中选择 KS个专家进行加权聚合，同时保留一个专用的共享专家以提供通用建模能力。

LLM-ASR 模型总参数规模为 10.5B，其中推理阶段的有效激活参数量为 8.7B。整体架构由一个 3.5B 参数规模的音频编码器和一个 LLM 解码器组成。编码器采用 CNN 前端并接入 20 层 Conformer-MoE 结构。CNN 前端首先对输入特征进行 4× 的时间维下采样，随后将得到的特征送入 Conformer-MoE 堆叠模块。每一层 MoE 采用 3-of-8 的专家路由策略，隐藏层维度为 3584。

编码器的输出进一步经过一次 2× 的帧级下采样与特征拼接操作，随后通过一个两层线性适配器（adapter），最终作为输入送入 LLM 解码器。在基础训练阶段，仅对 LLM 部分施加 LoRA微调，其中 LoRA 的秩（rank）设置为 64，缩放系数（alpha）为 32。在上下文偏置训练阶段，学习率设为 1×10−5，并联合更新音频编码器、适配器以及 LLM 的 LoRA 参数。在 GRPO 训练阶段，继续使用相同的学习率（1×10−5），但冻结编码器和适配器，仅更新 LLM 的 LoRA 参数。此外，我们将 KL 散度正则项的权重设置为 0.04，并在每个训练步骤中生成 6 个候选响应用于策略优化。

基于强化学习引导判别的上下文 ASR

为抑制由上下文偏置引入的误检（false positives），我们充分利用 ASR 模型在解码阶段对偏置词进行判别的能力。模型采用结构化提示（structured prompt）进行训练，形式如下：

“<Audio> 请将音频转写为文本。可使用的偏置词包括：<g₁> <g₂> … <gₖ>”。

其中，提供的偏置词列表刻意包含与当前语音无关的词项或干扰词，以避免模型过度依赖偏置词并提升其判别能力。

除上述数据层面的增强策略外，我们在 LLM-ASR 训练过程中进一步引入生成式拒绝式策略优化（Generative Rejection-Based Policy Optimization，GRPO） 这一强化学习方法，以增强模型对偏置词的区分能力。所设计的奖励函数联合优化多个目标，具体包括：

  • 匹配奖励（match reward）：若某候选偏置词同时出现在模型输出与参考标注中，或同时未出现在二者中，则奖励值为 1；否则奖励值为 0；
  • 基于 WER 的奖励（WER-based reward）：奖励定义为 1−WER，以保证整体转写准确率。

在推理阶段，为进一步提升性能，我们采用联合束搜索（joint beam search）策略，同时解码无上下文约束（context-free）与上下文条件化（context-conditioned）的候选假设。在保留检索增强生成（Retrieval-Augmented Generation，RAG）优势的同时，该策略有效降低了由无关偏置词引发的幻觉问题。

数据集和效果

Context-Biasing Training Datasets

LLM-ASR 系统在总计数百万小时的语音数据上进行训练。本文重点关注上下文偏置相关的数据设置。在完成基础 LLM-ASR 训练之后，进一步使用约 200 万条与热词和/或上下文历史相关的语句对模型进行微调，这些语句主要通过 RADA 流程生成。在训练数据构成上，包含热词/上下文的语句与不包含热词/上下文的语句按 1:8 的比例进行混合，其中非偏置数据占主导，以避免模型对上下文偏置的过度依赖。对于包含热词的语句，每条语句包含 1–10 个热词，其中约一半语句包含正确的目标热词，另一半不包含目标热词，从而在正、负热词样本之间形成 1:1 的比例平衡。

GLCLAP微调数据

在大规模通用 ASR 数据上对模型进行训练，其中文本标注通过从完整转写中随机裁剪短语的方式获得。随后，在第二阶段对 GLCLAP 检索器进行微调时，我们构建了一个面向特定领域的音频–文本数据集，规模约为 25 万对，以更好地使检索结果与偏置词所属领域对齐。

热词词表（Hotword Vocabulary）

热词词表通过网络数据构建，主要覆盖医疗和媒体（影视）两个领域。在得到初始词表后，进一步采用 RADA 策略进行过滤。经过基于 RADA 的筛选，热词词表规模由约 60 万条缩减至 9.8 万条，有效降低了词表规模并提升了可用性。

评测设置（Evaluation）

构建了两个面向特定领域的测试集：Media 和 Medical，每个测试集包含 240 条语句，主要来源于实际系统中的错误案例（bad cases）。每条语句均由人工标注其真实偏置词，并将这些偏置词加入偏置词列表中。此外，我们还构建了一个回归测试集 General Task，包含约 5,000 条标准 ASR 语句，用于评估通用识别性能。

ASR 评测中，我们采用两项指标：（i）句级识别准确率（Sentence-level Accuracy，SACC），以及（ii）关键词错误率（Keyword Error Rate，KER）。

结果

在 Media 和 Medical 测试集上评估基于 GLCLAP 的热词检索性能。如表 1 和表 2 所示，鲁棒性感知数据增强（RADA）与模糊匹配策略均对整体性能产生了正向贡献。具体而言，原始热词词表约包含 60 万条词项，在应用 RADA 筛选后缩减至 9.8 万条。模糊匹配不仅更契合我们的评测指标，同时也更真实地反映了实际应用场景中的偏置词使用情况。此外，结果显示，随着 top-kkk 值的增大，召回率呈持续上升趋势。

将 GLCLAP 与 LLM-ASR 模型结合，并以句级识别准确率（SACC）和关键词错误率（KER）报告最终识别性能。Base 列显示了在不使用任何偏置提示（bias prompt）的情况下，经过上下文感知微调的 LLM-ASR 模型的结果。

召回率随着 top-k 的增加持续上升，但在热词测试集上的 KER 和 SACC 并未呈单调改善。这是因为较大的 top-k 会向 LLM-ASR 模型引入更多干扰候选词，从而增加识别干扰。

在 General Task 测试集上，大多数结果略低于未使用热词的基线表现。综合两个热词测试集的结果，我们认为 top-2 是更为合适的选择。

GRPO 训练的结果表 4，引入 GRPO 可以在媒体和医疗设备上的 KER 中产生明显的性能提升。 此外，得益于GRPO中使用的基于准确性的奖励，通用任务的句子准确性也得到了显着提高。

工程与落地视角的一些启发

从工程落地的角度，这篇工作有几个特别值得实践参考的点：

  1. 不要盲信“全量热词表”：
    • 用 RADA 先筛一遍“模型已熟练掌握”的词，再做偏置，能大幅降低复杂度与干扰；
  2. 检索与解码要协同设计：
    • 仅有高召回的检索还不够，要与 LLM 的使用策略共设计，否则容易“给了武器但不会用”；
  3. RL 对 ASR 也非常有用：
    • 传统 ASR 多用 CE/CTC/Transducer 等损失，很难直接对接任务级指标；
    • 引入类似 GRPO 这样的 RL 方法，可以在“热词识别 + 句子准确”这样的组合目标上做更直接的优化；
  4. top-k 是个关键的“工程超参”：
    • k 太小，召回不足；
    • k 太大，干扰过多；
    • 最优点依赖业务场景、词表质量与 LLM 容量，需要通过系统性实验来选。

Fun-Audio-Chat：端到端语音交互模型

Fun-Audio-Chat 是为自然、低延迟语音交互构建的大型音频语言模型。它引入了双分辨率语音表示（一个高效的 5Hz 共享主干 + 一个 25Hz 的精炼头）以在降低计算的同时保持高语音质量，并采用 Core-Cocktail 训练以保留强大的文本 LLM 能力。它在语音问答、音频理解、语音函数调用以及语音指令遵循和情感共鸣基准上都取得了顶级成果。

现有模型面临的挑战：语音 Token（通常约 25Hz）与文本 Token（约 3Hz）在时间分辨率上的不匹配会削弱语义信息，同时带来高计算成本、限制实际部署，并在多模态训练过程中导致文本 LLM 知识的灾难性遗忘。

Fun-Audio-Chat采用 双分辨率语音表征（Dual-Resolution Speech Representations, DRSR） 架构：共享的 LLM 主干以高效的 5Hz 帧率 处理音频（通过语音 Token 分组实现），而 Speech Refined Head（SRH） 则以 25Hz 分辨率 生成高质量语音 Token。该双分辨率设计在计算效率与语音生成质量之间实现了有效平衡，使 GPU 训练时长降低近 50%。

不同于某些语音模型的大规模音频-文本预训练与后训练方法，Fun-Audio-Chat基于预训练模型，全量监督微调阶段采用 Core-Cocktail Training 策略缓解灾难性遗忘问题，后训练使用多任务 DPO 训练以增强模型在鲁棒性、音频理解、指令遵循及情感化语音共情能力方面的表现。Fun-Audio-Chat 在有效保留原始文本 LLM 知识的同时，获得了强大的音频理解、推理与生成能力。

模型在语音转文本与语音-语音生成任务上取得了具有竞争力的性能，并在多项口语问答基准测试中位列同规模模型的领先水平。同时，其在音频理解、语音函数调用、语音指令遵循以及语音共情等任务上亦展现出媲美甚至优于同类模型的表现。构建了 Fun-Audio-Chat-Duplex，一种全双工变体，在口语问答基准与全双工交互场景中均取得了优异性能。

Spoken QA tasks：其中Mimo-Auido 进行大规模语音预训练
other tasks

Introduction

现有语音大模型面临以下挑战：

  • 语音token与文本token速率不匹配，跨模态对齐时多个语音帧映射到单个文本 token 的语义空间，会影响语义信息且LLM 难以复用其原生 token-level 推理能力；
  • 多模态的预训练与后训练，会导致其原有知识发生灾难性遗忘；
  • 频帧率通常较高（如 12.5Hz 或 25Hz），整体计算成本偏高，限制了模型在实际场景部署。

针对以上问题，提出 Fun-Audio-Chat：

  • 大规模后训练与模型扩展能力。基于DrVoice的两项关键创新——双分辨率语音表征（DRSR）架构 与 Core-Cocktail 训练策略——基础上，进一步扩展到显著更大的数据与模型规模，包括覆盖 数百万小时的多样化音频数据，以及 dense  8B 参数模型与 MoE 30B-A3B 参数模型。DRSR 依托于 主干 LLM 的高效 5Hz 处理 与 25Hz 生成头，即使在更大规模训练中，仍能保持高计算效率（训练 GPU 时长约 降低 50%）；同时，Core-Cocktail 训练策略 通过 两阶段训练、分阶段学习率及中间模型合并机制，在 8B 与 30B-A3B 模型 中均有效缓解了灾难性遗忘问题。
  • 多任务 DPO 训练以提升鲁棒性与泛化能力。DPO 训练增强 Fun-Audio-Chat 的能力，包括：对真实语音数据的鲁棒性、指令遵循能力、音频理解能力以及语音共情能力。通过多任务 DPO 训练，Fun-Audio-Chat 获得了超越基础语音-文本交互的高级能力，包括 语音函数调用、语音指令遵循，以及语音共情（识别并推理用户情绪状态并生成具有共情特质的响应），使模型能够以适当的情感智能与功能执行能力，理解并应对复杂语音交互场景。
  • 全双工语音交互能力。Fun-Audio-Chat-Duplex，一种支持双向同时语音通信的全双工变体。该模型在口语问答基准任务上表现出具有竞争力的性能，同时在全双工交互指标上亦取得优异结果，展现出在自然对话与轮流发言（turn-taking）方面的强大能力。

Methodology

ps： DrVoice：https://arxiv.org/pdf/2506.09349

语音输入经过 MLLM（多模态大语言模型） 的 Tokenization、分组处理 和 编码，分别用于两种自回归预测任务：Text Head：预测文本 token，Speech Refined Head（SRH）：预测语音 token。生成的语音 token 随后通过 speech detokenizer 转换为语音波形。需要注意的是：SRH 通过 5 次自回归前向传播 生成 5 个语音 token，其中 5 为分组因子。
Fun-Audio-Chat 的全双工通信模式

上图展示了 Fun-Audio-Chat 及其全双工变体 Fun-Audio-Chat-Duplex 的架构。

Fun-Audio-Chat 的框架主要由三个模块组成：

  1. 语音输入处理模块：通过 Speech Encoder 与 Speech Tokenizer 将原始音频波形转换为结构化表示，分别用于用户端（User）和助手端（Assistant）。
  2. 多模态大语言模型：整合 共享 LLM 主干 与专门的 Text Head 和 Speech Refined Head（SRH），用于生成文本 token 与语音 token。
  3. Speech Detokenizer：将生成的语音 token 重建为音频波形。

该架构实现了统一的音频-文本编码和同步的语音-文本生成。在推理阶段，无论输入为文本还是语音，均会被转换到一个统一的语义表示空间，由 MLLM 处理，从而通过 SRH 和 Text Head 同时生成语音和文本输出。

Speech Tokenization and Detokenization

Fun-Audio-Chat 采用 Whisper-Large-v3作为 语音编码器，从用户语音输入中提取连续表征。随后， Adapter 模块 对这些特征进行时间分辨率降采样，并将其维度匹配到 LLM 的隐藏空间。

鉴于语义 token 在语音表征中的有效性其，尤是其与文本内容的高度对应性，采用 S3Tokenizer 作为 语音分词器，将音频波形转换为离散的语义 token 序列。S=[s0​,s1​,…,sT−1​]其中 T 表示序列长度，用于助手端（Assistant）的输出。

S3Tokenizer 最初是在 CosyVoice [论文] [代码库] 中引入的，它是一个基于预训练的 SenseVoice-Large 模型的监督语义语音分词器，它增强了提取的词元与文本和副语言信息的语义关系，对数据噪声具有鲁棒性，并减少了对干净数据收集的依赖，从而使模型训练可以使用更广泛的数据来源。

在逆向过程中，Speech Detokenizer [CosyVoice3的模型解码合成音频]利用 speaker-specific embeddings 编码音色等声学特征。随后，Flow Matching 模型 将这些 token 转换为 Mel 频谱表示，再通过 HiFi-GAN 声码器 将 Mel 频谱重建为音频波形。

Dual-Resolution Speech Representations (DRSR)

为了在支持跨模态能力的同时 保持预训练文本 LLM 的文本能力，Fun-Audio-Chat 采用了先前工作 DrVoice中提出的 双分辨率语音表征（Dual-Resolution Speech Representations，DRSR） 架构。该架构有效解决了 语音 token（通常约 25Hz）与文本 token（约 3Hz）之间的时间分辨率不匹配问题，同时提升计算效率，并实现高质量语音生成。

语音 Token 分组。为弥合时间分辨率差异，采用 DrVoice中的分组技术，将 25Hz 的语音 token 转换为 5Hz 的表示，并输入至 共享 LLM 主干。该分组变换可表示为：

其中 𝐬j 表示单个语音 Token ，Concat 表示串联，k=5 是基于语音 Token 频率 (25Hz) 与所需 LLM 处理频率 (5Hz) 之比的分组因子。这种机制将序列长度从T减少到T/k，允许共享LLM以5Hz帧速率运行，这大大减少了计算开销（训练GPU时间减少了大约50%），同时保留了LLM的语义推理能力。

Speech Refined Head (SRH).分组机制提升了计算效率，但其同时会丢失对自然语音合成至关重要的细粒度声学信息。为弥补这一不足，Fun-Audio-Chat 引入了一个专用的 SRH，用于在 完整的 25Hz 分辨率下生成语音 token。SRH 执行一种反分组（ungrouping）操作，来自 共享 LLM 的最终隐藏状态hL[SLLM]首先通过线性投影被转换为与分组大小一致的嵌入表示：

接下来分解为 k 段：

生成的 𝐇 为 SRH 提供条件上下文，SRH 以 25Hz 自回归方式生成语音标记。 训练目标优化语音标记预测：

其中 si 表示第 i 个语音标记。 这种双分辨率框架允许 Fun-Audio-Chat 遵循 DrVoice 中建立的设计原则，同时实现计算效率（共享 LLM 层中的 5Hz 处理）和高保真语音合成（通过 SRH 生成 25Hz）。

Multimodal Large Language Model (MLLM)

MLLM 架构在预训练文本 LLM 的基础上进行扩展，使其具备统一的音频-文本处理能力，从而能够接收语音或文本任一模态输入，并同时生成语音与文本输出。Fun-Audio-Chat 属于并行式联合语音-文本模型。借鉴 Moshi 的做法，我们在模型中引入 显式文本流，用于为语音生成提供语义引导。模型设计仅在 助手侧进行模态对齐，这反映了人机对话中的固有非对称性：用户通常只提供单一模态输入（文本或语音），而助手则能够输出协调一致的多模态响应（即联合语音-文本输出或仅文本输出）。

模型利用 LLM 的自回归特性，在每一步迭代地将 语音 token st​ 与 文本 token tt​ 一并输入至 共享 LLM 层。两类 token 的嵌入向量通过逐元素相加（addition）进行融合，形成统一的输入表示。第 t步的复合嵌入：

其中，Espeech​ 与Etext​ 分别表示语音与文本 token 的嵌入函数。为解决语音序列与文本序列在长度上的不匹配问题，我们对较短的序列进行填充，并在每个话语中使用特殊静音标记 <|SIL|>作为填充值。

模型的生成过程遵循自回归范式：

其中，x 表示输入，yt​=(st​,tt​) 表示在时间步 t 的联合语音–文本输出。该建模方式在同一自回归过程中统一了语音与文本的联合生成。

Post-Training

Fun-Audio-Chat 基于已有的预训练模型构建，并采用多阶段后训练流程进行训练，利用覆盖多领域、多任务的数百万小时语音数据，其中包括对话语音与多语言语音，以及面向语音理解任务的音频数据，从而保证对多种应用场景与使用需求的全面覆盖。自建数据则包括文本、ASR、TTS、音频理解、语音指令跟随以及语音共情数据。

整个多阶段训练流程包括以下三个阶段：
(1) Pre-alignment：利用大规模语音-文本配对数据，对 Speech Encoder、Adapter 与 Speech Refined Head 进行对齐训练；
(2) Core-Cocktail 训练阶段：用于监督式全参数微调，采用由 CosyVoice 3基于数十亿文本 token 合成的高质量语音数据，并通过合成语音的词错误率（WER）阈值筛选得到；
(3) 多任务 DPO 训练阶段：引入多样化真实语音数据以提升鲁棒性，引入音频理解与 ASR 数据以增强理解与感知能力，同时使用指令跟随数据（包含情感、风格与韵律控制）以提升语音指令跟随能力，并结合语音共情数据以强化情感理解与共情式响应生成能力。

预对齐阶段

Speech Encoder 采用 Whisper-Large-v3的权重进行初始化，从而提供稳健的语音理解能力。Shared LLM Layer 使用 Qwen3-30B-A3B进行初始化，或可替代性地采用视觉-语言基础模型 Qwen3-VL-8B，以充分利用预训练文本 LLM 强大的语义理解能力。此外，来自 CosyVoice 3的预训练 Speech Tokenizer 与 Speech Detokenizer 被直接引入，并在 Fun-Audio-Chat 的整个训练过程中保持冻结。

预对齐训练：使用大规模语音-文本配对数据，对 Speech Encoder、Adapter 与 Speech Refined Head 进行联合对齐学习。在该阶段中，Shared LLM Layer 被保持冻结，以确保其预训练能力不受破坏。

Core-Cocktail 训练阶段

实验观察到，多模态模型训练过程中存在一个基础性的学习率折衷问题：学习率过高将导致 MLLM 性能退化，并加剧基础文本 LLM 知识的灾难性遗忘；而学习率过低则会导致收敛缓慢，甚至训练停滞。为解决这一优化难题并避免知识流失，采用了此前在 DrVoice中提出的 Core-Cocktail Training 方法论，其核心是一种 两阶段训练策略。

阶段一：高学习率微调。 在该初始阶段，我们对全部 MLLM 参数、Audio Encoder 与 Adapter 进行全量微调，并采用较高的学习率。对于 Fun-Audio-Chat，在阶段一中学习率按照余弦退火策略从 1×10−4 逐步衰减至 1×10−5。该阶段的目标是使模型参数能够快速迁移至更有利于多模态学习的损失曲面区域，从而实现快速任务适配。

中间模型合并。 为缓解阶段一高强度训练可能带来的 MLLM 性能退化问题，引入中间模型合并操作。将阶段一训练后的 MLLM 参数 M1​ 与原始预训练 LLM 参数 M0 进行加权插值，得到合并模型： Mr​←αM1​+(1−α)M0​

其中 α用于控制插值平衡。该合并过程重新引入基础 LLM 的核心知识，从而保护其原有的文本理解能力。较小的 α值将更有利于保留基础 LLM 的知识。在我们的实现中，α=0.5。

阶段二：低学习率精调。 在阶段二中，我们对合并后的模型 Mr 以更低的学习率进行全量微调。对于 Fun-Audio-Chat，学习率同样按余弦退火策略从 1×10−5 衰减至 1×10−6。该阶段实现了稳定且精细的优化，在避免高学习率相关不稳定性的同时进一步提升模型性能。Core-Cocktail Training 策略在快速适配与知识保持之间实现了有效平衡，显著缓解了灾难性遗忘问题，并促进高效的多模态学习。

多任务 DPO 训练

在完成 Core-Cocktail 训练之后，采用多任务 DPO 训练提升模型在真实语音数据上的鲁棒性、音频理解能力、语音指令遵循能力以及语音共情能力。多任务 DPO 阶段引入了多维度的偏好学习目标：（1）鲁棒性偏好：更偏好在噪声环境或多样化语音输入下仍能保持输出质量的响应；（2）指令遵循偏好：更偏好能够准确遵循语音指令（包括情绪、风格与韵律控制）的响应；（3）音频理解偏好：更偏好体现对音频内容进行准确理解与推理的响应；（4）语音共情偏好：更偏好能够展现恰当情绪理解与富有共情反馈的响应。DPO 训练损失在这些偏好维度上联合计算，从而使模型能够学习到一个在多种能力之间取得平衡的统一偏好信号。该多任务 DPO 训练阶段使模型能够更好地对齐人类偏好，并在真实世界会话场景中表现出更优性能，从而区别于主要依赖监督微调的既有工作。

全双工交互训练

为实现实时全双工语音交互，提出并采用并行语音–文本输入流架构，并将 Fun-Audio-Chat 扩展为全双工变体 Fun-Audio-Chat-Duplex，从而支持自然、类人化的无缝双向通信。具体而言，并行语音–文本输入流允许模型在助手生成语音的同时继续接收用户语音输入，从而有效利用原本空闲的时间片。该并行输入机制能够同时处理来自用户与助手的语音输入，使模型能够应对重叠语音片段并保持会话语境一致性。全双工交互训练从 Core-Cocktail 阶段得到的检查点继续训练，在其已具备的多模态能力基础上进一步强化。该阶段采用通过数据增强方式构造的全双工对话数据进行训练：即基于高质量半双工对话数据，并按照 OmniFlatten中的方法模拟全双工交互行为，将传统轮流发言的文本对话转化为并行双流式交互，其中用户与助手均可同时发声。通过全双工训练，模型能够学习自然的轮次切换、打断处理与跟进反馈等交互行为。

OmniFlatten：https://aclanthology.org/2025.acl-long.709.pdf

Experiments

评估任务和指标：

  • 语音转文本 (S→T) 评估。VoiceBench 、OpenAudioBench两种类型的口语问答基准
  • 语音到语音 (S→S) 评估。UltraEval-Audio 用于端到端语音转语音问答评价。
  • 音频理解。 MMAU、MMAU-Pro 和 MMSU来评估综合音频理解能力。
  • 语音识别。验证英语和普通话 (ZH) 性能
  • 语音功能调用。 Speech-ACEBench、Speech-BFCL 和 Speech-SmartInteract评估模型基于语音指令执行函数调用的能力。
  • 语音指令跟随和语音同理心。 VStyle 基准评估模型理解和执行语音指令的能力，以控制语音生成属性，如情绪、说话风格、速度、音调和音量。

评估指标：

对于全双工交互评估，我们使用S2M-T（多模态响应中的文本输出准确性）和S2M-S（多模态响应中的语音输出准确性）来衡量知识理解性能，并使用轮流成功率来衡量模型在全双工场景下正确处理轮流的交互百分比。

结果

语音问答：Fun-Audio-Chat-8B 在 OpenAudioBench 上取得 76.61% 的整体最佳成绩，在 VoiceBench 上取得 83.21% 的整体最佳成绩，居于约 8B 规模模型中的领先水平；同时，Fun-Audio-Chat-30B-A3B 在与大规模基线模型（含顶级闭源模型）的比较中亦展现出具有竞争力的结果。

语音理解：Fun-Audio-Chat 在综合音频理解基准（包括 MMAU、MMAU-Pro 和 MMSU）上取得了最优表现，优于多种强大的开源基线模型

语音功能调用

Fun-Audio-Chat-30B-A3B 在所有评测模型中取得了最高的总体得分（79.63%），并在 Speech-ACEBench（单轮：76.40%）和 Speech-SmartInteract（84.13%）等任务上表现尤为突出。该模型在理解基于语音的函数调用指令并准确执行方面展现出强大能力，这对于构建实际可用的语音控制应用至关重要。 在并行函数调用场景中（Fun-Audio-Chat-8B 在 ACEBench-Parallel 上取得 54.50%，在 BFCL-Parallel 上取得 87.63%），结果进一步凸显了 Fun-Audio-Chat 在语音交互中处理复杂、多步骤指令的能力。

语音指令跟随和语音同理心

全双工交互

全双工知识理解。 表7展示了Fun-Audio-Chat-Duplex的全双工知识理解性能。 结果表明，Fun-Audio-Chat-Duplex 在全双工对话场景中保持了强大的知识理解能力。全双工架构成功地保留了模型的知识理解能力，同时实现了同步双向通信，使系统即使在处理重叠的语音输入和输出时也能保持上下文和理解。

Fun-Audio-Chat-Duplex-30B-A3B 实现了完美的轮流成功率（100.00%），优于 Moshi（99.77%）和 FreezeOmni （93.87%）。 Fun-Audio-Chat-Duplex-8B 达到了 99.94%，也展现了出色的轮流能力。 这些结果表明，Fun-Audio-Chat-Duplex 成功实现了自然高效的全双工语音交互，该模型能够处理同时语音并保持适当的对话流程，密切反映了人与人对话的动态。

计算效率：双分辨率设计显着降低了计算要求和潜在延迟，经验测量显示，与以更高帧速率运行的模型相比，训练期间的 GPU 时间减少了约 50%，且不影响语音质量

限制

多轮对话中的复杂问题回答，该模型有时会表现出上下文记忆丢失，其中先前轮次的信息可能无法一致保留。

语音指令跟随能力在表达方面表现出一些不稳定。 

语音共情能力表现出一定的不稳定。