Confucius4-R2T2:让语音识别学会何时输出、何时等待

摘要:流式 ASR 的难点不只是“尽快识别”,还包括决定哪些文字已经足够可靠、可以提交给字幕、翻译或语音智能体,以及哪些内容应该继续等待。网易有道开源的 Confucius4-R2T2(Real Real-Time Transcription)以 Qwen3-ASR-1.7B 为基础,通过 Longest Stable Prefix(LSP,最长稳定前缀)学习和显式 Wait token,把“何时输出”变成模型训练目标。模型只追加已经提交的前缀,不回改已发布文本,同时通过 chunk size 和暂留 token 数 U 调整质量与延迟。

一、流式 ASR 为什么会“闪烁”

离线 ASR 可以等待完整语句,再利用完整上下文生成结果;流式 ASR 只能根据当前已经收到的声音逐步输出。比如用户说 I have two cats,系统可能先输出 I have to,随后变成 I have too,最后才确定为 I have two cats。对人类字幕来说这是文字闪烁,对下游系统来说则可能导致翻译、检索、工具调用或 LLM 推理重复执行。

R2T2 要求所有时刻的对外输出满足前缀单调性:如果 yt 是时间 t 的已发布文本,那么任意更晚时刻 t’ 都必须满足:

\(y_t\preceq y_{t’}\)

也就是说,后续文本只能在末尾追加,不能修改早先已经发布的字符或 token。

二、R2T2 的核心定位

  • 基础模型:Qwen3-ASR-1.7B。
  • 后训练数据:约 1,500 小时中英文语音,约 600,000 条样本,中文和英文各 300,000 条。
  • 训练组件:冻结音频编码器和 projector,只训练语言解码器。
  • 架构变化:不增加预测头,不做因果化编码器,不使用额外的因果 attention mask。
  • 流式 chunk:支持 80 ms 到 2 s;主实验使用 160 ms。
  • 输出策略:稳定前缀只追加;不稳定的尾部由 Wait 或内部暂留机制处理。
  • 部署形态:支持 vLLM、Transformers 离线推理、llama.cpp 和 WebSocket 流式服务。

R2T2 的思想不是把基础模型完全改造成因果 ASR,而是保留全上下文模型的声学能力,再让解码器学习在不完整音频下做“提交/等待”决策。

三、基础架构:Qwen3-ASR-1.7B 上只改解码器

Qwen3-ASR-1.7B 由 Qwen3-1.7B 语言模型、音频 projector 和 AuT 音频编码器组成。AuT 编码器约 300M 参数,隐藏维度 1,024,对 128 维 log-Mel/Fbank 特征进行 8 倍 CNN 下采样,输出约每 80 ms 一个音频位置,即 12.5 Hz。

模块R2T2 处理原因
音频编码器冻结保留预训练的双向声学表示
Projector冻结保持声学表示到语言模型输入空间的映射
语言解码器训练学习 LSP 内容、Wait 和发射时机
额外预测头不增加Wait 与文本 token 共用词表
因果化编码器不做保留双向注意力和全上下文识别能力

这种设计的代价是活动窗口在新音频到达时仍需重新编码;收益是避免重新训练因果编码器和重新建立完整的声学-文字对齐。

R2T2 模型与流式推理框架图

四、Longest Stable Prefix(LSP)是什么

常规 ASR 训练只有“音频-完整转写”配对,并没有标注模型在某个中间时刻可以提交到哪里。R2T2 先让基础模型逐步读取音频前缀,再用模型完整听完音频后的输出作为锚点。

设完整音频为 x,同一模型听完整音频得到:

\(\bar y=M(x)\)

只听到时间 t 的音频前缀时,模型输出:

\(y_t=M(x_{\le t})\)

LSP 定义为:在此前已经产生的完整输出中,最长的、同时也是完整输出 \bar y 的前缀:

\(L_t=\operatorname{LSP}(M,x,t)=\bar y_{1:m_t}\) \(m_t=\max_{j\le t}n_j\mathbf{1}[y_j\preceq\bar y],\qquad n_j=|y_j|\)

这里的关键是“完整输出过”。如果某次模型输出 I have too,不能把它人工截成 I have 当成一条新的 LSP;只有模型此前完整输出过 I have,它才具有 model-admissible 性。

4.1 为什么 LSP 会单调增长

随着更多音频到达,已经确认的 LSP 只会保持不变或变长,不会缩短。最终完整音频时,LSP 等于模型完整输出。它的稳定性不是来自“把当前结果截掉几个词”,而是来自对模型历史输出的严格筛选。

需要特别注意,LSP 锚定的是模型自己的完整音频输出,不是人工参考文本。因此 LSP 主要负责稳定性与提交时机;模型听完整音频仍然识别错误时,LSP 也可能忠实地稳定输出错误内容,准确率必须另用 WER/CER 评估。

五、Wait 标签:把“继续输出”与“先等待”分开

研究者每隔 80 ms 把更长的音频前缀送入教师模型,记录输出等于 LSP 的稳定区间。连续稳定端点合并为:

\(I_i=[s_i,e_i]\)

训练时随机选择切点 t,只保留 x≤t,模拟在线识别。如果切点位于稳定区间,则目标是稳定前缀;如果切点落在稳定区间之间,则目标是在 LSP 后面追加 Wait:

\(y_t^*=\begin{cases}LSP(M,x,t),&\exists i:s_i\le t\le e_i\\LSP(M,x,t)\oplus Wait,&\text{otherwise}\end{cases}\)

Wait 是普通词表中的一个特殊 token,不是额外的二分类头。模型因此同时学习:

学习目标问题输出
内容决策现在可以提交哪些文字文本 token
时机决策当前信息是否足够Wait token

这也是 R2T2 与“把当前截断音频强行完整转写”的重要区别:R2T2 的目标是预测当前条件下最终转写的安全前缀,而不是猜测截断句子的完整尾部。

“I have to / I have too / I have two” 的稳定区间和 Wait 标签图

六、Streamability:选择适合流式改造的基础模型

streamability 衡量模型在音频逐渐到达时,LSP 增长得有多快。对每个时刻,先统计平均 LSP 长度:

\(l(M,t)=\frac{1}{|N(t)|}\sum_{x\in N(t)}|LSP(M,x,t)|\)

还可以将音频进度和 LSP 长度归一化:

\(\tau_{x,t}=\frac{t}{|x|},\qquad\bar l_{x,t}=\frac{|LSP(M,x,t)|}{|M(x)|}\)

再对归一化曲线求面积:

\(s(M)=AUC(\bar l(M,\tau))\)

在 1,860 条 Buckeye 英语语句上,Qwen3-ASR-1.7B 的归一化 streamability 为 0.493,在比较模型中最高。它表示这个基础模型更容易从完整上下文转换成稳定前缀流式模型,不等于真实设备上的端到端延迟。

不同模型的 streamability 曲线与 AUC

七、训练数据与增强

项目配置
数据规模约 1,500 小时、600,000 条中英文语音
语言比例中文 300,000 条,英文 300,000 条
公开数据SFT 和 GRPO 不使用公开训练数据,评测集不进入后训练
特征10 ms Fbank hop,128 维 log-Mel
编码器帧间隔80 ms,12.5 Hz
噪声 SNR10-35 dB
纯噪声替换10%
混合噪声30% 条件概率
混响40%,其中 90% 真实 RIR、10% 模拟 RIR
语言标签翻转10%

增强针对流式 ASR 的实际失败模式:纯噪声或无语音时的幻觉、噪声和混响下的识别退化、语言标签错误导致的语言跑偏,以及短音频前缀导致的过早续写。语言标签翻转让模型更依赖实际声学内容,而不是无条件相信提示。

八、两阶段后训练:SFT + GRPO

8.1 SFT

SFT 使用 LSP 转写和 Wait 目标的交叉熵。训练 1 个 epoch,Fused AdamW,初始学习率 1e-5,2% warmup 后线性衰减,有效全局 batch size 为 64;只更新语言解码器,音频编码器和 projector 冻结,LoRA 不启用。

  • 10% 样本使用完整 utterance 和完整转写,保持离线识别能力。
  • 90% 样本随机取音频前缀。
  • 前缀切点中,50% 位于 LSP 稳定区间,学习输出稳定文字。
  • 另外 50% 位于稳定区间之间,学习输出 LSP + Wait。
  • 音频注意力窗口随机取 1-8 秒,窗口内保持双向注意力。

8.2 GRPO

GRPO 从 SFT 模型开始,对每个 prompt 采样多个流式轨迹,使用组内相对奖励优化质量和等待行为。轨迹可以跨越 1、2 或 4 个流式 turn,使模型接受更多音频后仍能被评估。

奖励项权重主要作用
CER0.300主要字符级识别信号
Precision0.150惩罚错误插入
Length0.150惩罚过长续写
Repetition0.125抑制重复字符和重复片段
Language Consistency0.150保持中文/拉丁字符构成与目标一致
Tail0.050惩罚稳定区间内的尾部冗余
Word Accuracy0.050评价稳定区间内局部词/字准确性
Cut Marker0.025监督 Wait 是否存在以及位置是否正确

加权奖励经过空输出、精确匹配和退化输出等特殊规则后,使用:

\(R(y_t,y_t^*)=\tanh(3R_{raw}(y_t,y_t^*))\)

这些奖励共同抑制:没有足够声音时继续编造、重复输出、语言跑偏、把 Wait 放在文本中间、在稳定区间外输出未经支持的尾部。论文指出,单个奖励分量的独立作用仍需要受控消融,不能把全部收益归因于某一个奖励。

九、流式推理的四项优化

编码器每 80 ms 产生一个位置;主实验使用 160 ms chunk,因此每条流每秒约更新 6.25 次。为了让每次更新及时完成,R2T2 使用四项优化。

9.1 编码器缓存

推理时使用不重叠的 8 秒窗口。完整窗口的编码结果不再依赖未来音频,可以缓存;每次只重新编码正在增长的活动窗口。活动窗口最多约 100 个 80 ms 位置。

9.2 Wait 终止解码

每轮 pre-fill 后的第一个预测就是当前动作。如果预测为 Wait,本轮立即结束,不再执行串行 token 解码;如果不是 Wait,才继续生成,直到遇到 Wait 或 EOS。静音或信息不足的更新因此只需要一次 pre-fill。

9.3 有界上下文

只缓存完成窗口仍会让上下文不断变长。R2T2 只保留最近 W 个完成窗口和当前活动窗口,驱逐更早窗口及其之前已经提交的文本。上下文上限为:

\(8(W+1)\text{ 秒}\)

主实验使用 W=1,相当于一个最近完成窗口加一个活动窗口,约 16 秒音频上下文。

9.4 Pre-fill verification

当 U>0 时,上次生成但尚未提交的最后 U 个 token 作为可变后缀。新音频到达后,pre-fill 已经计算主模型在这些位置的新预测。系统保留与新预测一致的最长前缀,在第一个分歧处截断 KV cache,用新 token 替换,再继续解码。这相当于把暂留后缀当作 draft,用主模型 pre-fill 做局部核验;已经提交的前缀永远不回改。

prompt head、完成窗口、活动窗口、已提交文本和可变后缀的更新布局图

十、U 参数:质量优先还是延迟优先

配置含义典型取舍
U=0不额外暂留 token延迟更低,错误率略高
U=1最后一个 token 暂留内部质量优先,等待少量更多上下文
U=5暂留最后五个 token基础模型 2 s 参考配置,延迟更高

U 不代表固定毫秒数。同一个 token 在不同语言、语速和 BPE 分词下对应的音频时长不同。它是“暂留 token 数”的控制旋钮,而不是严格的时间延迟参数。

十一、实验结果:流式质量接近离线模型

配置13 个测试集宏平均错误率解释
基础模型,完整音频5.15%离线全上下文参考
基础模型,2 s,U=55.25%准确率参考,发射更晚
基础模型,160 ms,U=121.01%小 chunk 下明显退化
R2T2,160 ms,U=15.76%质量优先
R2T2,160 ms,U=06.40%延迟优先
X-ASR,160 ms8.97%开源对比配置
AssemblyAI,160 ms8.27%商业 API 对比
Commercial A,160 ms6.23%商业 API 对比
Commercial B,160 ms6.01%商业 API 对比

160 ms、U=1 时,R2T2 在表中列出的全部中英文测试集上优于基础模型同条件配置,宏平均错误率从 21.01% 降到 5.76%,相对下降约 72.6%。与基础模型完整音频的 5.15% 相比,仅差约 0.61 个百分点。R2T2 在纳入排名的流式配置中取得最低综合错误率,但并非每个单独测试集都超过所有商业系统。

评测集包含英文 AMI、Giga-clean、LibriSpeech、VoxPopuli、Earnings22、TED-LIUM、EN-RealSI,以及中文 Wenet-net、Wenet-meeting、SPEECHIO-06、SPEECHIO-07、CN-RealSI。英文使用 WER,中文使用 CER,每个数据集等权计算宏平均。

图片占位(论文 Table 3,ID:tab:main-recognition-comparison;论文 Figure 5,

11.1 跨语言迁移结果

虽然 R2T2 后训练只使用中文和英文,但在另外 10 种语言的 18 个测试集上,160 ms、U=1 的错误率都低于基础模型同条件配置,宏平均从 30.75% 降到 8.40%。这些语言包括阿拉伯语、德语、西班牙语、法语、日语、韩语、葡萄牙语、俄语、泰语和越南语。这个结果说明模型学到了一部分与“稳定前缀和等待”有关的通用能力,但不应被理解为这些语言都经过了专门后训练。

十二、发射延迟如何计算

论文使用回溯性发射延迟(retrospective emission lag)。对齐后,一个正确识别单位的延迟为:

\(\mathrm{Lag}=t_{\mathrm{first\ permanently\ stable\ output}}-t_{\mathrm{aligned\ acoustic\ end}}\)

该指标只统计 Levenshtein 对齐后正确匹配的英文词或中文字符,排除高错误率语句;沿音频时间轴计算,不包含推理计算、排队、网络和界面渲染时间。因此它不是服务器端端到端响应延迟,而是“如果系统能跟上音频,正确文字多久变成永久稳定前缀”的指标。

160 ms、U=1 的平均回溯性延迟约为英文 0.76 秒、中文 0.75 秒;U=0 时英文约 0.42 秒、中文约 0.53 秒。进一步使用 80 ms、U=0 时,中英文平均延迟都可以低于 0.5 秒,但识别错误率继续上升。

chunk size、U 与识别错误率/发射延迟的折中曲线

十三、R2T2 与普通“不断改写”流式 ASR 的区别

方案模型中是否学习提交时机已经发布文本下游系统
滚动重解码通常没有可能回改需要 diff、撤销和重复处理
Local Agreement/Hold-n主要是外部提交规则提交后可不回改稳定,但模型自身不一定知道何时等待
R2T2LSP + Wait 直接训练只追加、不回改可直接消费 finalized prefix
因果交错模型通过因果结构约束通常不回改需要重新训练编码器和解码器

R2T2 的关键不是简单把输出尾部截掉,而是让模型在生成过程中学会:当前信息不足时不要猜,直接 Wait;当前前缀稳定时才提交。

十四、开源使用方式

官方仓库提供 vLLM、Transformers 离线推理、llama.cpp 和 WebSocket 服务器。模型权重位于 Hugging Face,GGUF 权重位于 Confucius4-R2T2-GGUF。

git clone https://github.com/netease-youdao/Confucius4-R2T2.git
cd Confucius4-R2T2
conda create -n confucius4-r2t2 python=3.12 -y
conda activate confucius4-r2t2
pip install -e .
./run_example.sh /path/to/audio.wav \
  --model_path /path/to/Confucius4-R2T2 \
  --infer_mode stream_vllm \
  --language Chinese \
  --chunk_size_ms 160
参数含义
chunk_size_ms流式 chunk,支持 80 ms-2 s
unfixed_token_numU,1 偏质量,0 偏延迟
lookahead_ms首轮更新使用的额外音频缓存
context主题、词汇或热词提示
languageChinese、English 等语言提示

14.1 Python 流式接口的关键语义

state = asr.init_streaming_state(
    context="",
    language="Chinese",
    unfixed_chunk_num=0,
    unfixed_token_num=1,
    chunk_size_sec=0.16,
)

_, committed_text = asr.streaming_transcribe(seg, state, max_new_tokens=4)
asr.finish_streaming_transcribe(state)

官方示例强调:如果下游系统要求文字不可回改,应使用 finalized prefix;当前 hypothesis 可能还包含内部暂留尾部。最终 flush 后再读取完整文本。

14.2 WebSocket 服务

仓库提供 ws_server.py 和示例客户端,端点为 /asr_stream_api_v1。客户端发送 16 kHz、单声道、int16 PCM 二进制帧,参考帧约 160 ms;结束时发送 YOUDAO_ONETIME_ASR_STREAM_EOS。服务端返回 JSON,msg.text 是相对于上一条消息的新增增量片段,客户端可将其追加获得完整转写。

十五、总结:R2T2 真正解决的是什么问题

R2T2 的核心不是让 ASR 在每个时刻都给出一个“完整猜测”,而是让模型学习当前音频已经支持到哪一个安全前缀。能够确认时输出文字,不确定时输出 Wait;已经发布的文字永远不回改。

技术路径可以概括为:

\(\text{Qwen3-ASR-1.7B}+\text{LSP labels}+\text{Wait supervision}+\text{SFT}+\text{GRPO}+\text{cache optimizations}\rightarrow\text{stable-prefix streaming ASR}\)

在 160 ms chunk、U=1 的质量优先模式下,R2T2 把流式识别错误率从基础模型的 21.01% 降到 5.76%,接近基础模型完整音频的 5.15%;在 U=0 或更小 chunk 下,又可以换取更低的发射延迟。对需要持续消费文本的字幕、同传和语音智能体来说,这种“只追加输出”的接口比单纯追求最终 WER 更接近真实生产需求。

Qwen-Audio-3.1-ASR 技术详解:从多语言、方言与专业词识别,到说话人日志和通用音频理解

论文:Qwen-Audio-3.1-ASR Technical Report(arXiv:2610.28711) 

一、先给结论:Qwen-Audio-3.1-ASR 做了什么

Qwen-Audio-3.1-ASR 不是只把语音转成一串文字的单一 ASR 模型,而是一组由指令控制的 Audio-Language Model。它在保留 Qwen-Audio-3.0-ASR 多语言识别、历史上下文、热词和原生润色能力的基础上,增加了两类能力:第一,输出带有说话人标签和时间戳的说话人日志;第二,Qwen-Audio-3.1-ASR-Next 能够处理声音描述、时间定位、声音事件和音频问答。

  • 支持 30 种语言,以及 16 种中文方言。
  • 中文方言可以在推理时选择“保留方言原话的 ASR”,也可以选择“翻译成普通话文字的 AST”。
  • 非流式 Flash 和 Next 版本支持说话人日志,输出格式为 [SPK|start-end]text,支持不同说话人的时间区间重叠。
  • Message 版本采用“流式实时显示 + 句末非流式刷新”,并在同一识别流程中支持历史上下文、分层热词和原生转写润色。
  • 训练流程包含六个阶段:音频编码器预训练、Audio LLM 预训练、LLM cooldown adaptation、监督微调、强化学习和多教师在策略蒸馏(MOPD)。

二、模型家族与部署版本

版本主要场景ASR说话人日志通用音频理解上下文热词原生润色
Qwen-Audio-3.1-ASR-Flash-Filetrans异步文件转写支持不支持不支持支持支持不支持
Qwen-Audio-3.1-ASR-Flash-Streaming实时流式识别支持不支持不支持支持支持不支持
Qwen-Audio-3.1-ASR-Flash-Message交互式语音输入支持不支持不支持支持支持支持
Qwen-Audio-3.1-ASR-Flash非流式转写支持支持不支持支持支持支持
Qwen-Audio-3.1-ASR-Next非流式转写与音频分析支持支持支持支持支持支持

论文中的实验名称略有简化:实验表格中的 Qwen-Audio-3.1-ASR 通常指 Flash 基础模型的非流式接口;Qwen-Audio-3.1-ASR-Next 指带通用音频理解能力的 Next 版本;Message 延迟和行业术语召回实验使用 Qwen-Audio-3.1-ASR-Flash-Message。

三、总体架构:声音、指令和上下文共同参与解码

Qwen-Audio-3.1-ASR 的核心由三部分组成:音频编码器(audio encoder)、音频适配器(audio adapter)和基于 Qwen 的 LLM 解码器。音频编码器从波形中提取声学表示;适配器把声学表示映射到语言模型可以接收的表示空间;LLM 解码器根据声音、任务指令、可选文本条件和已经生成的前缀逐 token 产生结果。

对于音频输入 x、任务指令 q 和可选文本条件 c,可以把模型抽象为:

\(H=A(E(x)),\qquad p_{\theta}(y\mid x,q,c)=\prod_{t=1}^{T}p_{\theta}(y_t\mid y_{<t},H,q,c)\)

其中,E 是音频编码器,A 是音频适配器,H 是音频 embedding 序列,y 是输出 token 序列。c 可以包含目标语言、历史转写、P0/P1 热词或润色指令。由于解码器仍然直接接收音频表示,因此上下文提示是辅助证据,不能简单替代声学证据。

模型还保留一条辅助 CTC 路径。CTC 分支从音频编码器表示中生成初步识别假设和粗粒度位置,用于帮助热词定制与长音频上下文注入;最终输出仍由音频、指令、上下文和自回归解码共同决定,不能把 CTC 初稿当作最终答案。

3.1 说话人日志的结构化输出

说话人日志不再是单一文本串,而是多个带结构字段的片段。可以抽象为:

\(\mathcal{S}=\{(b_i,e_i,k_i,w_i)\}_{i=1}^{M}\)

b_i 和 e_i 是片段起止时间,k_i 是录音内部的说话人标签,w_i 是对应文字。实际序列化格式为 [SPK|start-end]text,例如 [SPK2|25.20-30.00]Well, we checked the documentation.。同一录音中同一说话人会重复使用相同标签;不同说话人的时间区间可以重叠,因此可以表示插话、短响应和同时说话。标签只表示录音内部的参与者,不等于现实世界身份识别。

四、六阶段训练流程

4.1 第一阶段:音频编码器预训练

音频编码器预训练分为 BEST-RQ 自监督预训练和 AED 监督训练两步,论文称两阶段合计使用了数千万小时、覆盖多种真实场景的音频。音频来自人工智能、生物技术、电商、教育、娱乐、金融、出行等领域,但论文没有公开每个领域的具体时长。

  • Qwen3 初始化:从预训练 Qwen3 LLM 中初始化结构兼容的 Transformer 层。非流式编码器使用双向注意力,以便同时查看语音前后文;声学前端单独初始化。
  • BEST-RQ:随机遮挡声学帧,使用未遮挡特征经过固定随机投影和冻结 codebook 得到的离散目标,训练编码器预测被遮挡位置的目标。这样可以利用大量无转写语音学习上下文声学表示。
  • AED 监督训练:把编码器接入 attention-based encoder-decoder,用配对的音频和文字逐 token 预测转写。标注数据经过 VAD、Paraformer-V2、Whisper-large-v3、SenseVoice 等多系统伪标签生成和 ITN 处理。完成后丢弃 AED 解码器,只保留训练好的编码器初始化主模型。

4.2 第二阶段:Audio LLM 预训练

Audio LLM 解码器从 Qwen 的语言模型部分初始化,采用 Mixture-of-Experts(MoE)骨干。论文给出的预训练规模约为 2,000 万小时多语言数据,主要包括 ASR 数据和文字-音频交错数据。此阶段冻结音频编码器,只联合训练音频适配器和 LLM 解码器,并使用目标文字上的交叉熵损失建立音频表示与语言表示之间的对齐。

这一阶段带来的不仅是发音到文字的映射,也包括多语言知识、世界知识和语义消歧能力。例如,当声音在同音词之间存在歧义时,语言模型可以利用话题、实体和常识进行候选排序,但最终仍需要以音频为主要证据。

4.3 第三阶段:LLM Cooldown Adaptation

Cooldown 阶段使用约 100 万小时的更高质量音频-文字数据,重点不是继续简单扩大数据量,而是重新平衡语言和中文方言比例、提高转写质量并增加任务多样性。混合数据包括常规 ASR、音频理解、说话人日志、语音问答和对话数据。

质量过滤方面,团队使用 VibeVoice 对 ASR 音频重新识别,再与已有参考文本比较;词错误率大于 0.3 的样本被移除。重要的是,这个过程只是筛选数据,不是用 VibeVoice 输出替换原参考文本。

4.4 第四阶段:监督微调(SFT)

SFT 把模型变成真正的指令控制 Audio-Language Model。每个样本由用户指令、音频和 assistant 目标回答构成,覆盖多语言、方言、代码切换、噪声、远场、行业术语、说话人日志和通用音频理解。

SFT 时联合更新音频编码器和音频适配器;基础 LLM 参数冻结,只通过 LoRA 适配解码器。训练目标仍是目标回答的自回归交叉熵。语言控制样本会明确要求“按指定语言转写”“保留多语言原有书写系统”,避免模型把较低资源语言擅自替换成更熟悉的语言。

4.4.1 行业实体数据合成

团队从人工智能、金融、医疗、IT 等领域挖掘稀有实体和长尾词,结合检索到的事实背景让 LLM 生成包含实体的多样短句,再用 CosyVoice3 合成语音;对难以稳定合成的术语补充人工录音。随后用当前 ASR 模型重新识别,并过滤实体明显不一致的样本。这样可以让模型在训练中同时“看到”和“听到”不常见的名称,而不是只在词表中加入文字。

4.4.2 原生转写润色

通过一个二值润色指令控制输出是逐字稿还是清洁稿。润色样本教模型删除非语义填充词、合并口吃和不必要重复、处理说话人的自我纠正,并规范标点和格式。真实语音保留原始音频,再用文本 LLM 生成润色监督,并用保真度过滤去除语义损失或无依据添加;合成数据则在标准文本中注入填充词、重复和自我修正,再通过 TTS、发音过滤和噪声增强生成音频。

4.4.3 历史上下文与同音词消歧

上下文训练把同一会话前面已经出现的转写或交互记录作为参考。指令明确告诉模型:历史上下文可能不完整、无关甚至错误,当前音频仍是首要证据。真实数据按照音频 ID 找回原会话,恢复时间顺序,只使用当前语音之前的轮次,不对历史文本做 LLM 改写;合成数据则专门构造正确、冲突、噪声和空白上下文,用来训练模型既会利用有效提示,也不会无条件复制提示。

这解释了“没有外部知识时如何利用同一句话内部线索”的基本机制:音频编码器提供发音证据,当前句子已生成的前缀、指令和历史片段提供语义约束;如果目标词是专名或同音词,模型可以通过同一句中的动作、对象、数量、主题和显式拼字说明来提高候选概率。训练时还要加入冲突提示和无关提示,避免模型形成“提示了什么就一定输出什么”的捷径。

4.4.4 分层热词 P0/P1

P0 是高置信度、高优先级候选,例如关键人名和上下文中确定出现的实体;P1 是更宽的候选池。LLM 根据候选与参考转写的语义匹配把词分层。推理时 P0 获得更强条件,但模型仍需同时满足声学和上下文证据;P1 用于扩大覆盖而不是强制替换。

4.4.5 说话人日志 SFT、speaker loss 与时间量化

说话人日志训练数据由人工转写和模型生成监督组成。影视数据使用原始字幕,并结合语言识别、声音事件检测和说话人日志模型交叉校验;另外用 LLM 生成会议话题,模拟多人会议,并加入不同混响和噪声。

输出按时间顺序序列化为 [SPK|start-end]text。同一说话人保持一致标签,区间允许重叠。训练语料中,speaker-ID 数字 token 占全部监督 token 的 2.90%,但只贡献未加权交叉熵损失的 1.97%;时间戳 token 占 33.44%,贡献 49.51%;格式 token 占 14.48%,损失约 0.23%;转写 token 占 46.50%,损失 47.74%。因此只对 speaker-ID 数字 token 施加 10 倍损失权重,其余 token 保持 1 倍。

在说话人日志训练中,不同类型的输出 token 对训练损失的贡献并不均衡。模型可能花了大量训练资源学习时间戳和转写文字,但真正决定“谁在说话”的 Speaker-ID token 获得的有效监督相对不足。只提高 Speaker-ID 数字 token 的损失权重,其他 token 的权重保持不变。

时间戳从原始 1 ms 精度量化到 80 ms 网格,与编码器和适配器的 12.5 Hz 表示帧率对齐。论文报告,相比 1 ms 目标,80 ms 量化能带来更快的损失、DER 和 cpWER 收敛,并在相同数据混合下取得更好的 DER 和 cpWER。

\(L=\sum_i w_i\,\mathrm{CE}_i,\qquad w_i=\begin{cases}10,&i\text{ 为 speaker-ID 数字 token}\\1,&\text{其他 token}\end{cases}\)

4.5 第五阶段:强化学习(RL)

RL 数据集聚焦真实困难样本,包括多个 ASR 系统(Whisper、FireRed-ASR、SenseVoice)意见不一致的样本、超过 20 秒的长语音、幻觉与长重复、关键词/热词样本,以及用于防止灾难性遗忘的常规 ASR 数据。上下文样本保留原有历史文本和指令,以便奖励真正反映指定任务。

团队实现了异步音频强化学习框架 FunVerl:音频处理器提取 Mel 特征并 token 化文本;vLLM 生成一组候选答案;奖励模块按任务计算分数;Megatron trainer 使用张量、流水线和专家并行更新策略。轨迹队列把生成和优化解耦,NCCL 同步更新后的权重,并通过策略版本阈值过滤过旧轨迹。

对每个输入 q,旧策略生成 G 个回答,组内标准化奖励得到共享优势:

\(\hat A_{i,t}=\frac{R_i-\operatorname{mean}(\{R_j\}_{j=1}^{G})}{\operatorname{std}(\{R_j\}_{j=1}^{G})+\delta}\)

GRPO 的裁剪目标为:

\(J_{\mathrm{GRPO}}(\theta)=\frac{1}{G}\sum_{i=1}^{G}\frac{1}{|o_i|}\sum_t\left[\min\left(r_{i,t}\hat A_{i,t},\operatorname{clip}(r_{i,t},1-\varepsilon,1+\varepsilon)\hat A_{i,t}\right)-\beta D_{\mathrm{KL}}(\pi_\theta\|\pi_{\mathrm{ref}})\right]\)
  • 普通 ASR 奖励:1-WER 为主,结合关键词召回、关键词准确率、P0/P1 热词奖励、上下文实体命中与误插入惩罚。
  • 幻觉抑制:通过模式匹配检测幻觉片段,并按幻觉长度惩罚。
  • 说话人日志奖励:使用 DER、cpWER 和 tcpWER,分别关注说话人活动/混淆、按说话人拼接后的识别、以及带时间约束的词对齐。

4.6 第六阶段:多教师在策略蒸馏(MOPD/OPD)

多教师在策略蒸馏的通俗理解是:不是让学生只背固定标准答案,而是先让学生按当前能力自己生成,再让最适合该任务的教师在学生实际走到的前缀上给出 token 级指导。这样,学生前面即使已经犯错,教师仍能在学生真实访问到的状态上纠偏,减轻训练分布与推理分布不一致的问题。

任务路由使用四类教师:ASR 教师负责语音转写;说话人日志教师负责 speaker、时间和文字结构;音频理解教师负责声音描述、时间定位和音频问答;Qwen3.5 文本/对话教师负责保留语言模型和对话能力。

设学生采样回答为 \tilde y,输入为 x,任务对应教师为 p_{\phi_k}。对学生生成的第 t 个 token,使用 k3 估计器:

\(\rho_t(\theta)=\frac{p_{\phi_k}(\tilde y_t\mid x,\tilde y_{<t})}{\pi_\theta(\tilde y_t\mid x,\tilde y_{<t})},\qquad d_t^{(k_3)}=\rho_t-\log\rho_t-1\)

完整蒸馏损失为:

\(\mathcal L_{\mathrm{OPD}}(\theta)=\mathbb E_{(x,k),\tilde y\sim\pi_{\bar\theta}}\left[\frac{1}{|\tilde y|}\sum_{t=1}^{|\tilde y|}d_t^{(k_3)}(\theta)\right]\)

蒸馏数据混合 ASR、speaker diarization、audio understanding,以及文本和对话数据。论文没有给出各教师、各任务的具体采样比例,也没有公开单独的 MOPD 增益表,因此可以确认其设计目标是能力合并和稳定化,但不能把最终成绩定量归因于 MOPD 单一步骤。

五、推理与部署:流式、上下文和方言任务

5.1 多语言和代码切换

推理时可以指定目标语言列表,模型在同一个 checkpoint 中处理多语言和代码切换,并保留各语言原有书写系统。例如日语保留汉字与假名,韩语保留韩文。公众号给出的韩语金融口述和日语求职咨询样例,强调专业词、语气和关键信息的保留,而不是把所有语言统一翻译成中文。

5.2 方言 ASR 与方言到普通话 AST

同一段方言有两种合法目标:ASR 要求保留方言原话;AST 要求把方言意思翻译成书面普通话。比如“大家好,我係 Qwen。”在方言 ASR 中保留“我係”,在方言到普通话 AST 中输出“我是”。这两个任务必须分开评测,不能把方言原文 CER 和普通话翻译的语义准确率混为一谈。

5.3 流式识别与 Message ASR

Streaming 版本把音频切成短 chunk,并配置有限的 right context,以在延迟和准确率之间折中。短 right context 更快,长 right context 能看到更多声学证据;随着更多音频到达,部分假设可以被修订。句末检测后,完整 utterance 会被重新解码并刷新最终文本。

Message ASR 在此基础上叠加历史转写、P0/P1 热词和原生润色。它的设计重点是“先让用户看到字,再在句末用完整上下文刷新”,而不是要求流式阶段立即输出最终完美结果。

Overview of the Message ASR workflow used in Qwen-Audio-3.1-ASR
连续音频输入
      ↓
音频切成短 chunk
      ↓
加入有限的未来音频 right context
      ↓
流式编码与增量解码
      ↓
输出临时文本
      ↓
继续接收新的音频
      ↓
修订尚未稳定的文本尾部
      ↓
检测到 utterance 结束
      ↓
取完整语句音频
      ↓
使用完整上下文重新解码
      ↓
刷新最终转写文本

六、实验设置与指标

论文覆盖公开 ASR、多语言、方言、行业实体、热词、长音频上下文、原生润色、Message 延迟、说话人日志和通用音频理解。公开数据集包括 AISHELL-1、AISHELL-2、FLEURS、LibriSpeech、WeNetSpeech、GigaSpeechBench、Common Voice 15、KeSpeech、WSYue、AISHELL-4、AliMeeting-test、MLC-SLM、MagicData-RAMC、MMAU、MMSU、CochlScene、Nonspeech7k、MELD、NSynth、DiDiSpeech、Clotho-Moment 和 DESED。

常用指标定义如下:

  • CER:中文或逐字评价中的字符错误率,越低越好。
  • WER:英文等按词评价的词错误率,越低越好。
  • DER:说话人日志错误率,反映漏检、误报和说话人混淆。
  • cpWER:按说话人拼接后,在最佳说话人置换下计算的词错误率,降低了 SPK0/SPK1 名称任意性的影响。
  • tcpWER:带时间约束的 cpWER,要求词与时间区间兼容。
  • 实体召回率:参考文本中关键名称和术语被正确识别的比例。
  • 语义句准确率:方言 AST 中输出是否保留人名、数量、否定、动作、对象、时间、地点等关键意义。
  • mIoU:时间定位预测区间与标注区间的平均交并比。

内部方言 AST 的语义句准确率为:

\(\mathrm{Semantic\ Sentence\ Accuracy}(\%)=\frac{100}{N}\sum_{i=1}^{N}\mathbf 1[z_i=0]\)

其中 z_i=1 表示第 i 个输出存在语义错误,z_i=0 表示没有语义错误。人工标注子集与 Qwen3.7-Max 判断的一致率为 95.35%,这 95.35% 是评估器一致率,不是方言翻译准确率。

七、主要实验结果

7.1 中文和英文公开 ASR

测试集指标Qwen-Audio-3.0-ASRQwen-Audio-3.1-ASR3.1 观察
AISHELL-1CER1.03%1.08%略高于上一代;统一 API 评测中 Fun-ASR-Flash 为 0.76%
AISHELL-2CER2.02%2.05%与上一代接近
FLEURS-zhCER2.08%2.25%统一 API 评测中为参评系统最低
FLEURS-enWER4.17%4.72%统一 API 评测中为参评系统最低
LibriSpeech-cleanWER1.19%1.23%统一 API 评测中为参评系统最低
LibriSpeech-otherWER2.24%2.19%论文公开结果中达到最低值
WeNetSpeech-netCER4.31%4.37%统一 API 评测中 Fun-ASR-Flash 为 3.83%

论文特别区分了“公开来源结果”和“统一 API 评测”。由于公开结果可能使用不同预处理和打分协议,直接比较应优先看 Panel B。统一 API 评测中,Qwen-Audio-3.1-ASR 在七个测试集中的四个取得最低错误率:FLEURS-zh 相对最强基线降低 0.13 个百分点,FLEURS-en 降低 0.23 个百分点,LibriSpeech-clean 降低 0.12 个百分点,LibriSpeech-other 降低 0.32 个百分点;AISHELL-1、AISHELL-2 和 WeNetSpeech-net 则由 Fun-ASR-Flash 最低。

7.2 多语言 ASR

测试组Qwen-Audio-3.0-ASR 宏平均Qwen-Audio-3.1-ASR 宏平均结论
GigaSpeechBench(印尼、日、泰、菲、越、韩、马来)22.50%15.09%相对降低 32.9%,七种语言均低于上一代
Common Voice 15(8 种语言)未提供完整上一代结果3.74%有完整结果的参评系统中最低
FLEURS(9 种语言)4.94%3.85%低于上一代,但 Azure MAI-Transcribe-2 为 3.25%

GigaSpeechBench 中,日语 CER 从 28.48% 降到 18.47%,泰语 CER 从 16.22% 降到 7.75%,马来语 WER 从 34.65% 降到 25.04%。FLEURS 中,Qwen-Audio-3.1-ASR 在印尼语、日语和韩语取得该表最低错误率;但泰语、菲律宾语、越南语和马来语的最佳值由 Azure MAI-Transcribe-2 获得,说明不同语言和录音条件下仍存在系统差异。

7.3 中文方言 ASR 与 AST

公开方言基准包含 9 个 KeSpeech AST 子集和 WSYue 粤语长/短语音 ASR 子集。Qwen-Audio-3.1-ASR 的宏平均 CER 为 4.55%,Doubao-ASR 为 7.15%,Tencent Hy-ASR-3.0-preview 为 4.61%,并在 6 个子集取得最低 CER。

内部 16 方言 ASR 测试中,Qwen-Audio-3.1-ASR 在 11 个子集取得最低 CER,宏平均为 10.38%,低于 Doubao-ASR 的 20.23% 和 Tencent Hy-ASR-3.0-preview 的 17.13%。温州话 CER 为 19.21%,对应两个基线分别为 68.22% 和 64.74%。

内部 11 方言 AST 测试中,对 Doubao-ASR 可比的上海、客家和粤语子集,Qwen-Audio-3.1-ASR 语义句准确率宏平均为 88.03%,Doubao-ASR 为 78.69%;对 Tencent Hy-ASR-3.0-preview 可比的南昌、湖南、粤语和青岛子集,宏平均为 89.03%,基线为 77.53%。这些结果评估的是意义是否保留,不等于普通话表达是否最自然。

7.4 行业实体与热词

15 个行业的内部实体识别测试中,Qwen-Audio-3.1-ASR 在 9 个领域取得最高实体召回率,并在建筑与家居、制造业两个领域并列最高;召回率范围为 94.9%–99.5%。相较更强竞争系统,人工智能、农业、商业与物流的提升分别为 2.3、2.2 和 2.1 个百分点。论文也明确提醒:该结果不能单独证明实体合成流水线的因果增益,因为它与其他改进一起加入了最终模型。

热词类别层级无热词有热词说明
人名P062.12%99.43%高优先级人名提升显著
主题词P069.36%99.42%P0 强条件
主题词P188.46%95.31%P1 提升较温和
趋势词P063.08%99.46%P0 强条件
AI 实体P088.22%99.39%长尾实体召回
品牌名P083.83%97.95%有热词时明显改善
产品实体P072.87%99.07%有热词时明显改善

7.5 长音频上下文

论文给出的定性案例显示,前面出现过的代码文件名、法条名称、unigram、TCC、softmax、debug 模式和人名,可以帮助后续片段纠正音近但错误的结果。例如前文出现 style.xsl,后文不带上下文时识别为 xsl,加入历史上下文后恢复为 style.xsl;“张贵生”也能从“张桂生”纠正回来。这里的上下文来自同一会话的此前转写,不是外部知识库。

这些例子是定性展示,不是受控的上下文消融实验。论文没有公开一个统一的“有上下文/无上下文”总体 CER 降幅,因此应把它们理解为机制示例,而非单独的性能承诺。

7.6 原生转写润色

在五分制内部评分中,原始转写可读性为 2.53,原生润色提高到 3.44,外部 ASR+Qwen3.6-Plus 串联为 3.51;原生润色的忠实度为 3.44,串联为 3.47,原始转写为 3.51。也就是说,原生润色显著改善可读性,只带来有限的忠实度下降,并省掉额外的文本 LLM 调用。

公众号和论文示例包括删除 um/uh、合并 the the the、处理 false start、吸收说话人的最终自我修正,以及把口述字母 d r r 规范成 DRR。

7.7 Message ASR 延迟与行业词召回

指标(毫秒)Doubao Streaming ASR 2.0Qwen-Audio-3.1-ASR-Flash-Message
文本输出延迟530220
首字符延迟570100
末字符延迟307103

测试使用 10 路并发音频流,Qwen 服务运行在 NVIDIA H100,自建服务;网络延迟假设相近。九个行业测试集上,Qwen 流式显示阶段平均实体召回率为 63.93%,Doubao 为 46.28%;句末非流式刷新阶段为 92.82%,Doubao 为 78.27%。因此流式输出负责即时反馈,句末刷新负责更高质量的最终文本。

7.8 说话人日志 ASR

测试集Qwen 3.1 ASR DERQwen 3.1 ASR cpWERQwen 3.1 ASR-Next DERQwen 3.1 ASR-Next cpWER
AISHELL-43.26%15.02%2.70%13.51%
AliMeeting-test2.11%15.78%2.15%12.04%
MLC-SLM1.80%12.35%1.78%12.60%
MagicData-RAMC3.08%13.32%3.18%13.58%

两种 Qwen 版本合计在四个数据集的 12 个数据集-指标组合中都取得最低错误率;两者各有优势。Next 在 AISHELL-4 的 DER/WER/cpWER、AliMeeting-test 的 WER/cpWER 等项目更强;基础 ASR 在 AliMeeting-test DER、MLC-SLM WER/cpWER 和 MagicData-RAMC 三项指标更强。所有 Qwen 版本都在四个数据集上同时优于级联 Fun-ASR 的 DER 和 cpWER。为公平比较,长音频测试统一切成约 4 分钟片段,论文提供了 SDR Evaluation Toolkit。

7.9 通用音频理解与时间定位

基准任务/指标Qwen-Audio-3.1-ASR-Flash-Next结果解读
MMAU综合音频理解准确率81.60%高于 Gemini-3.1-Pro 0.70 个百分点
MMSU细粒度语音理解准确率82.24%低于最佳结果 3.06 个百分点
CochlScene声学场景准确率76.30%领先次优 12.40 个百分点
Nonspeech7k非语音声音准确率93.20%该任务最佳
MELD情绪识别准确率58.12%该任务最佳
NSynth乐器识别准确率66.90%领先次优 27.70 个百分点
DiDiSpeech说话人性别准确率99.67%该任务最佳
Clotho-Moment单区间时间定位 mIoU82.20%领先次优 10.41 个百分点
DESED多区间事件检索 mIoU66.60%仅低于最佳 0.04 个百分点

Next 在 9 个基准中的 7 个取得最佳结果。它把 ASR 扩展为对语音、环境声和音乐的统一音频理解,但这类能力只在 Next 非流式接口提供,不能与 Streaming 或 Message 版本混用。

八、论文中真正的创新点

  • 从平面 ASR 到结构化音频输出:同一个指令控制框架覆盖普通转写、说话人+时间戳转写和音频理解。
  • 说话人日志直接生成:把 speaker、时间和文字序列化为统一自回归目标,并支持重叠语音,避免单独 diarization、ASR、对齐模块之间的级联误差。
  • 面向长尾实体的训练闭环:行业词挖掘、事实驱动句子生成、TTS/人工录音、重新识别过滤,形成专门的实体数据合成流水线。
  • 上下文与热词的分层控制:历史转写提供话题线索,P0/P1 把高置信度候选和宽候选分开,同时用冲突/无关上下文训练模型避免盲目复制。
  • 时间戳和 speaker token 的针对性优化:speaker-ID loss 乘 10,时间戳对齐到 80 ms 音频帧网格。
  • 异步 GRPO 与 MOPD:RL 用序列级指标直接优化;MOPD 用多个任务教师在学生实际轨迹上提供 token 级指导。
  • 流式显示与句末刷新结合:用实时性和最终准确率两个阶段分别服务用户体验和最终稿质量。
  • 原生润色:把逐字识别与清洁稿生成放进同一次音频条件解码,减少额外 ASR+LLM 串联调用。

Qwen-Audio-3.1-ASR 的关键变化不是简单堆叠更多语言,而是把 ASR 放进一个更完整的音频语言建模框架:音频编码器负责提取可对齐的声学证据,Qwen MoE 解码器负责语言和语义组织,指令决定输出任务,上下文与热词负责在有依据时解决长尾实体和同音词,RL 和 MOPD 进一步把序列级指标与任务教师反馈纳入优化。

从结果看,它在多语言、中文方言、行业术语、说话人日志和通用音频理解上形成了较完整的能力谱系;从工程上看,Flash/Streaming/Message/Next 的版本拆分说明不同能力之间存在真实的延迟、上下文和输出结构取舍。对于实际应用,最合理的使用方式不是只追求一个最低 CER,而是根据任务选择:实时输入用 Message,异步文件和说话人日志用非流式 Flash,音频描述、声音事件和时间定位用 Next;涉及关键实体时,再结合 P0/P1 热词和同一会话历史上下文。

Hy ASR 3.0 技术报告详解:LLM 语音识别、上下文利用、方言与多阶段强化学习

论文:Hy ASR 3.0 Technical Report
团队:Hy ASR team / Tencent Hy
arXiv:2611.14908v1

Hy ASR 3.0 是一个建立在预训练 Hy3 基座模型之上的大语言模型式自动语音识别系统。它的目标不只是降低普通话和英语的 CER/WER,还要同时处理粤语与其他中文方言、热词和对话上下文、同音词消歧、长音频、儿童与老年人语音、低音量和噪声环境。系统由音频编码器、音频适配器、Hy3 LLM 解码器和音频条件热词检索模块组成,训练流程则覆盖自监督编码器训练、大规模 ASR 预训练、定向持续预训练、SFT、领域专家 RL、多教师 on-policy 蒸馏和行为强化学习。

一、核心结论与关键贡献

  • LLM-based ASR:音频编码器提取声学表示,音频适配器将其投影到 LLM 输入空间,Hy3 LLM 自回归生成转写。
  • 多种外部上下文:支持热词列表、问答式对话历史和摘要;热词先通过音频条件检索模块筛选,再与其他上下文一起作为文本前缀。
  • 句内上下文消歧:模型能够利用同一条语音其他位置的语义或显式拼字说明,识别同音、近音和生僻词,无需额外外部上下文。
  • 大规模自监督编码器:采用 Best-RQ 启动、迭代 HuBERT 和残差向量量化,在数千万小时语音上训练。
  • 大规模伪标签:多套 ASR 系统独立生成候选转写,以 ROVER 投票融合,再经过多阶段质量过滤。
  • 数据效率:领域平衡和数据压缩后,只使用原训练数据的 50% 仍获得更好性能;持续预训练对齐 SFT 分布后,SFT 数据可压缩到原来的 1/10,同时保持模型性能。
  • 专家强化学习:分别训练通用 ASR、方言 ASR、上下文偏置 ASR 三个专家,以降低跨领域目标干扰。
  • MOPD:学生先生成 on-policy 假设,再按领域路由给相应专家做 token 级 KL 蒸馏,把三个专家合并为一个统一模型。
  • 公开基准:论文报告中文聚合错误率 4.64%、英文 5.22%、方言组合 4.80%;粤语四个子集的非加权均值为 5.06%。
  • 内部基准:普通话、英语、粤语、代码切换分别为 3.18%、5.50%、4.81%、4.20%,在论文比较的系统中均为最低。
  • 上下文与鲁棒性:句内上下文关键词召回 61.88%,对话 QA 上下文召回 83.94%;长音频 CER 2.35%,儿童+老年语音 6.25%,低音量+噪声 7.49%。
  • 方言人工评测:覆盖 13 个方言大类、91 个次区域变体,严格识别率 64.7%,格式合规率 80.3%。
Hy ASR 3.0 能力与主要基准结果总览,包括普通话、英语、方言、上下文识别和鲁棒性。

二、任务定位:

Hy ASR 3.0 的输出目标是语音内容转写,即把音频转换为文字。它关注的核心是四类问题:

  1. 普通话、英语、粤语和中文方言的识别准确率;
  2. 热词、历史问答和摘要等外部上下文如何帮助识别;
  3. 同一语句内部的语义、对比和逐字解释如何消除同音歧义;
  4. 长音频、不同年龄人群、低音量和噪声等真实业务条件下的鲁棒性。

三、模型架构

Hy ASR 3.0 模型架构与分阶段训练流程。图中包含 Audio Encoder、Audio Adapter、Hy Tokenizer、Hy3 LLM、摘要/对话 QA/检索热词前缀,以及 Encoder SSL、Pre-training、SFT、RL 四段训练链路。

3.1 音频编码器

音频编码器的训练采用迭代的 HuBERT 式自监督流程。先训练一个 Bootstrap Encoder,并用 Best-RQ 对它选定的中间表示做量化,得到离散目标;再用这些目标训练一个 Intermediate HuBERT 模型;随后对它的表示做残差向量量化,得到多级目标;最后训练最终编码器,从被掩码的语音输入预测这些目标。整个阶段的直接监督来自语音自身的量化表示,人工逐字标注留给后续需要监督的任务。

编码器在数千万小时语音上分 2 阶段训练,数据以普通话和英语为主,也包含粤语和其他汉语方言。第一阶段覆盖较广的语音混合,第二阶段继续预训练时重新平衡数据,更强调汉语方言,降低噪声录音和短句的权重,并加强掩码策略和 utterance mixing,以提高对干扰语音的鲁棒性。

Best-RQ × HuBERT 式自监督学习 × 残差向量量化: Best-RQ 先提供可训练的 bootstrap 目标和量化表示,HuBERT 式自监督学习把这些表示变成掩码预测任务,残差向量量化再把表示分成多级离散目标。三者的分工是:Best-RQ 解决起始监督,HuBERT 式流程解决从掩码语音学习语义表示,残差向量量化提供更细的多级预测目标;组合后,最终音频编码器不需要人工逐字标签,就能从大量无标注语音中学习可供 LLM 使用的表示。

PS:

  • Best-RQ 的核心思想是:不需要预训练教师模型,也不需要人工标签,通过随机投影和随机码本,就能将连续语音特征转换成离散 Token,作为模型学习的伪标签。
  • HuBERT(Hidden-Unit BERT)的核心思想是:先为语音生成离散伪标签,再遮挡输入语音的一部分,让模型根据未被遮挡的上下文预测被遮挡位置的离散标签。建模上下文中的声学和语义关联,迫使模型学习更强的上下文表示。
  • RVQ,即残差向量量化,核心思想是:不再使用一个码本对连续向量进行一次量化,而是使用多个码本逐级量化前一级未能表示的残差,从而实现多级离散编码。提高离散表示的表达容量。保留更细粒度的声学和语音信息。提供多个离散预测目标,丰富自监督训练信号。
无标注语音
   ↓
Bootstrap Encoder
   ↓
Best-RQ 量化中间表示
   ↓
离散伪标签
   ↓
Intermediate HuBERT
   ↓
残差向量量化 RVQ
   ↓
多级离散伪标签
   ↓
最终 Encoder
   ↓
遮蔽语音预测多级目标

3.2 音频适配器

音频适配器将编码器的声学表示映射到 Hy3 LLM 的输入嵌入空间,使连续音频表示能够与文本 token、提示词和上下文前缀处在同一个条件序列中。

3.3 外部上下文与音频条件热词检索

系统支持三种外部上下文:

  • Hotword list:明确给出专有名词、产品名、人名、地名等候选词。
  • Dialogue QA:先前轮次的问答历史,为当前语音提供对话语义。
  • Summary:对任务、会议或对话主题的摘要。

候选热词表可能很大,直接把所有词塞入 LLM 前缀会造成无关干扰和上下文浪费。因此热词检索模块同时观察音频表示和候选热词,只选择与当前音频相关的词,形成 retrieved hotwords。检索结果与摘要、对话 QA 一起编码成文本前缀,排在音频嵌入之前。

3.4 LLM 自回归转写

Hy3 LLM 根据外部上下文前缀、音频嵌入和此前已经生成的 token,自回归地产生转写:

\(P(y_{1:T}\mid x,c)=\prod_{t=1}^{T}P(y_t\mid y_{<t},x,c)\)

其中 \(x\) 是音频表示,\(c\) 可以包含检索热词、摘要和历史对话。论文强调,句内上下文不是单独输入项:模型通过整段音频和已生成转写序列,自然利用语句其他位置的信息。

四、音频编码器的自监督训练

4.1 Best-RQ 启动编码器

第一步先用 Best-RQ 训练一个 bootstrap encoder。Best-RQ 通过随机投影量化产生离散目标,避免一开始就依赖高质量人工标签。训练完成后,从该编码器选定的中间层提取表示并量化,作为下一轮 HuBERT 的离散监督。

4.2 中间 HuBERT 与多级目标

用 bootstrap encoder 生成的离散标签训练中间 HuBERT 模型。然后再对这个 HuBERT 的表示应用残差向量量化(Residual Vector Quantization,RVQ),形成多级离散目标。RVQ 不只给一个 code,而是用多个残差量化层逐级逼近表示,因此最终编码器可以学习不同粒度的声学—语义结构。

4.3 最终编码器的掩码预测

最终音频编码器接收被遮蔽的语音输入,并预测 RVQ 产生的多层离散目标。这一流程与 HuBERT 的“先聚类/量化、再预测掩码位置伪标签”思想一致,但目标构建经历了 Best-RQ 启动、中间 HuBERT 和残差量化的迭代精炼。

4.4 编码器数据与两阶段配比

编码器使用数千万小时语音训练,主要为普通话和英语,也包含粤语与其他中文方言。论文没有公开精确小时数、数据集清单和各语言比例。

  1. 大规模预训练:先在宽泛的语音混合上训练,获取通用声学与语义表示。
  2. 持续预训练:重新平衡数据,提高中文方言占比,降低噪声录音和短语音的采样权重。

编码器训练还加强了掩码策略,并采用 utterance mixing,把不同语句混合,提升对干扰语音的鲁棒性。论文引用了相关混合方法,但没有给出混合概率、信噪比或具体增强参数。

五、大规模 ASR 预训练:数据如何获取与后处理

5.1 第一阶段:Web 级大规模预训练

第一阶段使用来自 Web 的数千万小时语音。如此大规模的数据不可能全部依赖人工转写,团队构建了多系统自动标注流水线:

  1. 多个不同 ASR 系统对同一音频独立生成候选转写;
  2. 使用 ROVER(Recognizer Output Voting Error Reduction)对多个候选进行对齐和投票;
  3. 对融合后的伪转写进行多阶段质量过滤,去除不可靠样本;
  4. 进行领域感知的数据平衡,避免高频领域过度占用训练容量;
  5. 进行数据压缩,删除冗余信息,把预算集中到更有信息量的样本。

ROVER 的核心思想是把多套识别结果对齐成词图/混淆网络,再根据系统投票选出更可信的 token 序列。给出了总体效果:经过平衡与压缩后,使用原始训练数据的 50% 就能获得更好的模型性能。这说明“规模”不是唯一变量,数据冗余、领域失衡和伪标签噪声同样重要。

5.2 第二阶段:定向持续预训练

第二阶段提高以下数据的比例:

  • 中文方言语音;
  • 上下文偏置/热词相关数据;
  • 困难声学条件下的语音。

这个阶段有两个目的:一是直接增强方言、上下文和噪声鲁棒性;二是让预训练分布更接近后续 SFT 数据。论文报告,经过这种分布对齐后,SFT 数据可缩减到原来的 1/10,同时保持模型性能,从而显著加快 SFT 实验迭代。

六、后训练:SFT、专家 RL、MOPD 与行为 RL

6.1 监督微调 SFT

SFT 重点提升方言、上下文偏置和困难声学场景,同时保持预训练阶段的通用 ASR 能力。训练数据也采用迭代自举:

  1. 持续改进自动转写流水线的各个标注组件;
  2. 每轮选择上一轮表现最好的 SFT 检查点作为教师;
  3. 教师为下一轮数据生成伪转写;
  4. 逐轮提高伪标签质量,并补充方言与其他困难场景的定向数据。

6.2 三个领域专家的强化学习

团队从同一个 SFT 检查点初始化三个独立专家:

  • 通用领域 ASR 专家;
  • 方言 ASR 专家;
  • 上下文偏置 ASR 专家。

分开训练可以减少通用准确率、方言行为和上下文关键词识别之间的梯度冲突。每个专家的奖励按领域特点设计,不仅考虑整体识别准确率,也考虑关键词识别和语句级转写流畅度。报告没有公开奖励函数的精确公式和各项权重。

6.3 多教师 On-Policy 蒸馏(MOPD)

三个专家最终需要合并为一个服务模型。MOPD 的流程是:学生先对每条语音生成自己的 on-policy 识别假设;根据样本领域,把该学生轨迹路由给对应专家;专家在学生实际访问的 token 前缀状态上提供 token 级分布监督。

\(\mathcal{L}_{\mathrm{MOPD}}=\mathbb{E}\left[\frac{1}{T}\sum_{t=1}^{T}D_{\mathrm{KL}}\left(\pi_{\theta}(\cdot\mid\mathbf{s}_t)\Vert\pi_{\phi_d}(\cdot\mid\mathbf{s}_t)\right)\right]\) \(T=|\hat{\mathbf{y}}|,\qquad \mathbf{s}_t=(\mathbf{x},\hat{\mathbf{y}}_{<t})\)

其中 \(\pi_{\theta}\) 是学生策略,\(\pi_{\phi_d}\) 是领域 \(d\) 对应的专家,\(\mathbf{x}\) 包含声学输入和可选上下文,\(\hat{\mathbf{y}}\) 是学生自己生成的序列。采用 on-policy 轨迹的好处是:专家监督发生在学生真实会遇到的状态上,而不是只在标准答案前缀上蒸馏,可缓解训练—推理状态分布不一致。

KL 的方向是学生到教师:

\(D_{\mathrm{KL}}(\pi_{\theta}\Vert\pi_{\phi_d})=\sum_{v}\pi_{\theta}(v\mid\mathbf{s}_t)\log\frac{\pi_{\theta}(v\mid\mathbf{s}_t)}{\pi_{\phi_d}(v\mid\mathbf{s}_t)}\)

6.4 Model-Behavior RL

最后阶段针对真实使用中发现的 hard cases 做行为强化,重点是必须依赖周围语义才能正确识别的关键词。这一阶段直接奖励上下文依赖的关键词识别和整句连贯、流畅的转写。它更接近产品反馈闭环:先发现线上困难行为,再构造定向强化样本,而不是只优化平均 CER/WER。

七、数据规模、获取与处理:

阶段论文披露的数据规模获取/处理方式未披露项
音频编码器自监督训练数千万小时普通话和英语为主,含粤语与其他方言;Best-RQ、HuBERT、RVQ、掩码预测;持续预训练重平衡精确小时数、来源清单、语言比例
ASR 大规模预训练数千万小时 Web 语音多 ASR 候选、ROVER 融合、多阶段过滤、领域平衡、数据压缩教师系统、过滤阈值、原始/保留小时数
定向持续预训练未给精确规模提高方言、上下文偏置、困难声学数据比例各类占比、训练步数
SFT可压缩到原规模的 1/10迭代教师伪标签,定向补充方言与困难场景原始规模、最终规模、人工/伪标签比例
专家 RL 与 MOPD未披露通用/方言/上下文三专家,领域路由蒸馏样本量、奖励权重、采样和训练超参数
Model-Behavior RL未披露来自真实使用的 hard cases,强调上下文关键词数据收集与隐私流程、规模、奖励公式

八、评测设置、对比系统与指标

对比系统包括 Qwen3 ASR Flash、FunASR Flash、Doubao ASR 2.0、Seed 2.0 Lite、StepAudio 3 ASR Max 和 Hy ASR 3.0 Preview。论文说明,这些系统名称与服务来自其技术报告或官方服务页面,但表中的数值是本研究自己的评测结果,不是从外部文档直接摘录的排行榜分数。

  • CER/WER:客观识别错误率,越低越好。
  • Target-keyword recall:目标关键词召回率,越高越好。
  • 人工方言指标:严格识别率、宽松识别率、格式合规率,越高越好。
  • 相对错误率下降:以最强非 Hy 对手为基准。
\(\mathrm{CER}=\frac{S+D+I}{N_{\mathrm{char}}},\qquad \mathrm{WER}=\frac{S+D+I}{N_{\mathrm{word}}}\) \(\mathrm{RERR}=\frac{E_{\mathrm{comp}}-E_{\mathrm{Hy}}}{E_{\mathrm{comp}}}\times100\%\)

其中 S、D、I 分别为替换、删除和插入。召回率或人工百分比之间的差异使用“百分点”,不使用相对错误率公式。

九、公开 ASR 基准

公开测试覆盖 AISHELL-1/2、AliMeeting、WenetSpeech、FLEURS、Common Voice、SpeechIO、LibriSpeech、GigaSpeech、TED-LIUM 3、VoxPopuli、MLS、WenetSpeech-Yue 和 KeSpeech。论文声称进行了严格去污染:训练中不包含评测语音,也不包含其音频或文本近重复。

聚合组Qwen3FunASRDoubaoSeedStepAudioPreviewHy ASR 3.0
中文5.734.775.555.426.984.734.64
英文6.216.027.935.565.385.285.22
方言组合5.455.467.666.736.265.234.80

相对最强外部对手,三组分别约降低 2.7%、3.0% 和 11.9%;相对 Preview 分别约降低 1.9%、1.1% 和 8.2%。这些聚合提升并不意味着每个子集都第一。

9.1 普通话子集

测试集Qwen3FunASRDoubaoSeedStepAudioPreviewHy ASR 3.0
AISHELL-12.121.011.902.031.401.211.37
AISHELL-2 Android/iOS/Mix2.70/2.59/2.552.16/1.91/2.142.67/2.55/2.692.68/2.75/2.782.30/2.20/2.352.02/2.03/2.102.05/2.02/1.98
AliMeeting Near/Far7.13/23.145.94/22.025.88/26.186.27/24.817.89/34.235.84/21.275.47/21.52
WenetSpeech Net/Meeting4.96/6.163.74/3.624.11/4.544.13/4.236.63/8.523.91/4.313.74/4.16
FLEURS-zh2.952.002.402.131.851.841.84
CommonVoice-zh4.414.105.614.545.004.524.49
SpeechIO Locked/Unlocked3.62/6.475.95/2.612.52/5.525.09/2.628.50/2.945.04/2.634.63/2.36

Hy ASR 3.0 的优势集中在 AISHELL-2 Mix、AliMeeting Near、SpeechIO Unlocked,并在 WenetSpeech test-net 与 FLEURS-zh 并列最佳。但 AISHELL-1、WenetSpeech Meeting、CommonVoice-zh 和 SpeechIO Locked 并非最好,说明总体聚合提升来自跨数据集平衡,而非全面碾压。

9.2 英文子集

测试集Qwen3FunASRDoubaoSeedStepAudioPreviewHy ASR 3.0
LibriSpeech Clean/Other1.33/2.601.31/2.502.87/5.851.37/2.651.17/2.251.28/2.591.19/2.31
CommonVoice-en6.326.3114.186.817.215.535.48
FLEURS-en2.663.246.382.552.952.642.53
GigaSpeech Test9.159.969.589.439.688.278.27
TED-LIUM 33.003.393.183.042.482.502.44
VoxPopuli Test/Accented5.99/20.976.06/16.849.52/12.577.40/13.287.08/11.755.98/14.755.84/15.27
MLS Test-en3.874.577.273.543.853.993.69

Hy ASR 3.0 在 Common Voice、FLEURS、TED-LIUM 3、VoxPopuli 普通测试集上最好,并在 GigaSpeech 与 Preview 持平。但 LibriSpeech 两个子集仍由 StepAudio 领先;VoxPopuli accented 上 Hy ASR 3.0 为 15.27%,不仅落后 StepAudio 的 11.75%,还比 Preview 的 14.75% 更差,论文把带口音英语列为后续改进方向。

9.3 粤语与 KeSpeech

测试集Qwen3FunASRDoubaoSeedStepAudioPreviewHy ASR 3.0
FLEURS-yue2.973.246.522.643.052.762.63
CommonVoice-yue4.674.985.846.285.903.493.56
WenetSpeech-Yue Short/Long6.51/8.585.73/9.019.48/11.338.27/10.777.09/9.865.38/9.345.00/9.05
KeSpeech4.514.335.125.685.395.173.77

Table 1 的“方言 4.80%”把四个粤语子集与 KeSpeech 合并。若只计算 FLEURS-yue、CommonVoice-yue、WenetSpeech-Yue Short/Long 四个粤语子集的非加权均值,Hy ASR 3.0 为 5.06%,Qwen3 为 5.68%,相对下降约 11.0%。KeSpeech 从 Preview 的 5.17% 降到 3.77%,相对下降 27.1%。

十、内部主语言基准

内部测试集来自真实业务数据,用来补充公开数据不能覆盖的实际分布。论文未公开数据规模、领域构成和采样方法。

测试集Qwen3FunASRDoubaoSeedStepAudioPreviewHy ASR 3.0
普通话4.944.153.785.565.303.353.18
英语8.767.546.428.7810.685.785.50
粤语6.0019.407.497.907.004.924.81
代码切换8.805.306.496.376.904.354.20

Hy ASR 3.0 在四类内部测试中都最低,并全面优于 Preview。相对图 1 中所列最强外部对手,普通话、英语、粤语和代码切换分别给出约 15.9%、14.3%、19.8% 和 20.8% 的相对错误率下降。

十一、上下文利用

四个句内消歧案例。面板 (a)–(b) 为语义消歧,(c)–(d) 为显式口头澄清;所有线索都在当前语句内部。

11.1 四个定性案例

  • 历史官职:根据“负责太子中属官员、祭祀及礼仪”等语义,识别罕见官职名称,而其他模型输出近音常见词。
  • 游戏模式名:根据游戏、M416 和自定义调整等领域语义,选择正确的专名写法。
  • 显式对比:说话者明确说明“白鹿的鹿,不是白鹭的鹭”,模型需保留肯定项并排除否定同音词。
  • 逐字解释姓名:通过“哪个部首/哪个字”的解释区分姓名中相邻同音字;部分模型虽然转对了解释,却仍在姓名中重复同一个字。

这些案例证明输出与上下文线索一致,但它们只是定性示例,不是“关闭上下文/开启上下文”的受控消融。

11.2 关键词召回结果

测试集Qwen3FunASRDoubaoSeedStepAudioPreviewHy ASR 3.0
句内上下文46.6051.1651.8654.6450.7558.1261.88
对话 QA 上下文71.6877.3378.4782.2069.3279.4483.94

相对最强非 Hy 对手 Seed 2.0 Lite,Hy ASR 3.0 分别提高 7.24 和 1.74 个百分点。需要再次强调,这是跨系统比较,不是同一模型有无上下文的消融,因此不能精确量化每种上下文模块的单独贡献。

十二、鲁棒性

测试集Qwen3FunASRDoubaoSeedStepAudioPreviewHy ASR 3.0
长音频3.863.985.604.993.582.962.35
儿童 + 老年人9.987.876.4310.499.907.186.25
低音量 + 噪声14.729.2715.7517.3143.028.487.49

相对最强非 Hy 对手,三项 CER 分别下降 34.4%、2.8% 和 19.2%。长音频和低音量/噪声的改进更明显。儿童与老年人被合并成一个测试集,因此 6.25% 不能证明模型分别在儿童和老年人子集都同样提升。

十三、方言识别与人工评测

许多方言缺乏统一书写标准,同一句口语可能有多个合理写法,传统 WER/CER 未必能公平衡量。论文对缺少标准正字法的方言采用翻译式表示,把口语内容转成更一致的书面表达。模型开发阶段使用 LLM judge 评估语义错误率和转写风格一致性,但最终以人工评测为准。

人工评测覆盖 13 个方言大类、91 个次区域变体,对比 FunASR Flash 与 Doubao ASR 2.0。指标含义如下:

  • 严格识别率:转写内容被判断为完全正确的比例。
  • 宽松识别率:允许不改变语义的措辞差异,判断语义正确的比例。
  • 格式合规率:没有标点、逆文本归一化(ITN)和流畅性问题的比例。

Hy ASR 3.0 的总体严格识别率为 64.7%,比 FunASR 高 2.8 个百分点、比 Doubao 高 12.5 个百分点;格式合规率为 80.3%,分别高 11.4 和 13.7 个百分点。宽松识别率高于 Doubao,但比 FunASR 低 1.0 个百分点。

分方言看,闽南语与粤语的严格识别率分别达到 70.3% 和 83.3%,比各自最强对手高 22.7 和 14.2 个百分点;但吴语三个指标都仍由 FunASR 领先,说明模型在不同地区变体上的能力并不均衡。

13 个方言类别在严格识别率、宽松识别率、格式合规率上的三张雷达图

十四、总结

Hy ASR 3.0 的主线不是提出一个单独的新网络层,而是构建一套大规模、分阶段的 LLM-ASR 训练体系:先用迭代 HuBERT 风格的离散目标训练强音频编码器,再用多系统 ROVER 伪标签和数据压缩做 Web 级预训练,随后用方言/上下文/困难声学数据持续预训练,通过迭代教师 SFT 提高监督质量,最后把通用、方言和上下文三个 RL 专家的能力用 MOPD 汇入一个学生,并对真实 hard cases 做行为强化。

从结果看,这套路线在聚合普通话、英语、粤语/方言、上下文关键词和实际鲁棒性上取得了较均衡的性能;真正值得关注的创新是“数据治理 + 上下文输入组织 + 领域专家 RL + on-policy 多教师蒸馏”的组合。它的主要不足则是复现信息不够完整、缺少模块级消融、内部评测不可公开验证,而且带口音英语和部分方言类别仍有明显提升空间。

Nemotron 3 Diarization 论文详解:面向 8 说话人的高精度、高吞吐流式说话人日志

论文:Nemotron 3 Diarization: Advancing the Accuracy-Efficiency Frontier in Streaming Speaker Diarization
作者:Ivan Medennikov、Taejin Park、Tatiana Timofeeva、He Huang、Alexander Polok、Sofia Kostandian、Weiqing Wang、Dongji Gao、Jagadeesh Balam、Boris Ginsburg
机构:NVIDIA、Brno University of Technology
arXiv:2611.12246v1
模型:nvidia/Nemotron-3-Diarization
官方博客:Know Who Spoke When

Nemotron 3 Diarization 是一个约 1 亿参数、最多支持 8 名说话人的开放权重说话人日志模型。它同时覆盖离线和流式推理:同一个检查点可以运行在 30.4 秒“离线式”输入缓冲,也可以运行在 1.04 秒、0.64 秒和 0.32 秒低延迟配置下。论文最核心的价值不只是把上一代 Streaming Sortformer 的上限从 4 人扩展到 8 人,而是在容量翻倍的同时,将参数量从 117M 降到约 99M/100M,并获得更低的 DER、更细的 10 ms 时间分辨率和最高约 6.4 倍的推理吞吐提升。需要区分的是:该任务识别的是“匿名说话人何时发言”,不是实名身份识别,也不是把重叠声源分离成独立波形。

一、先给结论:这项工作的核心贡献

  • 说话人容量:从上一代最多 4 人扩展到最多 8 个匿名说话人通道,输出通道按说话人首次出现顺序排列。
  • 骨干网络:用单一的 31 层 Transformer + RoPE,替换“17 层 FastConformer + 18 层 Transformer”的混合骨干;参数量由 117M 降至 99M 左右。
  • 高分辨率输出:编码器仍以 80 ms 步长运行,但通过宽度为 3 的一维子像素卷积,将表示学习式上采样 8 倍到 10 ms,兼顾边界精度和计算效率。
  • 流式记忆:Arrival-Order Speaker Cache(AOSC)从 188 帧扩容到 264 帧,并配合 FIFO 最近上下文,在分块处理中维持跨块说话人身份。
  • 新训练目标:增加 activity loss,学习静音、单人语音、重叠语音三类无排列活动;增加 phantom loss,抑制未使用通道中的“幽灵说话人”高置信激活。
  • 大规模数据:约 10,000 小时真实会话,加 82,611 小时模拟多说话人混合;其中约 5,000 小时为人工标注真实录音,约 5,000 小时为伪标签 YODAS-v2。
  • 两阶段训练:先只用模拟混合训练离线 Sortformer,再用真实与模拟数据联合进行流式 AOSC 微调。
  • 效果:在 DIHARD III、CALLHOME 上刷新论文所比较系统中的 DER;作为 DiCoW 的条件输入时,在 AMI 与 NOTSOFAR-1 的单麦条件上取得新的 tcpWER 最优结果。
  • 效率:相对相同设置下的旧 FastConformer 编码器,训练显存降低 2.8 倍、迭代速度提升 2.2 倍;推理端在部分配置达到约 6.4 倍吞吐提升。
  • 开放性:训练代码公开,权重使用 OpenMDW-1.1 许可,可用于商业或非商业场景,但实际部署仍需针对目标领域验证。
VoiceArena Diarization-Bench 排名图,Nemotron 3 Diarization 以 14.72% DER 排名第一。

二、任务背景:说话人日志究竟解决什么问题

自动语音识别回答“说了什么”,说话人日志回答“谁在什么时候说话”。标准输出不是实名身份,而是一组匿名通道,例如 speaker_0、speaker_1,以及各自的起止时间。若两个人同时说话,同一时间帧可以有两个通道同时激活,因此该任务天然需要建模重叠语音。

传统流水线通常包含语音活动检测、分段、说话人嵌入、聚类和重叠处理。EEND(End-to-End Neural Diarization)则直接预测联合说话人活动。Sortformer 属于固定容量 EEND:模型提供固定数量的输出通道,并使用排列不变损失 PIL 与到达时间排序监督 ATS 解决说话人标签排列问题。Streaming Sortformer 又加入 AOSC,使说话人通道能够跨音频块保持一致。

上一代公开模型的主要限制是:最多 4 人、输出步长 80 ms、扩大缓存会增加推理成本,而且在大多数录音中,多余通道容易产生错误激活。Nemotron 3 Diarization 的设计目标因此是同时满足:更多说话人、更精细边界、低延迟、低显存、高吞吐和同一检查点覆盖多种上下文长度。

三、模型架构详解

从 16 kHz 单通道音频到到达顺序说话人活动概率的整体流程,包含 10 ms Mel 特征、80 ms Transformer 编码、Conv1D 上采样、AOSC 与 FIFO。

3.1 输入与特征

  • 输入为 16 kHz、单通道音频;模型卡列出 WAV、FLAC、OPUS、MP3。
  • 音频被转换为 10 ms 步长的 Mel 频谱特征。
  • 连续 8 帧特征做 feature stacking,时间轴下采样 8 倍,因此编码器每帧对应 80 ms。
  • 分块推理没有固定的模型最大音频时长,但超长音频、严重噪声、强混响、远场和领域偏移仍可能造成性能下降。

3.2 31 层纯 Transformer 编码器

旧模型使用 17 层 FastConformer 后接 18 层 Transformer。新模型改为单一的 31 层 Transformer,并使用旋转位置编码 RoPE。论文给出两个动机:第一,纯 Transformer 的计算效率与扩展性更好;第二,AOSC 中缓存的说话人块不一定是连续时间序列,局部卷积可能跨“人工拼接的块边界”混合本不相邻的状态,而纯注意力骨干更适合这种缓存结构。参数量从 117M 降至 99M;

3.3 80 ms 编码、10 ms 输出:学习式子像素上采样

如果直接让 Transformer 在 10 ms 序列上运行,序列长度会增大 8 倍,注意力成本显著上升。论文的解决方案是在编码器之后添加一维子像素卷积:宽度为 3 的 Conv1D 将每个 H 维状态映射为 8H 个通道,再重排为 8 个连续的 H 维状态。

\(Z=\mathrm{Conv1D}_{k=3}(H_{80\mathrm{ms}}),\qquad Z\in\mathbb{R}^{T\times 8H}\) \(\mathrm{PixelShuffle}_{1D}:\mathbb{R}^{T\times 8H}\rightarrow\mathbb{R}^{8T\times H}\)

这样,重计算昂贵的编码器仍维持 80 ms 步长,输出头却能在 10 ms 分辨率下预测短说话轮次和精细边界。消融实验还表明,收益不仅来自评分时更细的时间网格:把 10 ms 预测下采样为 80 ms 后再评分,只损失约 0.61–0.67 DER;完全不使用上采样、直接以 80 ms 训练与预测,则损失约 2.03–2.27 DER。

3.4 到达顺序输出、AOSC 与 FIFO

模型的 8 个通道不是固定人物身份,而是按首次到达顺序编号:第一个出现的新声音进入 speaker_0,第二个进入 speaker_1,依次类推。该约束减少了每个音频块重新求解通道排列的需要。

  • AOSC:保存较早音频块中的说话人证据,并按到达顺序组织,负责长期身份一致性。
  • FIFO:保存当前块之前的最近帧,提供短期上下文。
  • Right context:当前块之后的一小段未来音频,有助于判断边界,但会增加输入缓冲延迟。
  • 缓存扩容:AOSC 容量由 188 帧增加到 264 帧,以支持 8 个说话人。
  • 可学习分隔:旧方案用平均静音嵌入分隔缓存中的说话人,新方案改为可学习嵌入。

模型默认输出形状为 [T, 8],每个值是相应说话人在该帧处于活动状态的概率。两个或更多通道可以同时为高概率,因此能够表示重叠语音。

\(P\in[0,1]^{T\times 8},\qquad P_{t,s}=P(\text{speaker }s\text{ active at frame }t\mid x)\)

四、训练数据:规模、来源与处理

4.1 总体规模

数据类别规模说明
人工标注真实录音约 5,000 小时多领域、多语言真实会话
伪标签真实录音约 5,000 小时YODAS-v2 多说话人子集
真实会话合计约 10,000 小时论文与模型卡一致
模拟多说话人混合82,611 小时(论文约写 82,600)1–8 人,每条 180–200 秒
用于生成模拟混合的单说话人源音频约 28,000 小时模型卡披露的原始源音频规模
NEST 自监督初始化900,000 小时Granary-v2 子集,用于预训练编码器初始化,不是日志监督数据

4.2 真实会话数据

公开语料包括 AISHELL-4、AliMeeting、AMI、CALLHOME Part 1、DIHARD III Development、DiPCo、DISPLACE-2024、DISPLACE-M、Fisher English、ICSI、NOTSOFAR-1 和 VoxConverse-v0.3。模型卡进一步明确了主要 split,例如 Fisher Training Part 1/2、AMI train/dev、AISHELL-4 train、AliMeeting train、NOTSOFAR-1 train/dev 等。

  • David AI:约 1,000 小时、3–4 名说话人的英文会话,授权使用。
  • YODAS-v2:5,000 小时多说话人子集;由 9 个 Sortformer 组成的集成系统生成伪标签,再用 DOVER-Lap 合并重叠感知的日志输出。
  • 语言范围:公开与授权数据覆盖英语、普通话、印地语、卡纳达语、泰卢固语、孟加拉语及其他多语言来源。

4.3 模拟混合数据与后处理

模拟数据使用 FastMSS 工具和论文所称的 “Mind the Gap” 协议生成。每条混合包含 1–8 名说话人,时长 180–200 秒。关键不是简单叠加音频,而是要控制说话轮次、停顿、重叠和声学增强,使合成会话更接近真实交互。

混合来源生成后的多说话人小时数
LibriSpeech6,694
AMI 头戴麦克风6,743
AliMeeting 头戴麦克风6,745
Fisher English6,755
David AI 英语36,458
David AI 多语言(21 种语言)19,216
合计82,611

David AI 英语模拟源来自约 22,000 小时授权音频;多语言模拟源来自约 2,000 小时、21 种语言的授权音频。模拟前使用 Montreal Forced Aligner 获得紧致的说话人活动区域,避免把转写片段内部的大段静音错误标成语音。模型卡还列出 MUSAN 噪声作为增强来源。

五、训练目标:PIL、ATS、Activity Loss 与 Phantom Loss

PIL 使用最佳目标说话人排列进行监督;ATS 则把目标通道按说话人首次出现时间排序。Nemotron 3 在这两个标准 Sortformer 目标之外增加两项辅助损失。

5.1 Activity Loss

一个独立辅助头从编码器表示预测三类无排列帧状态:静音、单说话人语音、重叠语音。该任务不需要知道具体是哪位说话人,因此能以更稳定的方式监督总体语音活动,并作为正则项改善主任务。

\(\mathcal{L}_{\mathrm{act}}=-\frac{1}{BT}\sum_{b=1}^{B}\sum_{t=1}^{T}\log q_{bt,c_{bt}},\qquad c_{bt}\in\{\text{silence},\text{single},\text{overlap}\}\)

5.2 Phantom Loss

当实际录音只有少数说话人时,8 个输出通道中的空通道可能出现高置信激活,形成“幽灵说话人”。对 PIL 与 ATS 对齐后都为空的通道,论文选出后验概率高于阈值的有效帧:

\(\mathcal{I}_{bs}=\{t:\operatorname{sg}(p_{bts})>\theta\}\)

其中 sg 表示 stop-gradient。每个被选中帧的非活动标签负对数似然为:

\(\ell_{bts}=-\log(1-p_{bts})\)

最终使用归一化 log-mean-exp 聚合:

\(\mathcal{L}_{\mathrm{ph}}=\frac{\tau}{BS}\sum_{b=1}^{B}\sum_{s=1}^{S}\log\left[\frac{1}{|\mathcal{I}_{bs}|}\sum_{t\in\mathcal{I}_{bs}}\exp\left(\frac{\ell_{bts}}{\tau}\right)\right]\)

论文设置 \(\theta=0.25\)、\(\tau=0.5\)、\(S=8\);若集合为空,该项贡献为 0。log-mean-exp 会更关注最大的错误激活,但不会让损失直接随选中帧数线性增长。

总目标可以按阶段写成加权和:

\(\mathcal{L}=\lambda_{\mathrm{PIL}}\mathcal{L}_{\mathrm{PIL}}+\lambda_{\mathrm{ATS}}\mathcal{L}_{\mathrm{ATS}}+\lambda_{\mathrm{act}}\mathcal{L}_{\mathrm{act}}+\lambda_{\mathrm{ph}}\mathcal{L}_{\mathrm{ph}}\)

六、两阶段训练流程

训练使用 NVIDIA NeMo Speech,在 64 张 NVIDIA A100-SXM4-80GB GPU 上完成,即 8 个节点、每节点 8 卡。精度模式为 bf16-mixed。

6.1 阶段一:离线 Sortformer 训练

  • 只使用模拟多说话人混合。
  • 编码器由 NEST Transformer 自监督检查点初始化;该检查点在 Granary-v2 的 900,000 小时子集上预训练。
  • 从完整录音中在线随机抽取 60 秒片段。
  • 损失权重:PIL=0.5、ATS=0.5、activity=0.5、phantom=0。
  • 此阶段保持原生 80 ms 输出,不使用上采样层。

6.2 阶段二:流式 AOSC 微调

  • 启用 AOSC,联合使用真实数据和模拟数据。
  • 训练样本长度为 105 秒。
  • 以 0.5 概率把同一源录音不同位置的两个片段拼接,以制造更复杂的长程说话人重新出现模式。
  • 采样偏向包含更多活跃说话人的样本。
  • 损失权重:PIL=0.75、ATS=0.25、activity=0.5、phantom=0.1。
  • 在此阶段加入上采样层,初始化为把每个编码器状态重复到 8 个输出位置,再与全模型联合训练 10 ms 目标。

6.3 Block-Causal Tail:让一个检查点覆盖多种延迟

为了防止模型在训练时过度依赖未来上下文,每个 batch 以 0.5 概率使用 block-causal tail。注意力掩码由双向前缀和随机尾部组成;尾部被切分为 1–8 帧的小块。块内双向注意,当前块可以看前缀和更早块,但不能看未来块。全上下文 batch 与这组可变掩码共同训练,使同一检查点能够适配离线和多种流式上下文长度。

6.4 SpecAugment

两个阶段都使用 SpecAugment:两条频率掩码,每条最多覆盖 24 个频率 bin。论文公开了 NeMo 的离线 8 说话人与流式 8 说话人 YAML 配置,可用于复现实验中的详细优化参数。

七、流式推理配置与延迟公式

所有流式参数都以 80 ms 编码器帧为单位。输入缓冲延迟只统计模型运行前必须等待的音频,不包含 GPU 计算、网络、ASR 和业务处理:

\(\mathrm{Latency}_{\mathrm{buffer}}=(\mathrm{CHUNK\_LEN}+\mathrm{RIGHT\_CONTEXT})\times 80\ \mathrm{ms}\)
配置输入缓冲延迟SPKCACHEFIFOCHUNKRIGHT CONTEXTUPDATE PERIOD
离线式30.4 s2644034040300
低延迟1.04 s26426494222
很低延迟0.64 s26426462222
超低延迟0.32 s26426431222

模型技术上可使用 80 ms 输入缓冲,但官方建议的最低配置是 0.32 秒。降低延迟通常会同时降低准确率和吞吐,因此产品选型不能只看缓冲长度。

八、评测数据、指标与可比性

评测集录音数说话人数条件边界容忍
DIHARD III Eval2591–911 个领域、多语言0 s
CALLHOME Part 22502–6电话语音、多语言0.25 s
AliMeeting Near/Far20 个会议、两种条件2–4近讲混合头戴麦、远场0 s
AMI MHM/SDM16 个会议、两种条件3–4混合头戴麦、单远场麦0 s
NOTSOFAR-1 MHM/SC160 个会议、两种条件3–7多麦混合、单通道0 s

合计为 901 个“条件特定”的录音条目。所有测试都计入重叠语音。AMI、AliMeeting 和 NOTSOFAR-1 使用强制对齐参考标签,而不是原始为转写设计的片段级标签。原因是原始片段可能把内部静音也标成语音,从而在帧级 DER 中夸大漏检。不同参考 RTTM、collar 和 overlap 设置会改变 DER,不能把不同协议下的数字直接比较。

DER 由漏检、误报和说话人混淆组成:

\(\mathrm{DER}=\frac{T_{\mathrm{Miss}}+T_{\mathrm{FA}}+T_{\mathrm{Conf}}}{T_{\mathrm{RefSpeaker}}}\)
DER 中 Miss、False Alarm、Speaker Confusion 的构成示意。

九、核心 DER 结果(论文 Table 1)

系统延迟DH3CHAli-NearAli-FarAMI-MHMAMI-SDMNSF1-MHMNSF1-SC
DiariZen离线14.5014.6816.7810.8*15.5613.9*14.2016.7*
Sortformer-v2.130.4 s19.0910.3211.5713.6915.8121.4221.7730.49
Nemotron 330.4 s12.739.106.4010.479.2511.146.7711.00
Sortformer-v2.11.04 s19.6011.3112.4715.5816.3621.7322.1231.81
Nemotron 31.04 s13.1810.296.5910.809.4812.807.7012.77
Sortformer-v2.10.32 s19.8512.6713.6816.8517.7723.8923.3732.95
Nemotron 30.32 s13.5511.327.1911.6010.0512.958.6514.53
* 使用原始/默认参考标注,而本文相应结果使用强制对齐标注,因此不能直接比较。

从 30.4 秒降到 0.32 秒,Nemotron 3 在各测试集上的 DER 只增加 0.79–3.53 个绝对百分点,表现出相对平滑的退化。所有三个共同延迟点上,它都在全部八种评测条件中优于 Sortformer-v2.1。论文据此正式宣称 DIHARD III 和 CALLHOME 达到新的 SOTA;对 AMI、AliMeeting、NOTSOFAR-1 则因参考标注协议不同而保持谨慎,没有做严格的跨论文 SOTA 声明。

图片占位

1.04 秒输入缓冲下八个条件的 DER 对比。
30.4、1.04、0.64、0.32 秒延迟下的完整 DER 曲线。
按说话人数拆分的 DER;阴影区域为超过 4 人的录音

十、训练与推理效率

训练侧,在 64 张 A100、bf16-mixed 下,纯 Transformer 相对相同设置的旧 FastConformer 编码器,显存消耗降低 2.8 倍、单步时间缩短 2.2 倍。

模型延迟Batch 1 eagerBatch 1 compiledBatch 32 eagerBatch 32 compiled
DiariZen离线20—44—
Sortformer-v2.130.4 s874146832042619
Nemotron 330.4 s134043851219615113
Sortformer-v2.11.04 s1642193136
Nemotron 31.04 s38164581865
Sortformer-v2.10.32 s82110176
Nemotron 30.32 s12.554199292
RTFx 越高越好。硬件为单张 NVIDIA RTX PRO 5000 Blackwell,BF16;compiled 使用 torch.compile,排除一次性编译和预热。

RTFx 定义为总音频时长除以总处理时间:

\(\mathrm{RTFx}=\frac{\text{total audio duration}}{\text{wall-clock processing time}}\)

30.4 秒、Batch 32 compiled 从 2619 提升到 15113,约 5.77 倍;1.04 秒从 136 提升到 865,约 6.36 倍。需要注意,这些是披露硬件上的批处理吞吐,不等于单路端到端应用延迟。

DIHARD III DER 与 Batch 32 compiled RTFx 的准确率—吞吐权衡。

十一、消融实验

系统变体30.4 s DER变化0.32 s DER变化
完整 Nemotron 310.42—12.06—
换回 FastConformer 编码器11.36+0.9413.33+1.27
无 NEST 初始化12.05+1.6314.28+2.22
10 ms 预测下采样到 80 ms 再评分11.09+0.6712.67+0.61
不使用上采样,原生 80 ms12.69+2.2714.09+2.03
无 phantom loss10.41-0.0112.15+0.09
无 activity loss11.42+1.0013.03+0.97
无 SpecAugment10.88+0.4612.47+0.41
无 block-causal tail10.50+0.0812.36+0.30
无模拟数据13.40+2.9815.21+3.15
无 David AI 数据11.19+0.7712.83+0.77
无 YODAS 数据10.81+0.3912.38+0.32
复合评测集,全局汇总、0 collar。每个消融只有一次训练运行,论文报告观察到的效应量,不声称统计显著性。

11.1 消融结论

  • 模拟数据最重要:移除后 DER 恶化 2.98/3.15,是最大退化,说明高质量合成会话对 EEND 至关重要。
  • NEST 初始化非常关键:无自监督初始化恶化 1.63/2.22,说明日志监督数据不足以从零学到同等稳健的声学表示。
  • 高分辨率训练不仅是评分优势:完全无上采样的退化远大于仅在评分前下采样,证明 10 ms 学习目标本身改善了模型。
  • Activity loss 稳定有效:两种延迟分别改善约 1.00 和 0.97 DER。
  • Phantom loss 的主收益不在 DER:移除后 DER 基本不变,但说话人数 MAE 从 0.157 升到 0.222(30.4 秒),从 0.270 升到 0.491(0.32 秒),说明它主要抑制过计数。
  • Block-causal tail 更利于极低延迟:30.4 秒只改善 0.08,但 0.32 秒改善 0.30。
  • 授权与伪标签数据都有增益:移除 David AI 在两种延迟都恶化 0.77;移除 YODAS 恶化 0.39/0.32。
  • 纯 Transformer 不只是更快:换回 FastConformer 后 DER 也明显恶化。

十二、下游多说话人 ASR

DER 高度依赖参考标注风格,因此论文进一步考察说话人日志是否真正改善带说话人归属的转写。指标使用 meeteval 的 tcpWER,默认 5 秒 collar 和 chime8 文本归一化。评测包括流式 Multitalker-Parakeet-v1(1.12 秒输入缓冲)与离线 DiCoW-v3.3-large。

ASR/日志条件AMI-MHMAMI-SDMNSF1-MHMNSF1-SC
流式 Multitalker-Parakeet-v1,1.12 s
Oracle 日志12.6617.7916.8626.34
Sortformer-v2.118.6434.1335.5951.35
Nemotron 3 hard13.8421.1818.6831.65
离线 DiCoW-v3.3-large,greedy
Oracle 日志11.7215.278.7815.45
DiariZen15.1719.3218.5725.63
Sortformer-v2.118.1730.1130.1442.56
Nemotron 3 hard12.6517.1910.4719.23
Nemotron 3 soft12.3517.0610.3018.95
此前 SOTA(09/2026)15.218.5N/A23.63

hard 表示分段级条件,soft 表示直接使用后验概率条件。Nemotron 3 的 soft 条件在四种条件下都进一步降低 tcpWER;论文称这是 DiCoW 中首次观察到一致的 soft-over-hard 增益。流式 Parakeet 结果同样显著优于旧 Sortformer,说明提升不仅是更贴合强制对齐标签,而是真正传递到了下游转写。

十三、限制、风险与正确解读

  • 最多 8 人:超过上限时,语音可能漏检或被错误合并到已有通道。DIHARD III 的 5–9 人分组甚至包含 9 人录音,已超出标称上限。
  • 匿名标签不是身份识别:speaker_2 不等于某个真实姓名。若要映射到身份,必须结合会议元数据、用户配置或说话人验证系统。
  • DER 协议敏感:参考 RTTM、collar、是否计重叠、VAD 来源都会改变结果。
  • 低延迟有代价:0.32 秒相较 30.4 秒存在稳定的准确率与吞吐下降;80 ms 虽可运行,但不是推荐配置。
  • 领域偏移:强噪声、混响、远场、极长会话和新领域会增加漏检、误报、混淆和边界错误。
  • ASR 对齐不是说话人分离:简单用单词中点匹配活跃说话人,遇到重叠时只能标为歧义,不能判断某个词究竟由哪位同时发言者说出。
  • 消融的统计限制:每个变体只有一次训练运行,小于约 0.1–0.3 的差异应谨慎解读。
  • 许可证与合规:权重使用 OpenMDW-1.1;生产系统仍需对目标数据、隐私、偏差、安全和行业要求进行完整验证。

十四、总结

Nemotron 3 Diarization 的技术路线非常清晰:通过纯 Transformer 和 80 ms 编码降低主干成本,用学习式上采样恢复 10 ms 边界精度;通过更大的 AOSC 和到达顺序监督扩展到 8 人;通过 activity loss、phantom loss、可变上下文掩码和大规模合成/伪标签数据,解决低延迟、多通道空置和真实监督不足的问题。最终,它同时改善了 DER、说话人数估计、下游 tcpWER、训练显存和推理吞吐,是一项较完整的“模型—数据—训练—系统”协同优化工作。

如果应用场景是会议、客服、播客、实时字幕或多说话人语音助手,这个模型尤其值得关注;但上线时应以目标音频重新评测,并把 0.32–30.4 秒的延迟配置视为产品级准确率—响应速度—吞吐三者之间的可调旋钮。

Nemotron 3.5 Transcribe 深度拆解:Cache-Aware FastConformer-RNNT 与 Granary v2 语音数据工厂

\(P(y_{1:T}\mid x)=\prod_{t=1}^{T}P(y_t\mid y_{<t},x)\)

一、核心结论

  • Nemotron 3.5 ASR Streaming 是约 0.6B 参数的多语言流式 ASR。
  • 核心架构是 24 层 Cache-Aware FastConformer 编码器、RNN-T 解码器和语言 ID Prompt Conditioning。
  • 声学表示维度为 1024,语言向量为 128 维;一个 checkpoint 支持 40 个 language locale。
  • 运行时支持 80 ms、160 ms、320 ms、560 ms、1.12 s 五个 chunk 配置。
  • FLEURS 上,Transcription-ready 19 个 locale 的平均 LangID WER 从 80 ms 的 10.38% 降到 1.12 s 的 8.84%;Auto-detect 从 11.14% 降到 9.21%。
  • 单张 H100 上,80 ms 时约支持 240 路并发流,Parakeet RNNT 1.1B buffered streaming 约 14 路;1.12 s 时约为 2,400 路对 400 路。

设计目标不是只追求离线 WER,而是在准确率、端到端延迟、显存和并发之间提供可调的 Pareto 点。

二、模型架构

2.1 Cache-Aware FastConformer

FastConformer 结合卷积对局部声学模式的建模能力和注意力对长程依赖的建模能力。Nemotron 3.5 使用 24 层 Cache-Aware FastConformer。缓存同时覆盖 self-attention 和 convolution 状态,因此当前 chunk 可以复用上一 chunk 的隐藏状态。

设第 k 个音频块为 x_k,上一步缓存为 C_(k-1):

\((H_k, C_k) = Encoder(x_k, C_(k-1))\)

传统 buffered streaming 会把上一段上下文与当前音频重新拼接,导致重叠帧重复计算;Cache-Aware 方案只计算新到达的帧,缓存负责保留上下文。

2.2 语言 ID Prompt Conditioning

编码器输出 H_a 的形状是 (1024,T)。语言 ID 被编码为 128 维向量 e_lang,沿时间轴广播为 H_l,二者拼接后经过投影层送入 RNNT:

\(H_a = FastConformer(x_1:T), H_a in R^(1024 x T)\) \(H_l = Broadcast(e_lang,T), e_lang in R^128\) \(H_f = Proj([H_a;H_l]), [H_a;H_l] in R^(1152 x T)\)

已知语言时可以输入 en-US、de-DE、zh-CN 等 locale;未知语言时使用 auto 模式。语言向量是每个时间帧都可见的条件信号,而不是附加在最终文本后的标签。

2.3 RNN-T

RNN-T 用 prediction network 建模已输出的 token 历史,用 joint network 融合声学状态与标签状态:

\(z_(t,u) = f_joint(h_t,g_u), P(y_(t,u)|x,y_<u) = softmax(z_(t,u))\)

它能在音频流持续到达时逐步发射 token,比必须等待整段音频的离线 encoder-decoder 更适合实时语音代理。

三、创新点

  • 缓存级流式计算,减少 buffered streaming 的重叠重算。
  • 语言提示让一个共享 checkpoint 覆盖多语言 locale。
  • chunk size 可在推理时切换,不需要重新训练。
  • 原生支持 punctuation 和 capitalization。
  • 0.6B 参数配合缓存式推理,在 H100 上获得高并发。

四、训练数据:规模、来源与标签

官方模型卡给出的训练数据范围是 10,000 到 1,000,000 小时,覆盖 40 个 language locale。来源包括 NVIDIA Riva multilingual ASR training set(专有)、NVIDIA Granary、Multilingual LibriSpeech、Mozilla Common Voice、FLEURS、VoxPopuli 和 Europarl-ASR。

训练标签包括人工标签和合成标签。合成 ASR 标签来自 Canary、Parakeet Multilingual 1.1B RNNT、Parakeet CTC 1.1B、Whisper large-v3 与 FunASR 的模型集成;标点和大小写由 Qwen3-32B 生成:

\(y_hat_i = Consensus(Canary(x_i), Parakeet(x_i), Whisper(x_i), FunASR(x_i))\) \(y_PnC_i = Qwen3-32B(y_hat_i, language_i)\)

Consensus 不能被擅自解释为简单多数投票,因为官方没有披露集成规则。工程上还应结合语言一致性、字符速率、重复检测、空输出和长度比过滤。

4.1 Granary 数量级

Granary 覆盖 25 种欧洲语言,聚合规模约 1M 小时;ASR 侧约 643,238 小时,AST 侧约 351,000 小时。

来源语言数过滤后小时数格式
YODAS-Granary23192,17216 kHz WAV
VoxPopuli24206,116FLAC
YouTube-Commons24122,475WAV
LibriLight英语约 23,500FLAC
ASR 合计25643,238混合格式

Granary 主要提供 NeMo JSONL manifest 和元数据,部分来源需要另行下载音频。典型字段包括 audio_filepath、text、source_lang、target_lang、original_source_id 和 dataset_source。

五、训练阶段

  • 阶段 A:收集和统一 manifest。保留路径、时长、采样率、语言、来源、许可证和原始 ID。
  • 阶段 B:切分、VAD、说话人和语言质检。检查时长、静音比例、字符速率、语言一致性、空文本和异常重复。
  • 阶段 C:多模型伪标注与 PnC。生成候选、做一致性筛选,再用 Qwen3-32B 统一标点和大小写。
  • 阶段 D:流式多语言 ASR 训练。使用 Cache-Aware FastConformer-RNNT、语言 ID 条件和混合多语言数据。
  • 阶段 E:多延迟点评测。以 80 ms 为基本帧,测试 80 ms、160 ms、320 ms、560 ms、1.12 s。
\(D_train = Filter(Normalize(D_public union D_private))\) \(theta* = argmin_theta E[-log P_theta(y | x, language)]\)

六、Granary v2 流水线

Granary v2 把原始录音加工成带元数据、可追溯、可继续处理的训练数据。官方教程包括 Metadata extraction、Indic ASR、Qwen Omni ASR 和 Text pipeline。

6.1 Metadata extraction

  • 读取 recording manifest,重采样到单声道 16 kHz WAV。
  • Sortformer 做说话人分离并输出 RTTM。
  • Silero TensorRT VAD 切分语音段。
  • CNN14 TensorRT 预测声音事件。
  • SpeechBrain、Indic Canary、Whisper 做多级语言识别。
  • 根据一致性选择 source_lang,保留拒绝原因。
  • 片段编码为 Opus,并写出 JSONL metadata。

没有语音的录音保留 vad_empty 审计行;语言意见不一致时保留 skip 标记和预测结果,避免把“无语音”和“文件缺失”混为一谈。

6.2 Indic ASR

Hindi 示例有 11 个阶段:读取 manifest;准备单声道 16 kHz 音频;Canary 主转写;主结果 hallucination 检查;Parakeet 恢复候选;恢复结果检查;选择最佳预测;正则清洗;缩写合并;计算 WER;写回 JSONL。两个 ASR 模型会对每个有效片段都运行。

示例限制 0.5 到 40 秒;最终字段包括 primary_model_prediction、fallback_model_prediction、best_prediction、cleaned_text、abbreviated_text 和 wer_pct。

6.3 Qwen Omni ASR 与 Text pipeline

Qwen3-Omni 生成主转写,已有 transcript 只作为回退文本,不发送给 Qwen。随后执行规则型 hallucination 检查、最佳预测选择、标点和空白清理、缩写合并。Text pipeline 不读取音频,负责实体恢复、PnC、语言识别与验证、逆文本规范化、captioning、code switching 和 speech QA。

6.4 Xenna 与 Ray Data 吞吐

管道基准数据XennaRay Data
Metadata30,631 录音 / 107.76357 小时472.309 audio-hours/hour166.251
Indic ASR216,164 Hindi 片段 / 531.75763 小时3,604.471387.649
Qwen Omni ASR22,710 英语片段 / 80.61259 小时406.615228.424
Text pipeline14,290 行 transcript30.283 rows/s12.217 rows/s

官方对比使用 8 张 H100 80 GB GPU、相同 cohort、镜像、模型和 stage 设置。音频管道吞吐包含模型启动时间;Text pipeline 复用了已启动的模型服务器。

七、实验对比:FLEURS 与流式延迟

分组模式80 ms160 ms320 ms560 ms1.12 s
Transcription-ready 19 localesLangID 平均 WER10.3810.009.499.128.84
Transcription-ready 19 localesAuto-detect 平均 WER11.1410.6710.059.639.21
Broad-coverage 13 localesLangID 平均 WER25.8625.1424.1123.0922.13
Broad-coverage 13 localesAuto-detect 平均 WER27.6226.6525.4124.4423.09

在 1.12 s、LangID 条件下,官方表中英语 WER 为 7.91%,西班牙语 4.11%,意大利语 4.25%,葡萄牙语 5.48%,Hindi 6.81%,德语 8.31%,法语 9.03%,俄语 9.17%,乌克兰语 13.07%。Hindi 在 80 ms 下 LangID 为 8.13%,Auto-detect 为 11.47%;1.12 s 下分别为 6.81% 和 8.23%。日语、韩语和普通话使用 CER。

chunk 增大通常带来更多右侧上下文,平均 WER 下降但等待时间上升:

\(WER(c_1) >= WER(c_2), c_1 < c_2\)

八、吞吐对比与系统意义

配置Nemotron 3.5 ASRParakeet RNNT 1.1B优势
80 ms约 240 路约 14 路约 17 倍
1.12 s约 2,400 路约 400 路约 6 倍

优势来自参数规模、缓存复用、chunk 粒度和 H100 推理实现的共同作用,而不是单纯参数更小:

\(Cost_per_stream proportional to GPU_hourly_cost / sustainable_concurrent_streams\)

Fish Audio Drama 3 技术报告详解:面向导演式语音生成的 35B -A3B MoE 架构、训练数据与工程优化

一、论文要点与模型定位

Drama 3 是一个开放权重语音生成模型,总参数量约 35B,但采用稀疏混合专家结构,每个 Token 实际激活约 3B 参数。模型主干由 Qwen3.5-35B-A3B 初始化,采用 40 层混合架构:每四层包含三层 Gated DeltaNet 线性注意力和一层 Gated Full Attention。语音部分沿用 Fish Audio S2 的离散音频 Tokenizer,每个音频帧由 10 个 Codebook 表示;模型主干预测语义 Codebook,新的 Codebook-MTP Decoder 在同一时间位置并行预测其余 9 个声学 Codebook。

论文把创新概括为三点:

  • Hybrid Backbone + Codebook-MTP Decoder:用线性注意力处理长上下文,同时用少量 Full Attention 保留远距离检索能力,并将 S2 的逐 Codebook Fast AR 替换成一次运行 13 层的多 Token 预测解码器。
  • 一个模型统一多任务:多参考音色克隆、自然语言控制、多角色场景、多轮导演式修改、Speech Infilling、长文本合成和 Streaming Text Input 使用同一种交错文本—音频 Token 流表示。
  • 单一人类偏好奖励:RL 不再把 ASR WER、音质模型和 Speaker Similarity 作为规则奖励,而是训练一个小型 Speech Language Model 作为人类偏好 Reward Model。

二、总体架构

Drama 3 没有额外的音频编码器。参考音频、提示音频和生成音频都先通过离散 Audio Tokenizer 转换成 Codebook 序列,之后与文本 Token 交错输入语言模型。每一个音频帧只占用一个 Backbone 序列位置,因此一秒语音约占 21.5 个位置,与该帧包含多少个 Codebook 无关。

2.1 音频 Tokenizer

  • 基于 Descript Audio Codec,输入采样率为 44.1 kHz。
  • 约每秒 21.5 个音频帧,每帧 10 个 Codebook。
  • Codebook 0 是语义码,Codebook 1–9 是逐级增加细节的残差声学码。
  • 编码和解码完全因果,可以流式运行。
  • 参考音频以离散 Token 进入上下文,因此参考音频的细粒度声学信息可以被后续 Decoder 直接访问。

2.2 Hybrid Backbone 与 MoE

主干初始化自 Qwen3.5-35B-A3B,仅使用其语言模型部分。40 层结构由三层 Gated DeltaNet 加一层 Gated Full Attention 组成周期。DeltaNet 使用近似常数大小的状态保存历史,只有每四层中的 Full Attention 保留随上下文增长的 KV Cache;Full Attention 用来精确检索长上下文中的参考音色、早先台词和场景信息。

每一层的前馈网络都是 MoE:共有 256 个 Routed Experts,每个 Token 路由到 8 个专家,并额外经过一个 Shared Expert。总参数约 35B,但每个 Token 约激活 3B 参数。MoE Router 在预训练和 SFT 阶段都加入负载均衡损失,避免大多数 Token 集中到少数专家。

2.3 Partial Codebook Fusion

S2 将 10 个 Codebook 全部反馈给 Backbone。Drama 3 只把语义码和第一层声学码反馈给 Backbone,Codebook 2–9 绕过 Backbone,作为 Decoder 的侧输入。这样既保留参考音频和已生成语音的粗粒度声学线索,也减少模型暴露在自身采样细节上的误差累积。

设第 t 帧的语义码和第一层声学码分别为 \(q_t^{(0)}\) 和 \(q_t^{(1)}\),则 Backbone 的音频输入为:

\( \mathbf{x}_{t}=\frac{1}{\sqrt{2}}\left(\mathbf{E}^{\mathrm{LM}}\left[s\left(q_t^{(0)}\right)\right]+\mathbf{E}^{(1)}\left[q_t^{(1)}\right]\right) \)

其中 \(s(\cdot)\) 把语义码映射到新增的 4096 个语义 Token,\(\mathbf{E}^{\mathrm{LM}}\) 是语言模型词嵌入,\(\mathbf{E}^{(1)}\) 是第一声学 Codebook 的嵌入表。文本位置只使用语言模型嵌入;Codebook 2–9 不进入 Backbone。

2.4 Codebook-MTP Decoder

在第 t 个位置,Backbone 预测下一帧的语义码 \(q_{t+1}^{(0)}\);Decoder 在同一位置预测下一帧的 9 个声学码 \(q_{t+1}^{(1)},\ldots,q_{t+1}^{(9)}\)。Decoder 共有 13 层:前 4 层是共享层,后 9 层分别对应声学 Codebook 1–9。每一层沿完整时间序列做因果注意力,所以每一个声学 Codebook 都能看到参考音频和此前所有帧的声学细节。

每层先把注入的 Codebook 嵌入与上一层隐藏状态合并:

\(\mathbf{u}^{(\ell)}_t=\mathbf{W}^{(\ell)}\left[\operatorname{RMSNorm}\left(\mathbf{e}^{(\ell)}_t\right);\operatorname{RMSNorm}\left(\mathbf{h}^{(\ell-1)}_t\right)\right]\)

随后经过因果 Transformer Block:

\(\mathbf{h}^{(\ell)}_t=\operatorname{RMSNorm}\left(\operatorname{Block}^{(\ell)}\left(\mathbf{u}^{(\ell)}_{1:t}\right)\right)\)

第 k 个 Codebook 的输出分布可以写为:

\(q_{t+1}^{(k)}\sim\operatorname{softmax}\left(\mathbf{W}_{\mathrm{out}}^{(k)}\mathbf{h}^{(4+k)}_t\right),\qquad k=1,\ldots,9\)

相较于 S2 的 4 层 Fast AR 重复运行 10 次,Drama 3 的 13 层 Decoder 每帧只运行一次,因而大幅缩短顺序路径。

三、训练数据与三阶段预训练

数据由完成转录的语音和文本文档组成;所有语音在进入训练前先经过质量控制;文本文档用于保持 Backbone 的语言建模能力;总体训练规模为数千亿 Token;语言覆盖沿用 S2,约 80 种语言和方言。

3.1 Stage 1:基础文本到语音映射

  • 最大序列长度 8K Token。
  • 训练样本包括纯文本文档和多轮 TTS 对话。
  • 目标是学习文本到音频 Token 的映射、普通 TTS 和零样本音色克隆。
  • System 轮保存任务指令和参考音频,User 轮保存待合成文本,Assistant 轮保存目标音频 Token。
  • 损失只计算在 Assistant 的音频输出、必要的分隔符和结束 Token 上。

3.2 Stage 2:降低梯度噪声

Stage 2 继续使用 Stage 1 的序列格式和任务分布,主要变化是 Batch Size 翻倍,从而降低梯度噪声;学习率衰减留到 Stage 3。它并非独立的新任务阶段,而是让基础语音建模能力在更稳定的优化条件下继续收敛。

3.3 Stage 3:长音频、流式和编辑

  • 最大序列长度提升到 16K Token。
  • 加入整段录音合成:参考音频来自同一录音的后部,目标是前部,避免参考片段和监督目标重叠。
  • 加入逐行合成,用 \(<|audio_separator|>\) 对齐输入文本行和输出音频段。
  • 加入 Streaming Interleave:每个 User 轮包含当前文本块和一个前瞻文本块,模型边生成当前块边知道后续内容。
  • 加入 Speech Infilling:保留原音频编辑窗口前后的 Token,只生成窗口内部的新内容。
  • 样本使用 Document Masking 打包成每行 128K Token,优化器为 Muon。

3.4 预训练目标

令 \(\mathcal{T}\) 为需要监督的文本位置(包括结束 Token 和逐行分隔符),\(\mathcal{S}\) 为语义 Codebook 监督位置,则:

\(\mathcal{L}_{\mathrm{text}}=-\frac{1}{|\mathcal{T}|}\sum_{t\in\mathcal{T}}\log p_{\theta}(x_t\mid x_{<t})\) \(\mathcal{L}_{\mathrm{sem}}=-\frac{1}{|\mathcal{S}|}\sum_{t\in\mathcal{S}}\log p_{\theta}\left(q_t^{(0)}\mid x_{<t}\right)\) \(\mathcal{L}_{\mathrm{cb}}=\frac{1}{9}\sum_{k=1}^{9}\left(-\frac{1}{|\mathcal{S}|}\sum_{t\in\mathcal{S}}\log p_{\phi}\left(q_t^{(k)}\mid\mathbf{h}_{<t},\mathbf{q}_{<t},q_t^{(<k)}\right)\right)\)

总损失为:

\(\mathcal{L}=\mathcal{L}_{\mathrm{text}}+0.5\mathcal{L}_{\mathrm{sem}}+0.5\mathcal{L}_{\mathrm{cb}}\)

文本、语义码和声学码各自按自己的监督桶取平均,避免一个 Batch 中文本和语音比例变化导致损失权重漂移;声学 Codebook 损失会反向传播到 Backbone。预训练和 SFT 同时加入 MoE Router 负载均衡损失。

四、Instruction SFT 阶段:如何让模型学会“听懂导演指令”

SFT 从 Stage 3 Checkpoint 开始,最大序列长度为 32K Token,使用 Indexed Reference Layout。SFT 的目标不是重新学习基础发音,而是把已经具备 TTS 和克隆能力的模型转化为能够遵循复杂自然语言指令、处理对话和场景的生成器。

4.1 SFT 数据类型

  • 普通音色克隆:一段或多段参考音频 + 待合成文本。
  • Point Tags:在文本位置插入 [laughs]、[pause]、[coughs] 等局部事件。
  • Scoped Tags:用 <whisper>...</whisper> 只控制被包围的词或短语。
  • Style Prefix:控制整句的情绪、语速、表达方式。
  • Director’s Note:用自然语言描述意图、节奏、重音和表演方式。
  • 多说话人对话:每个角色绑定一个或多个参考音频,通过 speaker Token 切换角色。
  • 多角色场景:一次提供所有台词,并使用显式分隔符,使当前句能够利用后续台词和场景上下文。
  • 多轮修改:保留旧参考和上一版生成结果,下一轮用“更柔和、更温暖”“比上一版更快”等相对指令生成新版本。
  • 长文本、Speech Infilling 和 Text-only Chat:继续混入训练,防止 SFT 破坏 Stage 3 已学能力。

4.2 SFT 样本如何组织

训练序列采用 ChatML 风格。System 轮包含“把给定文本转换成语音”的任务说明、参考文本和参考音频;User 轮包含目标文本、说话人标记、控制标签和语言/时长提示;Assistant 轮以 \(<|voice|>\) 开始,输出目标音频的 10 个 Codebook。对于多轮修改,旧的 Assistant 音频保留在上下文中,下一轮 User 给出相对上一版的修改意见。

损失只作用于模型自己的 Assistant 输出:语音帧的 10 个 Codebook、需要学习的音频分隔符和 \(<|im_end|>\)。参考音频只提供上下文,不直接产生生成损失。Speech Infilling 额外对编辑窗口两侧的接缝加大监督,使新旧音频能够自然拼接。

五、RL:从可控生成到符合人类偏好的表演

RL 从 SFT Checkpoint 开始。S2 使用 ASR 转录错误、语音质量和 Speaker Similarity 三类规则奖励;Drama 3 去掉它们,因为笑声和长停顿会改变 ASR 结果,耳语和喊叫会降低与中性参考的相似度,而整句质量模型无法评价某个词是否按指令变得更柔和或更有情绪。

5.1 人类偏好 Reward Model

Reward Model 是一个较小的 Speech Language Model,使用相同的 Audio Tokenizer 和序列格式预训练到 Stage 2,并在每条 Take 的结束 Token 上增加 Scalar Head。它直接读取完整 Prompt 和生成音频 Token,不需要额外运行 ASR、Tokenizer Decoder 或 Speaker Model,因此参考音色、文本内容和表演风格都能在同一奖励路径中被判断。

对两条 Take 的人类偏好使用 Bradley–Terry 损失:

\(\mathcal{L}_{\mathrm{RM}}=-\left[y\log\sigma(s_a-s_b)+(1-y)\log\sigma(s_b-s_a)\right]+10^{-3}(s_a^2+s_b^2)\)

5.2 GRPO 配置

  • 每个 Prompt 采样 \(G=8\) 条 Take,温度为 1,不使用 Top-p 或 Top-k 截断。
  • 每条 Take 最长约为期望时长的 2.5 倍,且不超过 4096 帧,约 190 秒。
  • 组内 Reward 标准差低于 0.05 的组丢弃。
  • 使用 Group Relative Policy Optimization,采用均值中心化优势,不使用 KL Penalty 和 Reference Model。
  • 每一步使用 1536 个 Prompt × 8 条 Take,采用大 Batch、少步骤、恒定 Muon 学习率和无 Weight Decay。
  • RL 时 Codebook-MTP Decoder 保持冻结,只更新 Backbone 的语义 Token 策略。
  • Rollout 使用块缩放 FP8 专家权重;训练器使用 BF16,并通过路由回放减少训练和推理路由不一致。

奖励标准化与组内相对比较可写为:

\(z_i=\operatorname{clip}\left(\frac{s_i-\mu_0}{\sigma_0},-3,3\right),\qquad R_i=\frac{1}{n-1}\sum_{j\ne i}\sigma(z_i-z_j)\)

论文强调,大 Batch、少更新步可以让策略朝向更广泛的人类偏好移动,并减少小 Batch、多步训练出现的 Reward Over-optimization。

六、推理引擎与吞吐优化

线上请求分为 Prefill 和 Decode 两阶段:Prefill 一次读取文本与参考音频,Decode 每帧执行一步。单 GPU 同时服务多个流,按轮次执行新请求 Prefill 或所有运行中流的一步 Decode。

指标Drama 3Fish Audio S2
Backbone 后的顺序层数1340
每帧读取权重约 6.0 GB约 15.6 GB
其中 Backbone(不含 Routed Experts)2.9 GB7.3 GB
Codebook-MTP / Fast AR2.1 GB8.3 GB
上下文 KV Cache 增长的层数2336
单 H200 单流速度271 frames/s177 frames/s
  • 减少顺序路径:Codebook-MTP 13 层每帧运行一次;S2 的 Fast AR 需要 10 次、共 40 层顺序 Pass。
  • FP8 Routed Experts:专家使用块缩放 FP8,每个专家参数约 1 Byte。Drama 3 每帧读取约 6.0 GB 权重,不到 S2 的五分之二。
  • 删除 CUDA Graph 之外的 Kernel:辅助 Decode Kernel 从 1429 个降到 1278 个,B300、并发 32 时提升 1.7%;融合 Gated DeltaNet Decode 和采样器计数器后减少 100 个 Kernel,单流提升 4.2%。
  • Prefill Graph:Gated DeltaNet Prefill 每层 Kernel 从 23 个降为 13 个;首帧采样的 Host 时间从 30.9 ms 降至 14.7 ms,早期开发模型在 H200 并发 32 时提升 15.3%。
  • 按线上 Shape 优化 Kernel:从真实服务日志抓取矩阵形状、Batch 和并发分布,再做 Nsight Profiling、算子级验证、引擎内 Token/WER 验证和同机 A/B 测试。FP8 MoE Kernel 在 \(M=256\) 时将 MoE 层耗时降低 19.2%。
  • Prefill–Decode 解耦:新请求的 Prefill 不再阻塞正在播放的 Decode 流,降低高并发下的流式卡顿。

七、实验设置与结果

实验统一使用论文附录中的 Prompt 格式,采样温度 0.7、Top-p 0.7、Top-k 30。静音、语音过短、长度失控、长段噪声或长段静音的输出会被重新生成并重新计分。中文使用 Paraformer-zh 转录,其余语言使用 Whisper-large-v3;Speaker Similarity 使用 WavLM-large + ECAPA-TDNN 说话人嵌入余弦相似度。

7.1 Preference Reward 对表达性的影响

在 Expresso 中,将同一说话人同一句话的中性读法与风格读法配对。耳语相对中性读法的 SIM 下降 0.310,笑声使 WER 上升 0.79 个百分点;因此相似度奖励在耳语样本中 99.7% 偏好中性读法,在笑声样本中 93.9% 偏好中性读法。Drama 3 的 Preference RM 在提示中明确写出风格后,偏好耳语的比例为 62.2%,偏好笑声的比例为 64.4%;不写方向时分别只有 10.6% 和 27.1%。

在 Seed-TTS-Eval 上,RL 后 Drama 3 的首轮中文 CER 从 SFT 的 1.66 降到 1.00,英文 WER 从 3.49 降到 2.20;信号检查失败率从中文 2.82% 降到 1.24%,英文 3.40% 降到 1.84%。重生成异常样本后,中文 CER 为 0.83,英文 WER 为 1.54。

7.2 多参考零样本音色克隆

论文在 LibriSpeech-PC test-clean 上扩展多参考测试集:1127 句、39 位说话人,每个目标说话人额外提供两段不包含目标句的参考音频。Drama 3 使用一段参考时 WER 1.85%、SIM 0.605、UTMOS 4.31;使用三段参考时 WER 仍为 1.85%,SIM 提升到 0.633,UTMOS 仍为 4.31。单参考时,UTMOS 4.31 高于 OmniVoice 的 4.28 和 CosyVoice 3 的 4.28;Qwen3-TTS 为 4.41,但其 WER 和 SIM 分别为 1.60 和 0.704。

7.3 MiniMax 多语言克隆

MiniMax Multilingual Testset 覆盖 24 种语言。Drama 3 相比 OmniVoice 在 15 种语言上错误率更低,相比 FireRedTTS3-Base 在 17 种语言上更低;在阿拉伯语、中文、荷兰语、英语、芬兰语、法语、德语、波兰语、葡萄牙语、土耳其语和越南语 11 种语言上同时低于 OmniVoice、FireRedTTS3-Base 和 Fish Audio S2。与实际通过 API 运行的商业系统比较时,Drama 3 低于 Inworld TTS-2 的语言数为 18,低于 Soniox TTS RT v2 的语言数为 21/23,低于 ElevenLabs v4 的语言包括中文、荷兰语、英语、德语、韩语、俄语、西班牙语、泰语和土耳其语。

语言指标Drama 3OmniVoiceFireRedTTS3Fish Audio S2
中文CER0.631.010.910.73
荷兰语WER0.591.361.150.99
英语WER1.131.562.121.62
芬兰语WER3.093.753.103.33
法语WER2.683.352.642.86
德语WER1.081.501.931.46
土耳其语WER1.622.932.472.25

7.4 Streaming Synthesis

在 1088 条 Seed-TTS-Eval 英文测试句上,流式输出 WER 为 1.86,非流式输出 WER 为 1.83;两者 SIM 都为 0.640。结果说明把音频边生成边发送不会带来明显质量损失。

7.5 Speech Infilling 编辑

在 Ming-Freeform-Audio-Edit 中,先用 Qwen3-ForcedAligner-0.6B 将源音频和转录对齐,再把从第一个不同词到最后一个不同词的区域作为编辑窗口。删除操作还会包含相邻未改变词,以保证窗口有可学习的边界。模型保留窗口前后源音频 Token,只生成窗口内部的目标文本,然后整体解码,避免把源波形直接贴回造成拼接痕迹。

系统英文插入 WER / SIM / MAE英文删除英文替换
Drama 33.03 / 0.905 / 0.2085.79 / 0.838 / 0.1742.08 / 0.866 / 0.181
VoiceCraft-X5.74 / 0.85 / 0.1669.71 / 0.80 / 0.1727.29 / 0.81 / 0.155
LEMAS-Edit6.04 / 0.81 / 0.1589.29 / 0.80 / 0.1676.09 / 0.80 / 0.167
CosyEdit21.90 / 0.93 / 0.1075.52 / 0.90 / 0.1311.43 / 0.89 / 0.137

中文结果中,Drama 3 在插入和替换上的 SIM 分别为 0.909 和 0.898,高于专用编辑模型 CosyEdit2 的 0.89;删除 WER 为 7.82,低于 CosyEdit2 的 8.23。与 Cartesia Sonic-3 的 Infill API 比较,Drama 3 在 Ming-Freeform 基础集/完整集上的英文 WER 为 3.49/3.43,中文为 3.69/2.35;Cartesia 对应为英文 4.58/4.68、中文 8.64/6.53。

7.6 多轮导演式修改

Step-Audio-Edit 要求模型先克隆声音,再通过最多三轮指令逐步靠近目标情绪或风格。Drama 3 在每轮中保留原始参考和上一版 Take,并以 [happier versus previous] 一类相对指令重生成。情绪准确率从第 0 轮的 55.5% 提升到第 3 轮的 58.2%,风格准确率从 76.5% 提升到 81.8%。使用 [coughs] 等 Point Tag 进行局部插入并 Infilling 后,拟声事件评分从 1.32 提升到 2.32。

指标第 0 轮第 1 轮第 2 轮第 3 轮
Drama 3 情绪准确率55.557.257.558.2
Drama 3 风格准确率76.579.480.581.8
Drama 3 拟声事件评分1.322.32––
Step-Audio-EditX 情绪准确率53.666.868.769.3
Step-Audio-EditX 风格准确率45.662.764.263.8

八、工程实现启示

  • 长上下文语音模型可以采用“多数线性注意力 + 少量 Full Attention”,在降低 KV Cache 成本的同时保留参考音频和早期台词的精确检索。
  • 多 Codebook 音频生成不必让主干逐一预测所有声学码;将粗语义信息反馈给 Backbone,把细节留给时间因果 MTP Decoder,可以同时降低曝光偏差和推理顺序长度。
  • 如果训练目标是表现力,WER、SIM 和整句音质分数不宜直接作为唯一奖励。更合理的做法是让 Reward Model 读取“指令 + 参考音频 + 生成音频 Token”的完整上下文。
  • SFT 数据应把多轮对话、参考音频索引、Point/Scoped Tag、分隔符和编辑窗口作为一等数据结构,而不是只把音频和文本做成单句配对。
  • 线上性能主要受权重搬运、Kernel Launch 和 Prefill 阻塞影响。需要从真实服务 Shape 出发做算子优化,并将 Prefill 与 Decode 分离。

九、结论

Drama 3 的关键不只是把模型扩大到 35B,而是把模型、数据格式、SFT 任务和 RL 奖励统一到“导演式表演”这一目标上。Hybrid Backbone 解决长上下文,Partial Codebook Fusion 控制反馈复杂度,Codebook-MTP Decoder 直接利用参考音频的细粒度声学信息;三阶段预训练建立基础语音能力,32K Token 的 Instruction SFT 教会模型遵循指令和维护多轮上下文,单一人类偏好 Reward Model 则让笑声、耳语、停顿和情绪表达不再被传统规则奖励压制。

从实验结果看,Drama 3 在多参考克隆、多语言识别准确率、流式生成、语音编辑和多轮修改上都表现出统一模型的优势;从工程结果看,它在单 H200 上达到 271 frames/s,高于参数量小得多的 Fish Audio S2。论文没有公开完整数据来源和样本规模,这一限制需要在复现或二次训练时单独补齐。

Index-Translate 深度解析:从 150 语种翻译到语音、可控配音与长文档的一体化模型家族

摘要:哔哩哔哩 Index LLM 团队在 2026 年 9 月发布了 Index-Translate。它不是单一的“文本翻译模型”,而是以 Qwen3.5 为基础,向文本、语音翻译、音节可控配音和原生长文档翻译扩展的模型家族。

Index-Translate 35B-A3B preview、9B 与 2B 文本模型的七维翻译能力对比

一、项目定位:把“翻译质量”扩展为可交付能力

传统机器翻译通常优化句子级质量,但真实内容生产还需要保留 JSON、CSV、Markdown、变量占位符和术语;字幕要适配时长;社区文本要翻出梗意;书籍翻译要维持人物、术语和概念层级。Index-Translate 的核心判断是:翻译模型应当同时优化语义、约束、模态和上下文,而不是只追求一个 BLEU 或 COMET 分数。

模型家族目前包含五类成员:

  • Index-Translate:文本、结构化内容、指令翻译与社区表达,覆盖 150 种语言,提供 2B、9B 和 35B-A3B(preview)。
  • Index-Echo:语音到文字(S2TT)和语音到语音(S2ST),支持目标语言字幕、配音与说话人声音条件。
  • Index-Homura:接收目标音节数,在保持语义的同时重组译文长度。
  • Index-NativeLong:输入完整文档并连续生成译文,面向书籍、网文和长篇资料的一致性。

二、统一基础模型:多语种中训 + 专家融合

1. 多语言 Mid-training

技术报告将训练拆成 constant 和 decay 两阶段。constant 阶段混合通用文本、平行语料和单语文本,采样比例为 1:1:1,7,000 步、117.44B tokens;decay 阶段使用通用文本、pivot-20 与 pivot-148 数据,比例为 1:4:2,3,000 步、50.33B tokens。总预算约 167.77B tokens,序列长度通常为 4,096,随后为长文档任务增加更长上下文。

这里的 pivot 组织不是简单地把双语句对堆在一起,而是通过英文锚点把多个语言版本连接起来。例如:

\(x_{zh}\leftrightarrow x_{ja}\) 表示普通平行数据;\(x_{zh}\leftrightarrow x_{en}\leftrightarrow x_{ja}\) 表示 pivot 数据。报告中的消融显示,多语言覆盖能明显提升非核心语言表现,同时仍需控制对通用能力的损耗。

2. 专家训练与融合

团队分别训练通用翻译专家、指令翻译专家和 MEME(社区文化表达)专家。指令专家使用约 104.5 万条、覆盖十类真实场景的样本;训练目标既包括术语、格式和结构保护,也包括风格、上下文消歧和跨句一致性。通用翻译和指令翻译使用 GRPO,MEME 使用参考引导的 LLM judge。

融合不是简单拼接多个 LoRA,而是先做参数插值:

\(\theta_{merge}=w_G\theta_G+w_I\theta_I+w_M\theta_M,\quad w_G+w_I+w_M=1\)

发布模型使用的代表性权重为 \(w_G:w_I:w_M=0.8:0.1:0.1\),之后用针对弱项的多教师 on-policy distillation(MOPD)修补融合后的能力缺口。这种设计的价值在于:通用质量、指令遵循和文化适配可以共享底座,但不必强行用一个训练目标解决所有任务。

三、三项关键扩展:语音、音节与长文档

1. Index-Echo:从“翻译文本”到“翻译声音”

Index-Echo S2TT 将 Qwen3-Omni AuT 音频编码器与 Index-Translate 解码器连接起来,直接从源音频生成目标语言文字。S2ST 则在 S2TT 基础上增加约 3,000 万参数的 Hidden2CV 映射器,把翻译器隐藏状态映射到 CosyVoice3 的语义层,并使用 DiffRO 通过 Gumbel-Softmax 语音 token 优化内容一致性;源音频还提供说话人 embedding 与声音提示。

任务/模型MT judgeASR/WER 中位误差起始时间 MAE
Index-Echo-2B S2TT0.8250.0880.395 s
Index-Echo-9B S2TT0.8570.1020.488 s
Qwen3.8-Omni-Flash0.8870.1121.004 s
SeamlessM4T-v20.0601.000—

报告还比较了 pipeline 与端到端 S2ST。以中文到日语为例,9B 端到端方案的内容错误率均值/中位数为 0.0436/0.021,音色相似度 Spk 为 0.782;这说明语音翻译的评价不能只看文本,还要同时考察内容、时间轴和说话人条件。

2. Index-Homura:把音节预算写进优化目标

HOMURA 论文指出,大语言模型翻译存在跨语言“冗长偏置”:译文往往比时间预算允许的长度更长。它提出 Sand-Glass 基准,用真实视频转写、停顿分段和信息密度校准构造音节级时长约束。中文到英文、德文、西班牙文的理论扩展约为 1.03、1.19、1.49 倍,但未经约束的 LLM 平均扩展可达到 1.35、1.59、1.84 倍。

HOMURA 的基本长度比定义为:

\(\rho(x,y)=\frac{\sigma(y)}{\max(\sigma(x),1)}\)

其中 \(\sigma(\cdot)\) 是音节数。模型使用动态区间 \([L(x),R(x)]\),短句会适当放宽下界,长度奖励采用区间内满分、区间外指数衰减;质量奖励则由回译语义相似度、流畅性判定和可选的 GenRM 组成。整体目标可写为:

\(R(x,c,y)=\lambda_{len}R_{len}(x,y)+\lambda_{qual}R_{qual}(x,y)\)

在 3,600 条 Sand-Glass 测试案例中,Index-Homura-9B 的输出有 81.92% 与目标音节数偏差不超过 10%,明显高于普通模型的约 13%–48%。代价是:当约束越来越紧时,COMET 等质量指标会下降,模型必须在信息密度与自然度之间做可解释的折中。

模型Quality偏差≤1 音节偏差≤10%长度拟合斜率
Index-Homura-9B(RL)0.786374.42%81.92%0.968
Index-Homura-9B(SFT)0.858141.39%45.75%0.680
GPT-5.6-Sol(low)0.871542.53%47.64%0.891
Qwen3.5-9B0.718315.61%16.39%0.430

3. Index-NativeLong:原生长文档而不是“分块 + 词表”

NativeLong 的关键假设是:书籍翻译中的人物身份、术语层级和叙事关系,不能完全依靠分块翻译后再拼接。2B/9B 模型通过约 4K–64K 中文侧 token 的双向文档监督进行全参数 SFT,并在 mid-training decay 阶段使用 128K 序列实验。报告显示,Index-NativeLong-9B 在 GuoFeng、BWB、General Books 上的平均得分分别为 0.7891、0.7683、0.8848。

案例中,32K token 奇幻文本里的“王妃”在原生全文翻译的三个位置都保持为 Wang Fei,而同一 9B 模型使用分块和自动词表时,后文变成 the Dean、The Queen Consort。冰川史案例也显示,原生全文能够区分 ice age(冰河时代)、glacials(冰期)和 interglacials(间冰期),避免把上下位概念压成同一个词。

四、RIVAL 与 HOMURA:两条强化学习技术线

Index-Translate 技术报告明确吸收了 RIVAL 的训练思想。RIVAL 发现,传统 RLHF 中离线 reward model 会因为策略分布不断变化而失配,模型可能通过“奖励投机”获得高分,却生成不存在于原文的内容。因此 RIVAL 把 reward model 与翻译模型写成迭代的 min–max 对抗过程:

\(\min_{r_\phi}\max_{\pi_\theta}\;\mathbb{E}[r_\phi(x,\pi_\theta(y|x))]-\mathbb{E}_{y\sim P_{strong}}[r_\phi(x,y)]\quad\text{s.t.}\quad D_{KL}(\pi_\theta\|\pi_{ref})<\eta\)

RIVAL 的 reward model 同时学习定性偏好和定量偏好:前者用强/弱翻译排序,后者用 BLEU 的 MAE 近似。实验中,MAE 的定量误差为 0.19、定性准确率为 99.5%,优于 MSE 的 0.93 和 97.0%。在中文到英文的口语字幕任务上,RIVAL-Iter1 的 GPT-4o 平均评分为 3.68,优于 Qwen2.5-7B-SFT 的 3.46;WMT 中文到英文在 Iter2 达到 BLEU 33.42、COMETKiwi 73.61。

两条技术线各自解决不同问题:RIVAL 解决 reward model 与策略分布漂移,HOMURA 解决时长约束下的质量—压缩折中。Index-Translate 则把这些训练方法组合到通用翻译、指令翻译、MEME 和字幕任务中。

五、实验对比:质量、约束遵循与小语种不能混成一个分数

技术报告使用 FLORES-200、FLORES 低资源对、WMT24++、WMT26、instTrans、IFMTBench、MEME、OPUS-Books、Biomedical、MTNT、MuST-Cinema 和 GuoFeng-Webnovel 等数据。需要注意:COMET-22、XCOMET-XXL、WMT judge、IFscore 和 MEME 分数的量纲不同,不能直接横向相加。

模型FLORES COMET-22WMT26 JudgeinstTrans IFscoreMEME
Index-Translate-35B-A3B(preview)0.879476.760.83360.7405
Index-Translate-9B0.878975.350.82090.7387
Index-Translate-2B0.865560.260.75690.6443
Hy-MT2-7B0.874760.510.60790.5139
GPT-5.6-Sol0.865089.100.76240.7194

低资源结果更能体现项目的训练取向:35B-A3B 在 FLORES_minor_pair 上取得 COMET-22 0.8168、XCOMET-XXL 0.7164,off-target 仅 2.4%;9B 在 instTrans_minor 上取得 IFscore 0.7725,且 off-target 为 3.47%。指令基准 instTrans 包含 3,000 条中文到 20 种语言任务,低资源扩展另有 2,793 条;MEME 则包含 3,638 条中译英社区表达,覆盖 703 个词语和 857 个词义。

通用能力方面,Index-Translate-9B 的 C-Eval、GPQA-Diamond、INCLUDE、MMMLU 分数分别为 69.6、36.3、63.1、66.6;这说明专家融合后仍保留一定基础模型能力,但它的主要优势仍在翻译与约束任务,而非通用问答榜单。

六、最值得关注的创新点

  • 能力边界被显式建模:把“格式是否保留、术语是否一致、目标语言是否正确、音节是否命中、长文身份是否稳定”作为可测量目标,而不是只看译文流畅度。
  • 多语基础与专门模型分工:150 语种共享基础模型,语音、音节、长文档采用专门训练,避免一个模型在所有约束上互相牺牲。
  • 奖励函数更接近生产需求:通用翻译使用 XCOMET、目标语言 gate 和 adequacy;指令翻译加入硬约束 gate;HOMURA 加入动态音节奖励;RIVAL 用迭代 reward model 缓解 reward hacking。
  • 参数融合后再定向蒸馏:先用 0.8/0.1/0.1 融合通用、指令和 MEME 专家,再通过 MOPD 修复融合造成的局部退化。
  • 从句子级走向内容生产级:语音输出、时间轴、声音条件、结构化数据和全篇一致性都进入同一产品路线。

七、局限与使用建议

第一,35B-A3B 仍是 preview,论文与 README 的部分评测使用不同解码和汇总口径;引用数据时应注明模型版本和指标。第二,音节数只是语音时长代理,真实配音还受语速、停顿、音素时长和声码器影响。第三,NativeLong 对超长文档的显存、吞吐和错误恢复要求较高,生产部署仍要评估上下文窗口与并发成本。第四,LLM judge、回译和 XCOMET 都可能存在偏差,官方也记录了引用后缀、终止标记等 judge failure cases。

如果你的任务是结构化资料、社区内容或多语言产品文本,优先选择 Index-Translate-9B;如果是低延迟或资源受限场景,可从 2B 开始。如果是视频字幕和配音,建议使用 Index-Echo + Index-Homura 的组合,并把实际音频时长作为最终验收标准;如果是书籍、网文或技术报告,优先测试 NativeLong 的全篇一致性,再决定是否采用分块流程。

八、结语

Index-Translate 的价值不只在于“多翻几种语言”,而在于重新定义翻译模型的交付指标:能否保留结构、接住语境、压进时长、维持音色,并在一整本书里保持同一个人物和概念。它的工程路线也很清晰:共享多语底座,专家化训练,参数融合与定向蒸馏,再为语音、长度和长文档建立专门接口。对于希望把翻译直接接入内容生产流程的团队,这种模型家族式设计比单一榜单分数更值得关注。

参考资料

Qwen-Audio-3.0-ASR:用 MoE、上下文与指令控制把 ASR 推向真实工业场景

论文:Qwen-Audio-3.0-ASR Technical Report

一、先说结论:这不是只追求 Benchmark 的 ASR

Qwen-Audio-3.0-ASR 的核心目标,是把“听清楚”扩展成“在真实产品里持续可用”。论文把问题归纳为四类:多语言和地区方言、动态人名/品牌/专业术语、长语音跨句上下文,以及停顿、重复、口误和自我纠正等自然口语现象。

模型采用 Qwen Mixture-of-Experts(MoE)语言模型作为解码器,训练数据达到数千万小时量级,统一支持 30 种语言和 16 种中文方言变体。更重要的是,它把语言指定、历史文本、P0/P1 分层热词和文本润色都设计成输入指令,而不是为每种任务维护一套独立模型。

  • 30 种语言,覆盖东亚、东南亚、南亚、阿拉伯语区和欧洲多种语言。
  • 16 种中文方言/方言变体,覆盖 8 个主要方言区,既支持方言转写,也支持方言到普通话的语音翻译。
  • 行业实体识别、分层热词、长音频上下文和原生单次解码润色。
  • 独立的 Qwen-Audio-3.0-ASR-Streaming 流式版本,以及面向语音输入、会议、采访和客服的 Message ASR 部署形态。
系统总览:多语言/方言、流式、行业实体、长上下文、热词和原生润色,以及“指令控制、上下文感知、单次生成、低延迟”四个系统级属性。

二、研究背景:数据、模型和 LLM 三条路线正在汇合

论文把近年的 ASR 演进概括为三个互补方向:

  • Data Scaling:Whisper 系列从约 3,000 小时扩大到 68 万小时以上后,WER 下降超过 20 个点;领先系统的训练规模已经进入数千万小时。
  • Model Scaling:Whisper 参数量从约 38M 增加到 1.5B,多语言 WER 继续显著改善。
  • LLM Integration:Seed-ASR、FireRedAudio 等模型利用语言知识、世界知识和上下文推理能力,处理同音词、实体歧义和语义不完整等纯声学模型难以解决的问题。

但 Benchmark 的低 CER/WER 并不自动等价于产品体验。传统系统往往需要按语言或市场部署多个 checkpoint,热词更新要依赖外部 biasing 模块,口语润色又要额外串联一个 LLM。Qwen-Audio-3.0-ASR 的设计取舍是:把这些控制信号放进同一个 instruction-following ASR 解码过程里。

三、模型设计:四个模块加一个统一指令接口

Qwen-Audio-3.0-ASR 延续上一代 Fun-ASR 的整体拓扑,但把原来的 7B Dense LLM Decoder 换成 Qwen MoE Backbone。一次请求除了音频,还可以携带目标语言列表、是否润色、历史转写,以及 P0/P1 热词。

  • Audio Encoder:多层 Transformer Encoder,使用 SenseVoice 音频编码器,把波形转换为声学表示。
  • Audio Adapter:两层 Transformer Encoder,将声学表示映射到 LLM 可消费的表示空间。
  • CTC Decoder:挂在 Audio Encoder 上方,生成粗粒度识别假设。它不负责最终输出,而是为热词定制和长音频上下文注入提供候选与对齐信号。
  • LLM Decoder:Qwen MoE 解码器,综合 Audio Representation、CTC Hypothesis、Instruction 和 Context,自回归生成最终文本。

最终输出可以抽象为:

\(P(y_{1:T}\mid x,c)=\prod_{t=1}^{T}P(y_t\mid y_{<t},x,c)\)

其中 \(x\) 是音频, \(c\) 是语言、历史上下文、热词和润色等条件。关键变化不在音频前端,而在解码器:MoE 通过稀疏专家路由维持较大的总语言容量,同时只激活部分专家,降低每个 token 的实际计算成本。

“音频 + 指令条件 -> CTC 粗假设/音频表示 -> Qwen MoE 解码 -> 最终转写”的流程。

四、训练方案:五阶段逐步对齐声学、语言和产品目标

训练顺序为:Audio Encoder Pretraining -> Audio LLM Pretraining -> LLM Cooldown Adaptation -> Supervised Fine-tuning(SFT)-> Reinforcement Learning(RL)。这条链路的含义是,先获得稳健声学表示,再对齐 Qwen 的语言空间,随后用高质量数据收敛,最后直接优化生产指标。

4.1 Audio Encoder:BEST-RQ 自监督 + AED 有监督

第一阶段使用 BEST-RQ 在海量无标注语音上训练。随机遮蔽声学帧,目标是预测由固定随机投影和冻结 codebook 生成的离散目标。部分 Transformer 层从预训练 Qwen3 初始化,但将语言模型中的 causal attention 改为双向 attention,以适应语音编码。数据覆盖 AI、生物科技、电商、教育、娱乐、金融、出行等真实场景,两阶段合计达到数千万小时。

Qwen3 预训练 Transformer
   ↓
初始化双向音频 Transformer Encoder
   +
单独初始化的音频输入层
   ↓
无标注语音
   ↓
Log-Mel 特征
   ↓
固定随机投影 + 固定码本
   ↓
BEST-RQ 离散目标
   ↓
遮蔽预测训练
   ↓
带文字标注的 AED 监督训练
   ↓
保留 Audio Encoder

“语言模型权重迁移 + 语音自监督 + ASR 任务监督适配”的方法

第二阶段把编码器放进 attention-based encoder-decoder(AED)模型,用中文和英文为主的带标注或伪标注数据继续训练。数据流程包含 VAD、多 ASR 模型伪标签(Paraformer-V2、Whisper、SenseVoice)和 ITN。训练结束后,AED Decoder 被丢弃,只保留训练好的 Audio Encoder 作为后续初始化。

BEST-RQ 到 AED 的两阶段音频编码器预训练图

4.2 Audio LLM Pretraining:约 2,000 万小时做音频-文本对齐

Audio Encoder 在这一阶段冻结,Audio Adapter 和 Qwen MoE Decoder 联合训练。数据约 2,000 万小时,主要由 ASR 数据和交错 text-audio 数据组成,目标是文本 token 的交叉熵:

\(\mathcal{L}_{CE}=-\sum_{t=1}^{T}\log P_{\theta}(y_t\mid y_{<t},x,c)\)

这一阶段把声学表示对齐到 LLM 的文本表示空间,形成多语言知识、世界知识、同音词和实体消歧能力,以及后续指令跟随能力。

4.3 LLM Cooldown:减少数量,增加质量与平衡

Cooldown 使用约 100 万小时的更高质量数据,并重新平衡语言和方言分布,同时加入 Audio Understanding、Speaker Diarization 和 SpeechQA。ASR 数据经 VibeVoice 重识别,错误率大于 0.3 的样本被过滤。Audio Encoder 继续冻结,只更新 Adapter 和 Decoder。它的作用不是继续堆数据,而是把大规模预训练模型“收敛”到更可靠、更均衡的音频语言任务。

4.4 SFT:统一指令格式覆盖 30 语言、16 方言和多种业务条件

SFT 使用数千万小时语音,包含人工标注、高置信伪标签、噪声增强、TTS、流式模拟、远场/房间模拟、code-switch、多语言/方言和业务场景数据。Audio Encoder 与 Adapter 更新,Base LLM 冻结并通过 LoRA 适配 Decoder,训练序列最多 8,192 tokens。

  • 指定语言转写:单语场景只输出指定语言;多语混说保留各语言原始书写形式,减少 language leakage。
  • 行业实体增强:从 AI、金融、医疗、IT 等领域挖掘实体,经过“实体 -> 事实检索 -> LLM 造句 -> CosyVoice3 合成 -> 当前 ASR 重识别过滤 -> SFT”流程,强化长尾词。
  • 原生润色:用二值指令控制 verbatim 或 polished 输出,学习删除 filler、消除重复、处理 self-correction、补标点和规范格式。
  • 历史上下文:将同一 session 的前序转写作为 context,同时训练正确、冲突、噪声和空 context,明确告诉模型音频始终是主要证据。
  • 分层热词:P0 是高置信、高优先级词;P1 是更宽的候选池。LLM 根据 reference transcript 做语义匹配,P0 bias 更强但仍需得到声学和语义证据支持。

分层热词可以形式化为:对 P0 候选使用更高的条件权重,对 P1 使用较弱权重;目标不是把候选词硬塞进结果,而是在召回长尾词和抑制错误插入之间取得平衡。

4.5 RL:FunVerl-ASR + GRPO,直接优化 ASR 产品指标

RL 数据集强调 compact、high-quality、hard cases:模型与 Whisper/FireRed-ASR/SenseVoice 不一致的样本、超过 20 秒的长语音、幻觉样本、关键词/热词样本,以及用于防止灾难性遗忘的普通 ASR 数据。

FunVerl-ASR 为音频大模型扩展了普通文本 RL 框架,包含四个并行模块:

  • Audio Processor:波形转 Mel 特征,指令文本转 token。
  • vLLM Rollout Engine:冻结 Audio Encoder/Adapter 生成音频 embedding,与文本 embedding 合并后由 MoE 生成多个候选。
  • Reward Module:支持 CER、关键词召回、热词命中、上下文实体匹配、幻觉检测、语言一致性和 LLM Judge。
  • Megatron Policy Trainer:使用 tensor/pipeline/expert parallel,更新后通过 NCCL 将 Decoder 权重同步回 rollout worker。

其工程创新是 fully asynchronous loop:rollout 持续生成轨迹并放入消息队列,trainer 独立消费并更新策略;当轨迹对应的旧策略过于陈旧时直接丢弃。默认每个 prompt 生成 8 个 hypothesis,每次 actor update 使用 32 个 prompt,在 32 张 A100(rollout 和训练各 16 张)上,一天内完成完整 RL。

GRPO 不需要单独训练 value network。组内 advantage 为:

\(\hat{A}_{i,t}=\frac{R_i-\operatorname{mean}(\{R_j\}_{j=1}^{G})}{\operatorname{std}(\{R_j\}_{j=1}^{G})}\)

策略目标使用 clipped objective 和 KL 惩罚:

\(\mathcal{L}_{GRPO}(\theta)=\frac{1}{G}\sum_{i=1}^{G}\frac{1}{|o_i|}\sum_t\min\left(r_{i,t}(\theta)\hat{A}_{i,t},\operatorname{clip}(r_{i,t}(\theta),1-\epsilon,1+\epsilon)\hat{A}_{i,t}\right)-\beta D_{KL}(\pi_{\theta}\parallel\pi_{ref})\)

当 reward 只有 WER 时,GRPO 与 ASR 中的 MWER 训练接近;论文进一步使用组合 reward:

  • \(R_1=1-WER\):总体识别准确率。
  • 关键词准确率与召回率:既奖励命中,也惩罚错误插入。
  • 热词 reward:分别评价 P0/P1,并使用不对称正负权重。
  • 上下文 reward:奖励命中历史实体,惩罚错误复制。
  • 幻觉抑制:按幻觉 span 长度惩罚。
FunVerl-ASR 的异步 RL 架构图,突出 rollout、reward、policy trainer 和 NCCL 权重同步

五、部署形态:一个模型,三种产品能力

5.1 多语言与方言:从多 checkpoint 变成运行时指令

上一代 Fun-ASR 需要中文英文主模型和独立的 Fun-ASR-ML 多语言 checkpoint。Qwen-Audio-3.0-ASR 改成一个模型加 runtime language instruction,例如 Chinese+English+Japanese、Chinese+French、English+Indonesian。支持语言包括中文、日语、韩语、越南语、泰语、印尼语、马来语、菲律宾语、印地语、阿拉伯语,以及英语、法语、德语、西班牙语、葡萄牙语、俄语、意大利语、荷兰语、瑞典语、丹麦语、芬兰语、希腊语、波兰语、捷克语、匈牙利语、罗马尼亚语、保加利亚语、克罗地亚语、斯洛伐克语和挪威语。

5.2 Streaming:先快后准的混合式解码

流式模型先用短 chunk 和有限 right context 连续输出临时文本;端点检测后,再用完整上下文大模型重算并刷新最终文本。chunk size 与 right context 可以独立调整:上下文越短,响应越快;上下文越长,准确率越高。论文在 H100 上测量 first-token latency 和 text-display latency,低延迟配置下前者低于 200 ms,后者低于 300 ms。

5.3 Message ASR:面向会议、采访和客服的组合式接口

Message ASR 不是另一个模型,而是把 streaming audio、历史上下文、P0/P1 热词、native polishing 和 right context 组合成一个部署 profile。它在说话过程中提供 partial result,结束后用完整 utterance 刷新结果;上下文帮助维持主题和实体一致性,热词帮助识别人名、产品和技术术语,但音频证据始终优先于 context 和 hotword。

Message ASR 工作流图: “识别、上下文、润色和流式延迟在同一接口内完成”

六、公开基准:在统一评测下,中文、英文和多语言都具竞争力

论文同时使用公开数据集和内部工业测试集。公开集包括 AISHELL-1、AISHELL-2、FLEURS、LibriSpeech、WeNetSpeech、GigaSpeechBench 和 Common Voice 15。中文使用 CER,英文使用 WER;数值越低越好。

作者将中文英文结果分为两组:Panel A 是各模型官方报告结果,Panel B 是所有系统通过同一个 API 评测流程得到的结果。Panel A 可能存在预处理、参考文本和打分约定差异,因此真正适合横向比较的是 Panel B。

测试集指标GPT-4o TranscribeAzureDoubao-ASRFun-ASR-FlashTencent Hy-ASR-3.0-previewQwen-Audio-3.0-ASR
AISHELL-1CER3.341.601.540.760.781.03
AISHELL-2CER4.473.242.661.932.152.02
FLEURS-zhCER6.145.518.185.522.382.08
FLEURS-enWER5.795.476.504.955.454.17
LibriSpeech-cleanWER1.581.903.361.351.601.19
LibriSpeech-otherWER3.873.544.462.512.682.24
WeNetSpeech-netCER12.274.584.813.834.164.31
表 1:统一 API 评测结果,单位为百分比,越低越好。

在 Panel B 中,Qwen-Audio-3.0-ASR 在 7 个测试集中的 4 个取得最低错误率:FLEURS-zh 2.08%、FLEURS-en 4.17%、LibriSpeech-clean 1.19%、LibriSpeech-other 2.24%。相对同一 pipeline 下最强竞争系统,分别降低 0.30、0.78、0.16 和 0.27 个百分点;AISHELL-2 也只落后最佳结果 0.09 个百分点。

6.1 多语言结果:GigaSpeechBench 与 Common Voice 15 的宏平均领先

数据集Qwen-Audio-3.0-ASR 宏平均对比结论
GigaSpeechBench22.50%在完整覆盖的系统中最低;7 种语言中 5 种最低
Common Voice 154.57%宏平均最低;7 种语言中 6 种最低
FLEURS4.94%9 种语言中 4 种最低,整体具有竞争力
表 2:多语言宏平均结果。宏平均只统计覆盖对应全部语言的系统。

这组结果体现了论文的主要平衡:模型不是在每一种语言、每一个测试集上都绝对第一,但在跨语言覆盖面和宏平均稳定性上表现很强,尤其适合一个模型服务多个市场的场景。

七、内部工业评测:论文真正想证明的四项能力

7.1 16 种中文方言:CER 与任务一致性同时评估

方言测试覆盖 16 种方言。四川、山西、河南、济南、粤语、陕西、青岛采用 ASR 设置,要求保留目标方言;上海、南昌、宁波、客家、杭州、温州、湖南、福建、苏州采用 AST 设置,要求翻译为自然普通话。

一致性由 Qwen3.7-Max 按 0-10 分评价,分数至少为 6 才算一致。计算公式为:

\(Consistency=\frac{100}{N}\sum_{i=1}^{N}\mathbf{1}[s_i\ge 6]\)

Qwen-Audio-3.0-ASR 在 16 个方言子集中的 11 个取得最低 CER,宏平均 CER 为 9.40%,对比 Doubao-ASR 的 16.77% 和 Tencent Hy-ASR-3.0-preview 的 20.40%。在温州话上,模型 CER 为 14.22%,而两个对比系统分别为 64.63% 和 64.66%,差距尤其明显。

16 方言 CER
任务一致性率

7.2 行业实体:15 个领域全部取得最高召回

内部行业测试覆盖 15 个领域,包括 AI、医疗、农业、制造、文化体育媒体、软件与 IT 等。Qwen-Audio-3.0-ASR 在所有领域的 entity recall 都高于 Doubao-ASR 和 Tencent Hy-ASR-3.0-preview,软件与 IT 的提升最明显,因为其中包含大量低频、快速变化的软件库、框架和 API 名称。

这里需要保持严谨:论文认为实体挖掘和数据合成 pipeline 很可能是主要贡献之一,但不能据此证明所有提升都由该模块单独带来,因为 MoE 解码器、更多数据和 RL 也可能共同贡献。

15 个行业的实体召回雷达图

7.3 分层热词:P0 召回接近 99%,P1 有意保持更弱 bias

类别Qwen 无热词Qwen + 热词说明
Person names P062.12%99.43%提升 37.31 个百分点
Subject terms P069.36%99.42%高优先级词强增强
Trending buzzwords P063.08%99.46%动态热词效果明显
AI entities P088.22%99.39%接近饱和召回
Brand names P083.83%97.95%实体类别稳定提升
Product entities P072.87%99.07%长尾产品名受益明显
Subject terms P188.46%95.31%较弱 bias,避免误插词
Trending buzzwords P174.00%88.34%保守增强
表 3:Qwen-Audio-3.0-ASR 不同热词层级的召回率。

7.4 长音频上下文:把前文变成 running context cache

很多错误不是当前片段的声学信息不足,而是同音实体、文件名、技术缩写或人名需要跨句记忆。模型把同一 session 中已经识别的前序文本作为上下文,不要求人工维护完整热词表。例如前文已经确认“style.xsl”、TCC、unigram、softmax、debug 或某个人名,后续再次出现时可以抑制声学上相近但错误的替代词。

前文线索参考无长上下文有长上下文
xsltproc style.xsl input.xmlstyle.xsl data.xml > out.htmlxsl data.xml > out.htmlstyle.xsl data.xml > out.html
“这叫法条竞合”法条竞合划掉即可法条竞合
unigram 已出现两次我们称之为 unigramuniqueunigram
TCC 已被反复确认our TCC will be…our GGC will be…our TCC will be…
softmax 已出现softmax 形式softmap 形式softmax 形式
表 4:长音频上下文带来的代表性纠错。

7.5 原生单次润色:可读性接近两阶段级联

传统做法是 ASR 先输出原始转写,再调用一个 LLM 清理 filler、重复和自我纠正。Qwen-Audio-3.0-ASR 用一个 polishing flag 在同一次自回归解码中选择 verbatim 或 polished 输出。

内部 5 分制评测中,原始输出可读性为 2.53,原生润色提升到 3.44;忠实度为 3.44,与两次调用的 ASR + Qwen3.6-Plus 级联方案 3.47 接近,但只需要一次推理。代表性行为包括删除 um/uh、消除 the the the、解析 false start、补充标点并规范缩写。

7.6 流式延迟-准确率:400 ms 是一个可用折中点

随着 algorithmic latency 增加,中文 CER 和英文 WER 持续下降;非流式模式准确率最低。论文给出 400 ms 延迟点的结果:中文 CER 9.24%、英文 WER 13.38%;非流式分别为 8.03% 和 11.78%,相对错误率增加约 15.1% 和 13.6%。这说明系统可以按产品需求在响应速度和准确率之间选 operating point。

配延迟-准确率曲线,测试硬件为 NVIDIA H100

八、创新点总结:真正有价值的不是单个模块,而是组合方式

  1. MoE LLM-ASR:以 Qwen MoE 替换 Dense Decoder,在增加语言/世界知识容量的同时控制 token 级计算。
  2. 统一 instruction-controlled ASR:语言、历史上下文、热词和润色不是外挂,而是同一解码接口中的条件。
  3. 分层 P0/P1 热词:用优先级和证据约束同时优化长尾召回和错误插入。
  4. 原生单次润色:把“识别 + 可读化”放到一次生成中,减少后处理延迟。
  5. 上下文缓存式长音频建模:利用此前已确认的文本维持跨句实体一致性,不依赖人工热词维护。
  6. FunVerl-ASR 异步 RL:针对音频大模型补齐 rollout、奖励和训练的异步系统,并用复合 reward 优化真实业务目标。
  7. 流式与全上下文结合:实时给反馈,结束后再用完整音频刷新最终文本。

九、如何理解论文的实验优势

从公开 Benchmark 看,Qwen-Audio-3.0-ASR 的优势是整体均衡:中文和英文各有多个测试集领先,多语言宏平均在 GigaSpeechBench 和 Common Voice 15 上领先。从工业集看,最明显的提升集中在通用 CER/WER 难以表达的部分:方言一致性、行业实体、热词、跨句上下文和可读性。

更准确地说,论文证明的不是“每个数据集都第一”,而是“一个统一模型可以同时覆盖多种生产约束”。这对会议记录、客服质检、跨境语音输入和企业知识场景,比只看单一测试集的 SOTA 排名更有意义。

十、局限性

  • Panel A 不完全可比:官方结果可能使用不同预处理、参考文本和评分协议。作者也建议优先参考统一 API 的 Panel B。
  • 大量工业测试集未公开:15 行业实体、16 方言、润色和流式延迟的内部数据有较强应用价值,但外部研究者难以完整复现。
  • MoE 规模信息有限:论文强调稀疏激活带来的效率,但没有在报告中完整披露总参数、激活参数、专家数量和详细吞吐。
  • LLM Judge 可能引入评测偏差:方言一致性使用 Qwen3.7-Max,部分 reward 也支持 LLM Judge;这适合产品质量评估,但需要独立人工标注或跨模型验证。
  • 上下文和热词不是无条件增益:论文反复强调音频是第一证据,错误、过时或冲突的 context/hotword 不应被模型机械复制。
  • 低延迟仍有代价:低于 200 ms 的 first-token latency 与非流式准确率并非同时达到,实际部署必须根据业务选择 operating point。

十一、结语

Qwen-Audio-3.0-ASR 的核心贡献,可以概括为一句话:它把 ASR 从“音频到文字”的单一任务,升级成“音频 + 指令 + 上下文 + 业务词表 -> 可直接使用文本”的统一生成系统。

其工程路线也很清晰:用数千万小时数据建立规模基础,用 Qwen MoE 提供语言和世界知识,用 SFT 把产品控制信号统一进解码,用异步 GRPO 直接优化 CER、热词、上下文和幻觉指标,再通过 streaming/full-context 和 Message ASR 落到低延迟业务。公开基准证明了竞争力,工业测试则说明它的真正卖点在长尾实体、方言、上下文和可读性。

如果把这篇报告放到 ASR 的发展脉络里看,它的重要性不只是“又一个更大的模型”,而是尝试回答一个更实际的问题:在多语言、长音频、动态热词和低延迟约束同时存在时,能否用一个可控的音频大模型替代多套串联系统。Qwen-Audio-3.0-ASR 给出的答案是肯定的,但其内部数据、模型规模和评测可复现性仍值得后续公开与验证。

参考资料:
1. Qwen-Audio-3.0-ASR Technical Report, arXiv:2609.07549v2, https://arxiv.org/abs/2609.07549
2. Nova Speech,《最新工业SOTA转写模型:Qwen-Audio-3.0-ASR》,https://mp.weixin.qq.com/s/_jWVjU0XslOw31WPAjhEdg

MiniMax Music 3.0-音乐创作模型

MiniMax Music 3 是一种高性能的音乐创作模型,能够生成时长可达五分钟的完整歌曲。该模型基于歌词和详细的音乐描述进行创作,能够生成结构紧凑、富有表现力的歌曲,同时具备稳定的长音频质量。只需提供一个创意想法和可选的歌词,模型即可在一次生成中完成作曲、编曲、演唱与制作,创作出一首完整的歌曲。

从音乐描述、语言模型到声音渲染重新设计了整条生成链路:用细粒度时序描述呈现情绪、配器与演唱的发展,以全局—局部协作的 Hybrid-LM 兼顾长程结构和声学细节,再通过多层 RVQ、Hidden States 融合与 Flow-Matching/Flow-VAE 提升最终声音的保真度。由此带来三项核心升级:更准确地理解创作意图、更完整且富于变化的编曲,以及更清晰、更自然的声音表现。

MiniMax Music 3 模型结合了一个 8 亿参数的全局语言模型,用于构建长期的音乐结构;以及一个 0.6 亿参数的局部语言模型,用于处理帧级的声音细节。该模型还采用了基于流匹配和流变显式估计的连续隐藏状态合成系统。最终,该模型能够生成 32 kHz 采样率、16 位立体声的 WAV 音频文件。

MiniMax Music 3.0 技术解析:开放权重音乐模型如何实现完整歌曲生成

MiniMax 正式推出新一代音乐生成模型 MiniMax Music 3.0。用户只需输入一个创意想法,并根据需要提供歌词,模型便可以在一次生成中完成作曲、编曲、演唱与制作,生成最长约 5 分钟的完整歌曲。

与只追求“生成一段好听音频”的传统方案不同,Music 3.0 更关注创作者意图能否贯穿整首作品:情绪是否持续一致,乐器是否按照结构合理进入和退出,人声是否自然,歌曲是否具有完整而连贯的发展。

MiniMax 官方将 Music 3.0 定义为开放权重、生产级全能音乐模型。其核心技术路线由 Tokenizer、Hybrid-LM 和 Synthesis 三个部分组成,并通过 Structured Caption、Hidden State Fusion、Flow-Matching 和 Flow-VAE 等技术,提升音乐结构、编曲细节与声音质量。

一、Music 3.0 解决了音乐生成中的哪些难题?

音乐生成看似只需要“输入提示词、输出音频”,但真正困难的地方在于如何把抽象的创作要求转化为可持续执行的音乐结构。

  • 用户指定的乐器能否贯穿整首歌曲,而不是只在开头出现?
  • 歌曲从主歌进入副歌时,情绪是否有自然的铺垫和释放?
  • 长达数分钟的生成过程中,节奏、调性和人声是否保持稳定?
  • 复杂编曲中,鼓组、贝斯、人声和旋律乐器能否保持清晰分离?
  • 生成的人声是否具有自然的发音、换气、连贯性和情感变化?

Music 3.0 的设计目标,正是同时解决这些问题。它不仅要生成一段合理的音乐,还要尽可能实现一套完整、连贯的创作构想。

二、三层技术架构:Tokenizer、Hybrid-LM 与 Synthesis

Music 3.0 的完整生成流程可以概括为三个阶段:

  1. Tokenizer:将音乐压缩成适合模型理解和预测的多层离散表示。
  2. Hybrid-LM:同时建模歌曲的全局结构和局部声学细节。
  3. Synthesis:将语言模型理解到的音乐信息还原为高保真音频。

1. 多层 RVQ:分离音乐结构与声学细节

Music 3.0 使用八层残差向量量化(Residual Vector Quantization,RVQ)表示音乐信息。

  • 第一层主要负责音乐的核心语义和结构。
  • 第二至第八层逐步补充声学残差和声音细节。
  • 第一层使用大小为 16,384 的码本。
  • 第二至第八层分别使用大小为 1,024 的码本。

在训练过程中,模型会先单独训练第一层,使其建立稳定的音乐信息骨架,再联合训练全部八层。这样的分层设计,可以避免单层 Token 同时承担过多的结构和音质信息,也有助于降低长歌曲生成时的累计误差。

2. Hybrid-LM:全局结构与局部声学协同建模

为了兼顾长程结构和局部细节,Music 3.0 采用了全局模型与局部模型协同工作的 Hybrid-LM 架构。

  • 8B Global LLM:基于 Qwen3.5-8B 初始化,负责逐帧预测音乐语义 Token,并理解整首歌曲的上下文、结构和发展方向。
  • 0.6B Local LLM:随机初始化,负责在每一帧内部沿深度轴预测声学 Token,补充局部的音色、演奏和声音细节。

训练过程分为两个阶段。第一阶段主要建立 Global LLM 对音乐语义的预测能力;第二阶段则对 Global LLM 与 Local LLM 进行全参数联合训练。

这种“全局负责方向、局部负责细节”的分工,使模型能够在最长 5 分钟的歌曲中保持结构稳定,同时保留不同段落应有的变化。

3. Hidden State Fusion:从离散预测走向连续声音渲染

传统音乐生成流程通常会将离散声学 Token 直接送入解码器。Music 3.0 则进一步融合 Global LLM 与 Local LLM 的连续 Hidden States,并将其作为声音生成模块的条件输入。

官方公布的声音生成链路为:

LLM 融合特征 → Flow-Matching → VAE Hidden States → Flow-VAE Decoder → 最终音频

其中,2.4B Flow-Matching 模块负责将融合后的语言模型特征映射至 VAE 隐空间;123M Flow-VAE 则负责完成最终的音频解码。

相比只依赖离散 Token,连续 Hidden States 能够保留更多高维声学信息,从而改善人声发音、乐器连贯性和音乐细节表现。

三、Structured Caption:让模型真正理解创作意图

音乐提示词最大的难点,是很多听感描述并不能直接转化为可执行的生成条件。例如,“温暖但克制”“逐渐变得宏大”“像一场现场演出”等表达,对人类音乐制作人来说很直观,但对模型而言却需要更细粒度的结构化描述。

Music 3.0 使用 Structured Caption 对音乐进行细粒度的时序描述。它不仅描述曲风,还会进一步说明:

  • 速度、拍号与调性;
  • 音乐情绪如何随时间变化;
  • 主奏和伴奏乐器何时进入、叠加或退出;
  • 鼓组、贝斯和律动基础如何发展;
  • 人声的音色、唱法、气声、假声与和声;
  • 空间感、混音质感、Delay 和 Autotune 等效果。

这套描述方式将抽象的音乐感受转化为更接近专业编曲语言的生成条件,使模型能够在歌曲发展过程中维持统一的音乐身份,同时保留合理的动态变化。

Prompt Enhancement:降低专业音乐创作门槛

为了让非专业用户也能使用这些复杂的音乐描述,MiniMax 构建了基于模板的 Prompt Enhancement System。

系统可以从专业 Structured Caption 模板库中选择合适的表达,并结合音乐术语与编曲规则,将用户的一句话扩展为逻辑更完整、细节更丰富的结构化提示词。

例如,用户只需输入“做一首温暖、克制的不插电歌曲”,系统就可以进一步补充人声类型、吉他演奏方式、空间感、动态变化和混音方向,使最终结果更接近用户真正想要的作品。

四、更完整、更富于变化的长歌曲编曲

长歌曲生成并不只是把音频“延长”。真正的难点在于让不同段落之间形成合理的发展关系。

Music 3.0 支持使用段落标签描述歌曲结构,包括:

  • [intro]:前奏
  • [verse]:主歌
  • [pre-chorus]:副歌前段
  • [chorus]:副歌
  • [bridge]:桥段
  • [instrumental]:器乐段
  • [solo]:独奏段
  • [outro]:尾奏

这些标签提供宏观结构,而 Structured Caption 则进一步描述每个时间阶段中的情绪、配器、人声、节奏和空间效果。两者结合后,模型可以更好地理解“哪里应该发生什么变化”。

在模型侧,8B Global LLM 负责维护全曲上下文,0.6B Local LLM 负责补充每个时间帧内的声学细节。这样的协作机制,可以帮助歌曲保持整体方向,同时避免长时间生成中出现段落重复、编曲单一或情绪突然中断。

五、声音品质升级:更清晰的混音与更真实的乐器

Music 3.0 在声音表现方面也进行了系统升级,目标是让混音更加开阔、清晰和平衡,减少传统生成音乐中常见的拥挤与浑浊感。

多层 RVQ 负责保留从核心结构到声学细节的不同层次信息;Hidden State Fusion 则在连续特征层面连接语言模型和声音渲染模块。通过这两种方式,模型可以更准确地响应具体的乐器指令,并呈现滑音、连奏等更接近真实演奏的技法。

  • 独奏乐器的触弦、运弓和演奏细节更加清晰;
  • 鼓组和贝斯具有更明确的冲击力与层次;
  • 复杂电子编曲中的声部分离度更高;
  • 低频保持力量感,同时减少对其他声部的遮蔽;
  • 人声周围的空间感更加自然。

六、重塑自然人声:减少“机器感”

人声往往是生成音乐中最容易暴露机器感的部分。高频伪影、发音不清、乐句僵硬、不自然的换气,都会影响听众对歌曲情感的感受。

Music 3.0 通过新的声音渲染系统,对音色、唱法、气声、假声、和声以及 Delay、Autotune 等人声效果进行更细致的描述。

结合 Global LLM 与 Local LLM 的连续 Hidden States,Flow-Matching 和 Flow-VAE 可以将这些演唱信息带入最终的音频生成过程,从而改善:

  • 歌词发音的准确性;
  • 旋律线条的连贯性;
  • 主歌与副歌之间的情绪变化;
  • 呼吸和停顿的自然程度;
  • 多层和声与主唱之间的融合。

理想情况下,生成的人声可以从克制的主歌逐渐过渡到开阔的副歌,也可以根据歌曲风格完成节奏型演唱、持续旋律、气声和声等不同表达。

七、一个适合 Music 3.0 的提示词示例

如果希望获得更稳定的结果,可以参考以下结构编写提示词:

温暖的中文流行抒情歌曲,74 BPM,A♭大调。
情绪从克制怀旧逐渐发展到温暖明亮的副歌。
成熟男中音,细腻但不过度夸张的演唱,
以钢琴、木吉他、古筝和柔和弦乐为主要配器。
主歌保持留白,副歌加入鼓组和宽阔和声,
整体采用自然的现场录音室混音质感。

[Intro]
[Verse]
[Pre-Chorus]
[Chorus]
[Bridge]
[Final Chorus]
[Outro]

这个提示词同时包含了风格、速度、调性、情绪发展、人声特征、配器、混音方向和歌曲结构,通常比单独输入“生成一首温暖的中文歌曲”更容易得到稳定、可控的结果。

八、Music 3.0 对 AI 音乐创作的意义

从技术路线来看,Music 3.0 的重点并不是单一模型规模的提升,而是对音乐生成全链路进行重新设计。

  • Tokenizer 负责把音乐拆解为结构与细节;
  • Hybrid-LM 负责同时理解长程结构和局部声学;
  • Structured Caption 负责把创作者意图转化为可执行描述;
  • Hidden State Fusion 负责连接语言理解与连续声音渲染;
  • Flow-Matching 与 Flow-VAE 负责还原更高保真的最终音频。

这意味着 AI 音乐正在从“生成一个片段”逐步走向“完成一首作品”。对于音乐人、短视频创作者、游戏开发者、影视制作团队和普通用户来说,未来的重点不再只是能否生成音乐,而是能否更准确地表达创作意图,并在生成过程中保持结构、情绪和声音质量的一致性。

结语

MiniMax Music 3.0 通过多层 RVQ、Hybrid-LM、Structured Caption、Prompt Enhancement、Hidden State Fusion、Flow-Matching 和 Flow-VAE 等技术,试图解决音乐生成中最具挑战的几个问题:长歌曲结构稳定、编曲具有发展、人声更加自然,以及复杂混音中的细节还原。

它所展示的方向非常明确:音乐生成不应只是“听起来像音乐”,而应该更加接近真正的创作流程,让用户可以从一个想法出发,逐步得到一首完整、连贯并具有制作质感的歌曲。

关于模型权重、使用方式和具体开放政策,请以 MiniMax 官方最新发布页面为准。

参考资料:
MiniMax Music 3.0:新一代开放权重、生产级全能音乐模型|MiniMax 官方技术博客

ParaASR:用 MTP 加速 4B 大模型语音识别,30 分钟音频一次完成转写

个人思考

1、为什么ASR任务适合用MTP模型

核心原因是:ASR 的未来输出比开放式文本生成更确定、更容易预测,因此多 token 候选的命中率很高。ASR 输出被声学信号强约束,ASR 的目标是忠实还原音频,音频中已经包含接下来要说什么。对话生成可能同时存在许多合理答案,但 ASR 通常只有一个正确转写。未来几个 token 不需要进行开放式创作,只需沿着声学内容继续转录,因此 MTP 更容易连续猜中多个 token。ParaASR 的 MTP-5 每轮最多提出 6 个 token,其中平均接受:5.0/6,相比之下,自由文本生成容易因某个位置存在多个合理选项而提前拒绝后续候选。

2、ASR – MTP 的优势在哪?

在保证速度的情况下,可以把ASR模型做的更大。ASR 输出较长,减少解码轮数收益明显,普通 NTP 每次只能推进一个 token,而 MTP 每轮可以接受多个 token,从而显著减少大型 LLM decoder 的串行 forward 次数。大模型语言能力和实时速度可以兼得,LLM decoder 越大,语言建模、同音词消歧、专有名词和长上下文一致性通常越好,但逐 token 推理更慢。MTP 利用 ASR 的高可预测性,让大 decoder 每轮推进多个 token,缓解了模型规模和延迟之间的矛盾。

3、为什么 ASR模型的预训练还要加 纯文本/TTS/speech-to-speech/speech translation /交错 text–speech continuation 等任务?

audio-language model:音频编码器把语音映射到 LLM 能理解的表示空间,再由 LLM decoder 生成文本。它需要同时具备声学感知、语言建模、跨模态对齐和多语言能力,所以不能只训练 ASR。

训练任务学到的能力对 ASR 的价值
纯文本语言知识、语法、实体、上下文推理提高转写文本的合理性和长程一致性
ASRspeech → text学习核心转写能力
TTStext → speech/audio token加强文字与声学实现之间的双向对应
Speech-to-speechspeech → speech保留说话人、语调、情感等副语言信息
Speech translationspeech → 另一语言文本学习跨语言语义与多语言声学对齐
Text–speech continuation混合文本和语音之间的续写让两种模态进入统一序列空间并相互条件化

大语言模型正在成为自动语音识别的新型解码器:它能更好地处理同音词、标点恢复、专有名词、中英文混说和长距离上下文,但也带来了一个直接问题——解码器越大,每生成一个 token 的成本越高,长音频转写尤其容易受到延迟限制。

StepFun 团队在论文《ParaASR: Multi-Token Prediction for Fast and Long-Context LLM-Based Speech Recognition》中提出 ParaASR。它使用冻结的 0.6B 音频编码器和 4B 稠密 Transformer 解码器,并在解码器后加入五个 Multi-Token Prediction(MTP)分支,让模型每次前向计算最多提出 6 个 token,再通过自回归路径验证并接收其中正确的连续前缀。

论文报告 ParaASR 平均每次前向计算可接收 5.0 个 token,在单张 NVIDIA H800、单并发条件下达到 0.0053 的实时因子(RTF)。模型保留原生 32K 上下文,可在一次解码会话中处理最长约 30 分钟音频。其中文、英文和长音频基准平均错误率分别为 2.97%、3.68% 和 3.70%。

论文ParaASR: Multi-Token Prediction for Fast and Long-Context LLM-Based Speech Recognition
机构StepFun,合作作者来自 NTU、PKU、UNSW、SJTU、USTC
版本arXiv:2607.29279v1,2026 年 7 月 31 日
模型规模0.6B 音频编码器 + 4B LLM 解码器 + 5 个 MTP 分支
核心能力多 token 并行提议、自回归验证、32K 长上下文、最长约 30 分钟单次转写

一、研究背景:大解码器带来质量,也带来逐 token 延迟

传统 ASR 主要围绕 CTC、Transducer 或声学序列建模展开。近年来,系统逐渐转向“音频编码器 + 适配器 + 大语言模型解码器”的架构:音频编码器提取声学证据,LLM 根据音频表征和已经生成的文本继续写出转录结果。

这种架构能够借助大模型的语言知识解决许多并非纯声学的问题,例如:

  • 同音词和上下文歧义;
  • 中英文代码切换;
  • 标点恢复与逆文本规范化;
  • 人名、地名和专业术语;
  • 会议、广播等长音频中的全局一致性。

问题在于,标准自回归解码一次通常只生成一个 token。设音频为 a,此前已经生成的文本为 x≤t,则下一 token 的预测过程为:

\(p_t=P\!\left(x_{t+1}\mid a,x_{\le t}\right)\)

如果输出序列包含 N 个 token,解码器就需要大约 N 次串行前向计算。解码器从 1B 扩大到 4B 后,语言建模能力增强,但每个 token 都要支付更高的计算成本。长音频同时需要更多输出 token 和更长上下文,因此矛盾更加明显。

二、核心洞察:ASR 比开放式文本生成更适合 MTP

ParaASR 的核心判断是:语音识别并不是开放式创作。文本大模型写故事时,后续内容可能存在大量合理分支;但 ASR 的目标是忠实恢复已经存在于音频中的内容。给定音频和当前转录前缀后,局部未来具有更强的确定性。

因此,模型可以在预测下一 token 的同时,让多个辅助分支分别预测更远位置:

\(p_{t,h}=P\!\left(x_{t+1+h}\mid a,x_{\le t}\right),\qquad h\in\{1,\ldots,5\}\)

主分支负责 xₜ₊₁,五个 MTP 分支分别预测 xₜ₊₂ 到 xₜ₊₆,一次前向计算形成六 token 提议。和直接并行输出不同,ParaASR 不会无条件采纳这些未来 token,而是只接收与标准自回归路径一致的最长连续前缀。

若 MTP 提议为 ẋ,自回归验证结果为 x*,接收长度可以抽象表示为:

\(K=\max\left\{k:\hat{x}_{t+i}=x^{*}_{t+i},\ \forall i\in\{1,\ldots,k\}\right\}\)

一旦第 k+1 个提议与正常解码路径不一致,该位置及其后的提议全部拒绝,模型从已验证前缀继续自回归解码。正确预测能够减少前向次数,错误预测最多只是缩短本次接收长度,不会直接改变最终转录结果。这是论文把 MTP 称为“安全加速模块”的原因。

三、ParaASR 模型架构

ParaASR 的主干没有刻意设计得很复杂,而是在标准音频语言模型上重点改造解码路径。

模块设计作用
音频编码器0.6B Transformer,初始化自公开全模态基础模型,训练期间保持冻结提取音频声学表征
时间下采样8 倍下采样,每 80ms 产生一个声学 embedding降低长音频输入序列长度
适配器线性映射层把声学 embedding 投影到语言解码器的隐藏空间
文本解码器4B 稠密 Transformer,初始化自预训练文本 LLM根据音频和文本前缀生成转录
上下文原生 32K context支持最长约 30 分钟音频单次转写
MTP 模块5 个未来 token 分支与主分支共同提出最多 6 个 token

MTP 分支内部如何连接

每个 MTP Block 同时接收上一个分支的隐藏状态和经过位移的 token embedding。两路输入分别归一化后拼接,通过线性层恢复到解码器隐藏维度,再进入一个解码器式 Transformer Block。所有 MTP 分支与主干共享词嵌入层和词表输出头,使未来 token 提议尽可能保持与主解码器一致的语言空间。

32K 上下文与 80ms 声学 embedding 是长音频能力的基础。论文声称该组合可让模型直接处理最长约 30 分钟音频,从而避免传统“VAD 切片—逐段识别—文本拼接”带来的边界错误和跨片段实体不一致。

四、三项主要创新

  1. 把语音的确定性转化为解码并行度:论文没有单纯压缩解码器,而是利用音频对输出文本的强约束,让 4B LLM 可以一次预测多个未来 token。
  2. 多 token 提议与自回归验证结合:MTP 负责加速,标准解码路径负责最终正确性;错误提议只影响速度,不直接决定输出。
  3. 短音频精度、长音频一致性和推理速度统一训练:模型先建立可靠的自回归 ASR,再训练 MTP 分支,避免并行目标从训练初期干扰识别能力。

严格来说,MTP 和投机解码并非论文首次提出。ParaASR 的价值主要在于证明:与开放式语言生成相比,ASR 的声学锚定特性使未来 token 更容易预测,因此能够获得更高的连续接收率,并在较大解码器上实现实际的系统加速。

五、训练数据:1.356T 预训练 token、10 万小时短音频与 5 万小时长音频

1. 音频语言基础预训练

ParaASR 继承公开音频语言基础模型的分阶段预训练方案,总规模为 1.356T 文本和音频 token:

阶段数据规模目标
语音—文本对齐100B ASR token,12K steps冻结音频编码器和 LLM,仅学习音频适配器到文本 embedding 空间的映射
音频 token 扩展128B 文本 + 128B 音频 token加入 6.6K 个离散音频 token,训练 TTS、语音到语音等统一能力
统一多模态预训练800B token,其中包含 400B 文本混合 ASR、TTS、语音翻译以及文本—语音交错续写
Cooldown 与能力扩展200B 高质量 token增强副语言理解和多语种 ASR,并使用覆盖 5 万个说话人的会话式语音合成数据

2. 约 10 万小时短音频监督数据

短音频 SFT 数据由主流公开语料和大量私有数据构成,每条样本不超过 30 秒。数据覆盖普通话、英语、频繁中英文切换、主要汉语方言和地域口音,同时包含专业术语、远场录音和高噪声环境。论文称私有数据经过人工核验,以保证音频与转录的高质量对齐。

3. 约 5 万小时长音频伪标签数据

长音频数据不是直接使用单一 ASR 模型生成标签,而是采用多系统校验:

  1. 用 VAD 把原始长录音切成不超过 30 秒的语音片段;
  2. 使用三个 ASR 系统分别转写;
  3. 统一大小写、标点和表面格式;
  4. 中文按字、英文按词执行 ROVER 对齐和投票;
  5. 一个文本单元至少获得两个系统支持才被接收;
  6. 过滤分歧率超过 5% 的片段;
  7. 重新拼接相邻片段,并使用 LLM 恢复标点、执行 ITN 和统一全局实体。

论文用下面的分歧率作为伪标签可靠性代理指标:

\(\hat{e}=\frac{\#\,\mathrm{disagreed\ positions}}{\#\,\mathrm{text\ units}}\)

当 ê > 0.05 时,片段被丢弃。最后的 LLM session-level refinement 很关键:它不是只修正单个短片段,而是在整个会话范围内统一反复出现的人名、术语和实体,减少长音频拼接后的前后不一致。

六、训练流程:先做好 ASR,再训练 MTP 加速器

ASR 监督微调

训练采用对话式指令格式:system prompt 指定转写任务,user 输入音频特征,assistant 输出语言标签和转录文本。为提高噪声鲁棒性,训练集中还加入纯非语音或严重噪声输入,目标输出为非语音标签和空文本。

  • 训练序列预算:32K token;
  • 声学增强:SpecAugment 式时间遮挡和频率遮挡;
  • 音频编码器:保持冻结;
  • 优化模块:线性适配器和 4B 语言解码器;
  • 训练步数:10K;
  • 峰值学习率:2×10⁻⁵;
  • 全局 batch size:32;
  • warmup:100 steps;
  • 余弦衰减终点:1×10⁻⁶。

MTP 第一阶段:冻结主干,对齐未来分支

在已经收敛的 ASR 解码器后加入五个 MTP Block。每个 MTP Block 的 Transformer 层从解码器最后一层初始化,分支专用投影层随机初始化。此时只训练 MTP 模块,主干、共享 embedding 和 LM Head 全部冻结,峰值学习率为 2×10⁻⁴。将 lookahead path 与 recognition path 解耦,可以避免新初始化的分支向已经建立的自回归行为注入噪声。

MTP 第二阶段:联合校准

未来分支初步对齐后,模型解冻适配器和语言解码器,以更低的 2×10⁻⁵ 学习率联合优化。论文称两阶段沿用 32K 序列预算、全局 batch size 32 和 10K-step 训练配置。

该阶段进一步减小 backbone state 与 lookahead branch 之间的残余失配,使 MTP 成为经过校准的 proposal mechanism。关键是,优化始终锚定于转写目标,从而让 multitoken proposal 与 acoustic evidence 紧密耦合。

越远的 token 越难预测,因此 MTP 分支损失采用指数衰减权重:

\(w_h=\frac{\alpha^{h-1}}{\sum_{j=1}^{H}\alpha^{j-1}},\qquad H=5,\quad \alpha=0.9\)

每个位置的总目标由标准下一 token 交叉熵和五个未来 token 交叉熵构成:

\(\mathcal{L}_t=\mathrm{CE}(p_t,x_{t+1})+\sum_{h=1}^{H}w_h\,\mathrm{CE}(p_{t,h},x_{t+1+h})\)

损失只作用于转录 token。这样的分阶段设计避免随机初始化的 MTP 分支在早期破坏已经稳定的识别主干。

七、实验设置

论文从识别精度、长音频能力和推理效率三个方面评估 ParaASR。主要对比模型包括 VibeVoice-ASR、FunASR-Nano、Doubao-ASR-2603 和 Qwen3-ASR-1.7B。

  • 除 Doubao-ASR-2603 使用官方 API 外,其余模型均部署在单张 NVIDIA H800 上;
  • 推理采用单并发;
  • 不原生支持长音频的模型使用 VAD 切成最长 30 秒片段;
  • 中文使用 CER,英文与长音频使用 WER;
  • 基准覆盖 AISHELL-1/2、WenetSpeech、FLEURS、LibriSpeech、Common Voice、VoxPopuli cleaned AA 和 Earnings22 cleaned AA;
  • Wenet testnet long 由同一来源会话中的相邻片段拼接构造。

错误率的通用定义为:

\(\mathrm{ER}=\frac{S+D+I}{N}\)

其中 S、D、I 分别代表替换、删除和插入错误;中文以字符数作为 N,得到 CER,英文以词数作为 N,得到 WER。

八、识别效果:平均成绩领先,但并非每个数据集都第一

评测类别VibeVoice-ASRFunASR-NanoDoubao-ASR-2603Qwen3-ASR-1.7BParaASR
中文平均 CER10.193.663.343.172.97
英文平均 WER7.145.246.673.853.68
长音频平均 WER4.875.596.114.203.70

相对 Qwen3-ASR-1.7B,ParaASR 的中文平均错误率相对下降约 6.3%,英文下降约 4.4%,长音频下降约 11.9%。其中代表性结果包括:

  • AISHELL-1 CER:0.71%;
  • AISHELL-2 iOS CER:2.29%;
  • LibriSpeech clean WER:1.38%;
  • LibriSpeech other WER:3.16%;
  • LibriSpeech clean long WER:1.27%;
  • LibriSpeech other long WER:2.90%。

不过,“平均第一”不等于所有数据集都第一。ParaASR 在 Wenet testnet、Wenet testmeeting、Common Voice、FLEURS en、Wenet testnet long 和 Earnings22 等数据集上仍落后于部分基线。例如 Wenet testnet 上 Doubao-ASR-2603 为 4.03%,ParaASR 为 4.54%;Earnings22 上 VibeVoice-ASR 为 5.62%,ParaASR 为 6.52%。这说明 ParaASR 的优势更接近整体质量—效率前沿,而不是对所有领域实现绝对统治。

九、推理效率:4B 解码器比 1.7B 基线更快

实时因子定义为处理时间与音频时长之比:

\(\mathrm{RTF}=\frac{T_{\mathrm{inference}}}{T_{\mathrm{audio}}}\)
模型RTF相对 ParaASR
VibeVoice-ASR0.1039约慢 19.6 倍
FunASR-Nano0.0591约慢 11.2 倍
Doubao-ASR-26030.0640约慢 12.1 倍
Qwen3-ASR-1.7B0.0094约慢 1.77 倍
ParaASR0.0053基准

RTF 0.0053 意味着在论文条件下,处理 30 秒音频约需 0.159 秒。RTF 测试使用 100 条、每条 30 秒的音频。尽管 ParaASR 使用 4B 解码器,它仍比 Qwen3-ASR-1.7B 的 0.0094 更快,说明多 token 接收抵消了更大解码器的单步成本。

需要注意,Doubao-ASR-2603 通过官方 API 测试,而其他模型运行在本地 H800 上,因此这项 API 与本地部署之间的 RTF 对比并非完全同条件。

十、为什么选择 MTP-5,而不是更多分支

配置各位置接收率平均接收长度
MTP-30.96 / 0.88 / 0.803.6 / 4
MTP-50.95 / 0.88 / 0.80 / 0.71 / 0.645.0 / 6
MTP-70.96 / 0.88 / 0.80 / 0.72 / 0.65 / 0.59 / 0.536.1 / 8

从 MTP-3 增加到 MTP-5,平均接收长度从 3.6 提升到 5.0,增长约 39%;继续增加到 MTP-7,平均接收长度只提高到 6.1,增幅约 22%。越靠后的 token 接收率越低,第七位置只有 0.53。

生产推理中,较远位置预测失败会造成 KV Cache 回滚并打断连续解码,分支数量过多的维护成本可能抵消额外接收的少量 token。因此论文最终选择 MTP-5 作为并行度、接收率和工程复杂度之间的平衡点。

十一、消融实验:MTP 基本不改变识别精度

类别不使用 MTPMTP-5变化
中文平均 CER3.003.000.00
英文平均 WER3.833.87+0.04
长音频平均 WER3.633.69+0.06

配对消融显示 MTP-5 引起的平均波动不超过 0.06 个绝对百分点。这与验证机制相符:MTP 猜对时加速,猜错时缩短接收前缀,最终输出仍由验证后的自回归路径决定。

但论文中有一个值得注意的呈现问题:表 4 的 MTP-5 数值与表 1 最终 ParaASR 的个别结果并不完全一致,例如表 1 的 VoxPopuli 为 2.76%,表 4 为 3.69%;表 1 的 FLEURS zh 为 2.63%,表 4 为 2.76%。这可能意味着消融使用了独立的配对 checkpoint 或不同实验产物,但论文没有明确解释。因此,表 4 适合用来观察“加入 MTP 前后”的相对变化,不宜与表 1 的最终模型逐项拼接。

十二、论文的价值与局限

值得肯定的地方

  • 抓住了 ASR 的任务特性:音频为未来 token 提供强约束,使 MTP 比开放式生成更容易获得长连续接收前缀。
  • 没有用小模型换速度:ParaASR 保留 4B 解码器的语言能力,通过减少串行步数提高吞吐。
  • 训练流程风险较低:先训练可靠 ASR,再分阶段加入 MTP,避免辅助目标破坏主干。
  • 兼顾长音频:32K 上下文、80ms 音频表征和 5 万小时长音频监督共同服务于会话级一致性。
  • 实验不只报告精度:同时给出 RTF、逐位置接收率、平均接收长度和配对消融。

仍需谨慎看待的地方

  • 论文使用大量私有数据,约 10 万小时短音频中公有与私有数据的具体比例没有披露。
  • 摘要页面没有给出代码、模型权重或完整数据发布地址,关键结果暂时难以由外部团队完整复现。
  • 4B 文本解码器的具体基础模型名称没有明确披露,音频编码器只说明初始化自公开全模态基础。
  • Doubao API 与本地 H800 的效率结果不在完全一致的硬件和服务链路下。
  • “最长 30 分钟一次转写”是重要能力,但论文没有单独展示不同音频长度下的显存、吞吐、延迟和错误率曲线。
  • 平均成绩领先,但在部分领域和数据集上仍落后于其他模型,实际部署仍需按目标场景复测。

结语

ParaASR 的核心贡献不是简单地给 ASR 换上一个更大的 LLM,而是重新处理“大解码器质量高、逐 token 推理慢”的矛盾。它利用语音转写的确定性,同时预测多个未来 token,再由自回归路径验证,使一次 4B 解码器前向计算平均输出 5.0 个已验证 token。

从论文结果看,MTP-5 几乎没有改变识别错误率,却把系统 RTF 降到 0.0053,并保留 32K 长上下文和最长约 30 分钟的单次转写能力。这说明在语音识别这类有外部输入强约束的生成任务中,模型规模与推理速度并不必然冲突:只要未来 token 足够可预测,并且存在可靠验证路径,大模型也可以通过提高单步有效输出量实现低延迟服务。

下一步真正决定 ParaASR 影响力的,将是模型与代码是否开放、外部团队能否复现 RTF 和长音频结果,以及它在电话、会议、方言、强噪声和专业领域中的实际稳定性。