Confucius4-R2T2:让语音识别学会何时输出、何时等待

摘要:流式 ASR 的难点不只是“尽快识别”,还包括决定哪些文字已经足够可靠、可以提交给字幕、翻译或语音智能体,以及哪些内容应该继续等待。网易有道开源的 Confucius4-R2T2(Real Real-Time Transcription)以 Qwen3-ASR-1.7B 为基础,通过 Longest Stable Prefix(LSP,最长稳定前缀)学习和显式 Wait token,把“何时输出”变成模型训练目标。模型只追加已经提交的前缀,不回改已发布文本,同时通过 chunk size 和暂留 token 数 U 调整质量与延迟。

一、流式 ASR 为什么会“闪烁”

离线 ASR 可以等待完整语句,再利用完整上下文生成结果;流式 ASR 只能根据当前已经收到的声音逐步输出。比如用户说 I have two cats,系统可能先输出 I have to,随后变成 I have too,最后才确定为 I have two cats。对人类字幕来说这是文字闪烁,对下游系统来说则可能导致翻译、检索、工具调用或 LLM 推理重复执行。

R2T2 要求所有时刻的对外输出满足前缀单调性:如果 yt 是时间 t 的已发布文本,那么任意更晚时刻 t’ 都必须满足:

\(y_t\preceq y_{t’}\)

也就是说,后续文本只能在末尾追加,不能修改早先已经发布的字符或 token。

二、R2T2 的核心定位

  • 基础模型:Qwen3-ASR-1.7B。
  • 后训练数据:约 1,500 小时中英文语音,约 600,000 条样本,中文和英文各 300,000 条。
  • 训练组件:冻结音频编码器和 projector,只训练语言解码器。
  • 架构变化:不增加预测头,不做因果化编码器,不使用额外的因果 attention mask。
  • 流式 chunk:支持 80 ms 到 2 s;主实验使用 160 ms。
  • 输出策略:稳定前缀只追加;不稳定的尾部由 Wait 或内部暂留机制处理。
  • 部署形态:支持 vLLM、Transformers 离线推理、llama.cpp 和 WebSocket 流式服务。

R2T2 的思想不是把基础模型完全改造成因果 ASR,而是保留全上下文模型的声学能力,再让解码器学习在不完整音频下做“提交/等待”决策。

三、基础架构:Qwen3-ASR-1.7B 上只改解码器

Qwen3-ASR-1.7B 由 Qwen3-1.7B 语言模型、音频 projector 和 AuT 音频编码器组成。AuT 编码器约 300M 参数,隐藏维度 1,024,对 128 维 log-Mel/Fbank 特征进行 8 倍 CNN 下采样,输出约每 80 ms 一个音频位置,即 12.5 Hz。

模块R2T2 处理原因
音频编码器冻结保留预训练的双向声学表示
Projector冻结保持声学表示到语言模型输入空间的映射
语言解码器训练学习 LSP 内容、Wait 和发射时机
额外预测头不增加Wait 与文本 token 共用词表
因果化编码器不做保留双向注意力和全上下文识别能力

这种设计的代价是活动窗口在新音频到达时仍需重新编码;收益是避免重新训练因果编码器和重新建立完整的声学-文字对齐。

R2T2 模型与流式推理框架图

四、Longest Stable Prefix(LSP)是什么

常规 ASR 训练只有“音频-完整转写”配对,并没有标注模型在某个中间时刻可以提交到哪里。R2T2 先让基础模型逐步读取音频前缀,再用模型完整听完音频后的输出作为锚点。

设完整音频为 x,同一模型听完整音频得到:

\(\bar y=M(x)\)

只听到时间 t 的音频前缀时,模型输出:

\(y_t=M(x_{\le t})\)

LSP 定义为:在此前已经产生的完整输出中,最长的、同时也是完整输出 \bar y 的前缀:

\(L_t=\operatorname{LSP}(M,x,t)=\bar y_{1:m_t}\) \(m_t=\max_{j\le t}n_j\mathbf{1}[y_j\preceq\bar y],\qquad n_j=|y_j|\)

这里的关键是“完整输出过”。如果某次模型输出 I have too,不能把它人工截成 I have 当成一条新的 LSP;只有模型此前完整输出过 I have,它才具有 model-admissible 性。

4.1 为什么 LSP 会单调增长

随着更多音频到达,已经确认的 LSP 只会保持不变或变长,不会缩短。最终完整音频时,LSP 等于模型完整输出。它的稳定性不是来自“把当前结果截掉几个词”,而是来自对模型历史输出的严格筛选。

需要特别注意,LSP 锚定的是模型自己的完整音频输出,不是人工参考文本。因此 LSP 主要负责稳定性与提交时机;模型听完整音频仍然识别错误时,LSP 也可能忠实地稳定输出错误内容,准确率必须另用 WER/CER 评估。

五、Wait 标签:把“继续输出”与“先等待”分开

研究者每隔 80 ms 把更长的音频前缀送入教师模型,记录输出等于 LSP 的稳定区间。连续稳定端点合并为:

\(I_i=[s_i,e_i]\)

训练时随机选择切点 t,只保留 x≤t,模拟在线识别。如果切点位于稳定区间,则目标是稳定前缀;如果切点落在稳定区间之间,则目标是在 LSP 后面追加 Wait:

\(y_t^*=\begin{cases}LSP(M,x,t),&\exists i:s_i\le t\le e_i\\LSP(M,x,t)\oplus Wait,&\text{otherwise}\end{cases}\)

Wait 是普通词表中的一个特殊 token,不是额外的二分类头。模型因此同时学习:

学习目标问题输出
内容决策现在可以提交哪些文字文本 token
时机决策当前信息是否足够Wait token

这也是 R2T2 与“把当前截断音频强行完整转写”的重要区别:R2T2 的目标是预测当前条件下最终转写的安全前缀,而不是猜测截断句子的完整尾部。

“I have to / I have too / I have two” 的稳定区间和 Wait 标签图

六、Streamability:选择适合流式改造的基础模型

streamability 衡量模型在音频逐渐到达时,LSP 增长得有多快。对每个时刻,先统计平均 LSP 长度:

\(l(M,t)=\frac{1}{|N(t)|}\sum_{x\in N(t)}|LSP(M,x,t)|\)

还可以将音频进度和 LSP 长度归一化:

\(\tau_{x,t}=\frac{t}{|x|},\qquad\bar l_{x,t}=\frac{|LSP(M,x,t)|}{|M(x)|}\)

再对归一化曲线求面积:

\(s(M)=AUC(\bar l(M,\tau))\)

在 1,860 条 Buckeye 英语语句上,Qwen3-ASR-1.7B 的归一化 streamability 为 0.493,在比较模型中最高。它表示这个基础模型更容易从完整上下文转换成稳定前缀流式模型,不等于真实设备上的端到端延迟。

不同模型的 streamability 曲线与 AUC

七、训练数据与增强

项目配置
数据规模约 1,500 小时、600,000 条中英文语音
语言比例中文 300,000 条,英文 300,000 条
公开数据SFT 和 GRPO 不使用公开训练数据,评测集不进入后训练
特征10 ms Fbank hop,128 维 log-Mel
编码器帧间隔80 ms,12.5 Hz
噪声 SNR10-35 dB
纯噪声替换10%
混合噪声30% 条件概率
混响40%,其中 90% 真实 RIR、10% 模拟 RIR
语言标签翻转10%

增强针对流式 ASR 的实际失败模式:纯噪声或无语音时的幻觉、噪声和混响下的识别退化、语言标签错误导致的语言跑偏,以及短音频前缀导致的过早续写。语言标签翻转让模型更依赖实际声学内容,而不是无条件相信提示。

八、两阶段后训练:SFT + GRPO

8.1 SFT

SFT 使用 LSP 转写和 Wait 目标的交叉熵。训练 1 个 epoch,Fused AdamW,初始学习率 1e-5,2% warmup 后线性衰减,有效全局 batch size 为 64;只更新语言解码器,音频编码器和 projector 冻结,LoRA 不启用。

  • 10% 样本使用完整 utterance 和完整转写,保持离线识别能力。
  • 90% 样本随机取音频前缀。
  • 前缀切点中,50% 位于 LSP 稳定区间,学习输出稳定文字。
  • 另外 50% 位于稳定区间之间,学习输出 LSP + Wait。
  • 音频注意力窗口随机取 1-8 秒,窗口内保持双向注意力。

8.2 GRPO

GRPO 从 SFT 模型开始,对每个 prompt 采样多个流式轨迹,使用组内相对奖励优化质量和等待行为。轨迹可以跨越 1、2 或 4 个流式 turn,使模型接受更多音频后仍能被评估。

奖励项权重主要作用
CER0.300主要字符级识别信号
Precision0.150惩罚错误插入
Length0.150惩罚过长续写
Repetition0.125抑制重复字符和重复片段
Language Consistency0.150保持中文/拉丁字符构成与目标一致
Tail0.050惩罚稳定区间内的尾部冗余
Word Accuracy0.050评价稳定区间内局部词/字准确性
Cut Marker0.025监督 Wait 是否存在以及位置是否正确

加权奖励经过空输出、精确匹配和退化输出等特殊规则后,使用:

\(R(y_t,y_t^*)=\tanh(3R_{raw}(y_t,y_t^*))\)

这些奖励共同抑制:没有足够声音时继续编造、重复输出、语言跑偏、把 Wait 放在文本中间、在稳定区间外输出未经支持的尾部。论文指出,单个奖励分量的独立作用仍需要受控消融,不能把全部收益归因于某一个奖励。

九、流式推理的四项优化

编码器每 80 ms 产生一个位置;主实验使用 160 ms chunk,因此每条流每秒约更新 6.25 次。为了让每次更新及时完成,R2T2 使用四项优化。

9.1 编码器缓存

推理时使用不重叠的 8 秒窗口。完整窗口的编码结果不再依赖未来音频,可以缓存;每次只重新编码正在增长的活动窗口。活动窗口最多约 100 个 80 ms 位置。

9.2 Wait 终止解码

每轮 pre-fill 后的第一个预测就是当前动作。如果预测为 Wait,本轮立即结束,不再执行串行 token 解码;如果不是 Wait,才继续生成,直到遇到 Wait 或 EOS。静音或信息不足的更新因此只需要一次 pre-fill。

9.3 有界上下文

只缓存完成窗口仍会让上下文不断变长。R2T2 只保留最近 W 个完成窗口和当前活动窗口,驱逐更早窗口及其之前已经提交的文本。上下文上限为:

\(8(W+1)\text{ 秒}\)

主实验使用 W=1,相当于一个最近完成窗口加一个活动窗口,约 16 秒音频上下文。

9.4 Pre-fill verification

当 U>0 时,上次生成但尚未提交的最后 U 个 token 作为可变后缀。新音频到达后,pre-fill 已经计算主模型在这些位置的新预测。系统保留与新预测一致的最长前缀,在第一个分歧处截断 KV cache,用新 token 替换,再继续解码。这相当于把暂留后缀当作 draft,用主模型 pre-fill 做局部核验;已经提交的前缀永远不回改。

prompt head、完成窗口、活动窗口、已提交文本和可变后缀的更新布局图

十、U 参数:质量优先还是延迟优先

配置含义典型取舍
U=0不额外暂留 token延迟更低,错误率略高
U=1最后一个 token 暂留内部质量优先,等待少量更多上下文
U=5暂留最后五个 token基础模型 2 s 参考配置,延迟更高

U 不代表固定毫秒数。同一个 token 在不同语言、语速和 BPE 分词下对应的音频时长不同。它是“暂留 token 数”的控制旋钮,而不是严格的时间延迟参数。

十一、实验结果:流式质量接近离线模型

配置13 个测试集宏平均错误率解释
基础模型,完整音频5.15%离线全上下文参考
基础模型,2 s,U=55.25%准确率参考,发射更晚
基础模型,160 ms,U=121.01%小 chunk 下明显退化
R2T2,160 ms,U=15.76%质量优先
R2T2,160 ms,U=06.40%延迟优先
X-ASR,160 ms8.97%开源对比配置
AssemblyAI,160 ms8.27%商业 API 对比
Commercial A,160 ms6.23%商业 API 对比
Commercial B,160 ms6.01%商业 API 对比

160 ms、U=1 时,R2T2 在表中列出的全部中英文测试集上优于基础模型同条件配置,宏平均错误率从 21.01% 降到 5.76%,相对下降约 72.6%。与基础模型完整音频的 5.15% 相比,仅差约 0.61 个百分点。R2T2 在纳入排名的流式配置中取得最低综合错误率,但并非每个单独测试集都超过所有商业系统。

评测集包含英文 AMI、Giga-clean、LibriSpeech、VoxPopuli、Earnings22、TED-LIUM、EN-RealSI,以及中文 Wenet-net、Wenet-meeting、SPEECHIO-06、SPEECHIO-07、CN-RealSI。英文使用 WER,中文使用 CER,每个数据集等权计算宏平均。

图片占位(论文 Table 3,ID:tab:main-recognition-comparison;论文 Figure 5,

11.1 跨语言迁移结果

虽然 R2T2 后训练只使用中文和英文,但在另外 10 种语言的 18 个测试集上,160 ms、U=1 的错误率都低于基础模型同条件配置,宏平均从 30.75% 降到 8.40%。这些语言包括阿拉伯语、德语、西班牙语、法语、日语、韩语、葡萄牙语、俄语、泰语和越南语。这个结果说明模型学到了一部分与“稳定前缀和等待”有关的通用能力,但不应被理解为这些语言都经过了专门后训练。

十二、发射延迟如何计算

论文使用回溯性发射延迟(retrospective emission lag)。对齐后,一个正确识别单位的延迟为:

\(\mathrm{Lag}=t_{\mathrm{first\ permanently\ stable\ output}}-t_{\mathrm{aligned\ acoustic\ end}}\)

该指标只统计 Levenshtein 对齐后正确匹配的英文词或中文字符,排除高错误率语句;沿音频时间轴计算,不包含推理计算、排队、网络和界面渲染时间。因此它不是服务器端端到端响应延迟,而是“如果系统能跟上音频,正确文字多久变成永久稳定前缀”的指标。

160 ms、U=1 的平均回溯性延迟约为英文 0.76 秒、中文 0.75 秒;U=0 时英文约 0.42 秒、中文约 0.53 秒。进一步使用 80 ms、U=0 时,中英文平均延迟都可以低于 0.5 秒,但识别错误率继续上升。

chunk size、U 与识别错误率/发射延迟的折中曲线

十三、R2T2 与普通“不断改写”流式 ASR 的区别

方案模型中是否学习提交时机已经发布文本下游系统
滚动重解码通常没有可能回改需要 diff、撤销和重复处理
Local Agreement/Hold-n主要是外部提交规则提交后可不回改稳定,但模型自身不一定知道何时等待
R2T2LSP + Wait 直接训练只追加、不回改可直接消费 finalized prefix
因果交错模型通过因果结构约束通常不回改需要重新训练编码器和解码器

R2T2 的关键不是简单把输出尾部截掉,而是让模型在生成过程中学会:当前信息不足时不要猜,直接 Wait;当前前缀稳定时才提交。

十四、开源使用方式

官方仓库提供 vLLM、Transformers 离线推理、llama.cpp 和 WebSocket 服务器。模型权重位于 Hugging Face,GGUF 权重位于 Confucius4-R2T2-GGUF。

git clone https://github.com/netease-youdao/Confucius4-R2T2.git
cd Confucius4-R2T2
conda create -n confucius4-r2t2 python=3.12 -y
conda activate confucius4-r2t2
pip install -e .
./run_example.sh /path/to/audio.wav \
  --model_path /path/to/Confucius4-R2T2 \
  --infer_mode stream_vllm \
  --language Chinese \
  --chunk_size_ms 160
参数含义
chunk_size_ms流式 chunk,支持 80 ms-2 s
unfixed_token_numU,1 偏质量,0 偏延迟
lookahead_ms首轮更新使用的额外音频缓存
context主题、词汇或热词提示
languageChinese、English 等语言提示

14.1 Python 流式接口的关键语义

state = asr.init_streaming_state(
    context="",
    language="Chinese",
    unfixed_chunk_num=0,
    unfixed_token_num=1,
    chunk_size_sec=0.16,
)

_, committed_text = asr.streaming_transcribe(seg, state, max_new_tokens=4)
asr.finish_streaming_transcribe(state)

官方示例强调:如果下游系统要求文字不可回改,应使用 finalized prefix;当前 hypothesis 可能还包含内部暂留尾部。最终 flush 后再读取完整文本。

14.2 WebSocket 服务

仓库提供 ws_server.py 和示例客户端,端点为 /asr_stream_api_v1。客户端发送 16 kHz、单声道、int16 PCM 二进制帧,参考帧约 160 ms;结束时发送 YOUDAO_ONETIME_ASR_STREAM_EOS。服务端返回 JSON,msg.text 是相对于上一条消息的新增增量片段,客户端可将其追加获得完整转写。

十五、总结:R2T2 真正解决的是什么问题

R2T2 的核心不是让 ASR 在每个时刻都给出一个“完整猜测”,而是让模型学习当前音频已经支持到哪一个安全前缀。能够确认时输出文字,不确定时输出 Wait;已经发布的文字永远不回改。

技术路径可以概括为:

\(\text{Qwen3-ASR-1.7B}+\text{LSP labels}+\text{Wait supervision}+\text{SFT}+\text{GRPO}+\text{cache optimizations}\rightarrow\text{stable-prefix streaming ASR}\)

在 160 ms chunk、U=1 的质量优先模式下,R2T2 把流式识别错误率从基础模型的 21.01% 降到 5.76%,接近基础模型完整音频的 5.15%;在 U=0 或更小 chunk 下,又可以换取更低的发射延迟。对需要持续消费文本的字幕、同传和语音智能体来说,这种“只追加输出”的接口比单纯追求最终 WER 更接近真实生产需求。

详解 ASR 投机解码:以 NVIDIA Nemotron 3.5 Transcribe 为例

摘要:自动语音识别(ASR)通常由语音编码器把音频转换成声学表示,再由语言模型逐 token 生成转写文本。自回归解码的主要瓶颈是:每生成一个 token,都要等待前一个 token 的结果。投机解码(Speculative Decoding)引入一个更便宜的草稿路径,先提出多个候选 token,再让主模型一次性验证这些候选。通过的前缀直接接受,发生分歧的位置由主模型纠正,后面的草稿丢弃并从新的正确前缀重新生成。

本文以 NVIDIA Nemotron 3.5 Transcribe 相关资料为主,结合其 MTP(Multi-Token Prediction,多词元预测)模块、可选的 DFlash2 草稿模型、NeMo SpeechLM 实现、vLLM 核验逻辑、Hugging Face Assisted Generation 和原始投机解码论文,解释 ASR 投机解码为什么可以加速、核验如何并行、缓存如何回退、音频表示到底是什么,以及这种方法的适用边界。

阅读约定:文中的英文示例为了说明机制,把一个英文单词暂时当作一个 token。真实系统通常使用子词、标点和特殊 token,不能把示例中的“词”直接等同于模型 tokenizer 的 token。

一、先给结论:投机解码到底改变了什么

投机解码并没有把主模型换成一个不可靠的小模型,也不是让草稿模型直接决定最终转写。它改变的是生成调度方式:

  • 普通解码:主模型生成一个 token,等待结果,再生成下一个 token。
  • 投机解码:草稿模型或草稿模块先提出一段候选,主模型一次计算这段候选各位置的概率,再按顺序接受能够通过核验的前缀。
  • 出现分歧:主模型保留最终决定权;错误位置由主模型的选择替换,依赖错误前缀的后续草稿全部丢弃。
  • 没有分歧:如果整段候选都被接受,主模型还可能额外提供一个 bonus token。

因此,在正确实现的贪心投机解码中,最终输出应当与主模型逐 token 贪心解码一致,或者在数值实现存在微小差异时非常接近。它优化的是速度,不是把主模型变成“听得更准”的模型。输出与真实录音是否完全正确,仍然取决于模型本身的识别能力。

二、Nemotron 3.5 Transcribe 使用哪些草稿路径

相关资料介绍了两条草稿路径:

草稿路径基本方式特点最终决策者
MTP(Multi-Token Prediction)模型内部的多词元预测模块提出后续 token可以重复调用同一个模块生成多个草稿位置主模型
DFlash2独立提供的草稿模型提出候选序列可以并行提出一组候选主模型

两者的共同点是:草稿只负责提出候选,主模型仍然必须核验。草稿模型越便宜、越容易提出与主模型一致的候选,接受率就越高,投机解码越可能带来收益。

三、Q1:ASR 中的投机解码具体怎么做

假设录音内容是:

Please turn on the lights.

系统已经确认的文字是:

Please

草稿路径提出三个候选:

turn off the lights
草稿 token主模型核验处理结果
turn主模型也选择 turn接受
off主模型更倾向于 on拒绝,并替换为 on
the是在 off 条件下预测的本轮丢弃
lights依赖错误的 off 前缀本轮丢弃

本轮确认结果为:

Please turn on

为什么后面的 the lights 不能直接保留?因为它们是在错误前缀 Please turn off 的条件下计算出来的。正确的下一轮必须从:

Please turn on

重新提出草稿。投机解码接受的是“从当前正确前缀出发仍然有效的最长前缀”,而不是把草稿整段当成一个不可拆分的答案。

3.1 贪心核验的形式化表示

设当前已确认前缀为 c,草稿模型提出:

\(D=(d_1,d_2,\ldots,d_K)\)

主模型在相应位置给出自己的贪心选择:

\(M=(m_1,m_2,\ldots,m_K,m_{K+1})\)

从左到右找到第一个不一致位置:

\(j=\min\{i:d_i\ne m_i\}\)

则保留:

\(d_1,d_2,\ldots,d_{j-1}\)

并在第 j 个位置使用主模型的 m_j。如果所有草稿都匹配,主模型还可能输出第 K+1 个 bonus token。

实际 tokenizer 可能把一个单词拆成多个子词,因此这里的“第一个不一致位置”通常是 token 位置,而不一定是人眼看到的完整单词边界。

四、Q2:每轮核验都要重新运行音频编码器吗

通常不需要。投机解码真正节省时间的前提,就是不要因为每一轮多提出几个 token,就把整条“音频 → 编码器 → 解码器”流水线从头运行一遍。

初始处理大致是:

音频
  ↓
语音编码器和适配器
  ↓
声学 embedding
  ↓
语言模型 prefill
  ↓
保存解码上下文

之后的草稿核验主要运行语言模型解码部分。已经处理过的音频和文字上下文通过缓存继续发挥作用,典型状态包括:

  • Transformer 注意力层的 KV cache;
  • Mamba 层的循环状态;
  • 已经确认文字对应的历史状态;
  • 与当前录音相关的音频前缀表示。

NeMo 的实现把音频处理接口与语言模型 forward 分开。长录音可以在编码器内部进行分块处理,但这和投机解码中的“每一轮都重新编码音频”是两回事。关键点是:同一轮草稿和核验不应重复从头计算已经完成的音频编码。

4.1 拒绝后为什么需要缓存回退

假设草稿是:

Please turn off the lights

主模型在 off 处拒绝并改成 on。那么后面的 the lights 不能继续使用。缓存也必须回到确认的前缀:

Please turn on

注意力层可以调整 KV cache 的有效末尾;Mamba 层的循环状态则需要专门的回退机制。论文资料提到 ReplaySSM,通过“状态检查点 + 最近输入缓冲区”支持 Mamba 状态回退。没有回退,模型就可能错误地保留已经被拒绝 token 对内部状态造成的影响。

4.2 bonus token 的隐藏状态细节

一个容易忽略的实现细节是:主模型根据前一个位置的 logits 选出的纠正 token,虽然已经可以加入最终输出,但它自己的隐藏状态通常还没有在同一轮中完整计算出来。这个 token 往往会作为下一轮的起始输入,继续经过模型处理。

因此,“已经输出了 token”与“这个 token 的隐藏状态已经被写入全部缓存”不是完全相同的概念。投机解码实现必须同时管理:

  • 最终接受了哪些 token;
  • 哪些 token 的 logits 已经计算;
  • 哪些 token 的隐藏状态已经写入缓存;
  • 拒绝后缓存需要回退到哪里。

五、Q3:主模型仍然要计算,为什么还能加速

投机解码不是减少所有主模型计算,而是把原本无法并行的多次小步计算,重排为一次包含多个位置的成块计算。

普通自回归解码投机解码
主模型选择 token 1草稿路径先提出 token 1、2、3
主模型读取 token 1 后再选择 token 2主模型一次核验多个候选位置
主模型读取 token 2 后再选择 token 3按因果遮罩分别计算每个位置
每一步单独启动解码计算多个位置共享权重访问和算子执行

加速来源主要包括:

  • 一次成块计算可以服务多个 token 位置;
  • 减少重复的 kernel launch 和调度开销;
  • 多个位置共享模型权重访问;
  • GPU 更擅长处理具有规则形状的矩阵运算;
  • 把原本串行的部分依赖转换成“候选先给出、主模型并行核验”。

这里的“权重读取”主要指 GPU 显存到计算单元之间的数据移动和相关缓存访问,不是每生成一个 token 都从硬盘重新读取模型文件。模型权重通常已经驻留在 GPU 显存或相关设备内存中。

5.1 一个示意性时延例子

下面的数字是解释机制的假设,不是 NVIDIA 实测结果。假设希望确认 4 个 token:

步骤普通解码投机解码
生成草稿不单列3 ms
主模型计算4 × 10 ms = 40 ms一次成块核验:14 ms
接收、回退和缓存处理计入每一步1 ms
总时间40 ms3 + 14 + 1 = 18 ms

示意加速比为:

\(\mathrm{Speedup}=\frac{40}{18}\approx 2.2\times\)

这个例子说明:一次核验 4 个位置的成本可能高于单步 10 ms,但只要远低于连续执行 4 次单步,整体仍然可以变快。反过来,如果草稿质量差、拒绝频繁,草稿成本和核验成本无法被接受 token 摊薄,投机解码可能没有收益,甚至变慢。

5.2 什么时候会变慢

  • 草稿模型本身太慢;
  • 草稿与主模型差异太大,接受率低;
  • 每轮核验产生大量被拒绝 token;
  • 缓存回退和拒绝处理成本较高;
  • GPU 已经被其他请求的 batch 填满;
  • 核验块形状不适合当前硬件或算子实现;
  • 短音频中编码器和 prefill 占比过高,解码加速无法覆盖总成本。

六、Q4:投机解码会加速音频编码器吗

投机解码直接加速的是自回归文字生成阶段,不会自动让音频编码器变快。

可以把一次请求的耗时粗略写成:

\(T_{\mathrm{total}}=T_{\mathrm{audio\ encoder}}+T_{\mathrm{prefill}}+T_{\mathrm{text\ generation}}\)

投机解码主要影响最后一项。加入草稿和核验后,文字生成阶段的实际时间可以写成近似形式:

\(T’_{\mathrm{total}}\approx T_{\mathrm{audio\ encoder}}+T_{\mathrm{prefill}}+\frac{T_{\mathrm{text\ generation}}}{s}\)

其中 s 是把草稿、核验、缓存处理等开销全部算进去后的文字生成加速比。

例如,假设原始请求总时间为 100 ms,其中音频编码和 prefill 占 50 ms,文字生成占 50 ms。即使投机解码把文字生成从 50 ms 降到 25 ms,总时间也只是从 100 ms 降到 75 ms,整体加速约为:

\(\frac{100}{75}\approx 1.33\times\)

所以“解码阶段 2 倍加速”不等于“端到端请求 2 倍加速”。编码器量化、CUDA Graph、批处理和音频分块优化可以进一步降低总时间,但它们属于其他优化手段。

七、Q5:投机解码是不是 batch inference

两者都利用了成块计算,但“成块的对象”不同。

比较项普通请求批处理投机核验
一起处理的对象多条独立请求同一条转写序列中的多个候选位置
请求之间是否独立通常相互独立位置之间存在因果依赖
候选是否提前知道每条请求有自己的输入草稿路径提前提供未来 token
遮罩要求按 batch 样本隔离需要因果遮罩和顺序接收规则

因此,单条请求也可以使用投机解码;外层仍然可以同时对多条音频请求做 batch。两种优化可以叠加,但如果普通 batch 已经把 GPU 利用率推得很高,投机核验额外增加的计算可能反而减少收益。

八、Q6:为什么历史变长,矩阵仍然可以写成 [4,H] × [H,H]

关键是区分:

  • 表示宽度:每个 token 用多少维向量表示,记作 H;
  • 历史长度:当前 token 可以访问多少个过去位置,表现为序列长度和 KV cache 长度。

假设最后一个已确认 token 为 c,草稿为 d_1,d_2,d_3,本轮输入为:

\([c,d_1,d_2,d_3]\)

若每个位置的隐藏向量宽度为 H,本轮输入表示为:

\(X\in\mathbb{R}^{4\times H}\)

线性层可以做:

\([4,H]\times[H,H]\rightarrow[4,H]\)

这只是逐位置的线性变换,并不表示每个位置只能看到 4 个位置。历史长度真正进入注意力计算。

8.1 注意力中的历史长度

设在 c 之前已经缓存了 N 个位置,这些位置可能包括:

  • 音频 embedding;
  • 任务指令;
  • 更早的确认文字;
  • 系统提示和其他固定前缀。

对一个注意力头,设头维度为 d_h:

\(Q\in\mathbb{R}^{4\times d_h},\qquad K,V\in\mathbb{R}^{(N+4)\times d_h}\)

注意力分数为:

\(S=\frac{QK^{\mathsf T}}{\sqrt{d_h}}+M\)

其中:

\(QK^{\mathsf T}:[4,d_h]\times[d_h,N+4]\rightarrow[4,N+4]\)

最后通过:

\(O=\operatorname{softmax}(S)V\)

得到:

\([4,N+4]\times[N+4,d_h]\rightarrow[4,d_h]\)

所以,历史变长主要体现在 N+4 这个维度和缓存大小上;每个 token 的表示宽度仍然是固定的 H。

九、Q7:是不是共用一段物理上下文,再用因果遮罩选择有效历史

可以这样理解。缓存中的 K/V 存储范围相同,但不同查询行通过因果遮罩看到的有效前缀不同。

查询行允许访问的内容预测内容
c音频/指令/历史缓存 + cd1
d1音频/指令/历史缓存 + c + d1d2
d2音频/指令/历史缓存 + c + d1 + d2d3
d3音频/指令/历史缓存 + c + d1 + d2 + d3bonus token 或后续 token

可形式化为:

\(p_1(w)=P_{\mathrm{main}}(w\mid A,C)\) \(p_2(w)=P_{\mathrm{main}}(w\mid A,C,d_1)\) \(p_3(w)=P_{\mathrm{main}}(w\mid A,C,d_1,d_2)\) \(p_4(w)=P_{\mathrm{main}}(w\mid A,C,d_1,d_2,d_3)\)

其中 A 表示音频和指令上下文,C 表示已经确认的文字。

最关键的是“输入和预测错开一位”:

  • c 所在行预测 d1;
  • d1 所在行核验 d2;
  • d2 所在行核验 d3;
  • d3 所在行给出 bonus token。

因此,负责核验 d1 的输出不能看到 d1 自己,不存在把答案提前泄露给模型的问题。被因果遮罩屏蔽的分数在 softmax 前加上 \(-\infty\),softmax 后对应注意力权重为 0。

如果 d2 被拒绝,那么依赖 d2 的 d3 不能继续用于最终输出,即使 d3 单独看起来合理,也必须在新的正确前缀上重新生成。

十、Q8:音频编码器输出的是每个词的向量吗

通常不是。音频编码器输出的是沿音频时间轴排列的声学表示,而不是先把录音切成 “Please / turn / on / the / lights” 五个词,再为每个词各输出一个向量。

可以把过程示意为:

录音:“Please turn on the lights”
        ↓
语音编码器:[a1, a2, ..., aT]
        ↓
文字解码器:[Please, turn, on, the, lights]

资料中给出的 Nemotron 3.5 Transcribe 近似值是:编码后的音频表示约每 80 ms 一个位置,也就是每秒约 12.5 个声学位置。一个 2 秒录音可能有约 25 个声学位置,即使最终文字示例只有 5 个词。

声学时间步和文字 token 数量通常不同,也不天然一一对应。一个声学表示可以包含一段局部声学上下文;一个文字 token 也可能对应多个声学时间步。词级时间戳需要额外的对齐方法,不能直接把声学位置当作词位置。

十一、Q9:解码器是否看到覆盖整段录音的声学表示

对于资料讨论的 Nemotron 离线转写流程,输入请求在开始生成文字前已经提供了完整录音。编码器可以在内部对长音频分块处理,但最终保留的声学表示覆盖本次请求提供的音频。

其输入形式可以理解为:

[音频 embedding][任务指令][文字前缀]

当解码器生成句子前半部分时,音频 embedding 已经在语言模型输入上下文中。文字位置之间的因果遮罩限制的是“未来文字 token”,并不是根据当前转写进度把后面的音频表示逐步隐藏。因此,在离线模式中,模型可以利用完整录音的声学信息。

这与真正的实时流式 ASR 不同:

模式解码时可用的音频是否可以看到尚未到达的音频
离线转写后流式返回文字请求开始时已上传的完整录音可以使用完整录音
真正实时流式 ASR截至当前时刻已经收到的音频不能使用尚未到达的未来声音

因此,“先上传完整录音,再逐步返回识别文本”在系统层面仍然可能是离线音频处理;不能仅凭输出逐步到达,就判断模型是实时流式编码。

十二、Q10:草稿模型输出 token ID 还是 logits

两者都会出现,但处在不同阶段。

草稿模型隐藏状态
        ↓
词表输出头
        ↓
logits
        ↓
argmax 或采样
        ↓
候选 token ID
        ↓
主模型核验

如果草稿模型一次提出 K 个位置,那么草稿 logits 可以表示为:

\(Z_{\mathrm{draft}}\in\mathbb{R}^{K\times |\mathcal V|}\)

其中 |V| 是词表大小。通过词表维度选择候选:

\(d_i=\operatorname*{argmax}_{w\in\mathcal V}z_i(w)\)

最终送入主模型核验的是候选 token ID 序列:

\(D=(d_1,d_2,\ldots,d_K)\)

主模型会对这些候选 ID 做自己的 embedding 和前向计算,并重新产生主模型 logits。草稿模型的 logits 或概率不能替代主模型的判断。

12.1 贪心解码与随机采样的区别

在贪心投机解码中,可以直接比较:

\(d_i\stackrel{?}{=}\operatorname*{argmax}_{w}p_{\mathrm{main}}(w\mid\text{当前前缀})\)

但如果使用随机采样,不能简单采用“token ID 相同就接受”。为了严格保持主模型目标分布,通常需要:

  • 草稿分布 q;
  • 主模型目标分布 p;
  • 按概率比进行接受或拒绝;
  • 拒绝后按照修正后的分布重新采样。

因此,本文的“候选 ID 与主模型 argmax 比较”主要对应贪心核验,不能直接推广为所有采样策略。

十三、投机解码的完整伪代码

confirmed = initial_prefix
initialize_audio_embeddings_and_decoder_cache(audio)

while not finished:
    draft_tokens = draft_model.generate(confirmed, K)

    main_logits, candidate_states = main_model.verify_block(
        prefix=confirmed,
        candidates=draft_tokens,
        causal_mask=True
    )

    accepted = []
    for i in range(K):
        main_token = argmax(main_logits[i])
        if draft_tokens[i] == main_token:
            accepted.append(draft_tokens[i])
        else:
            accepted.append(main_token)
            rollback_cache_to(confirmed + accepted)
            break

    if all_draft_tokens_accepted:
        accepted.append(select_bonus_token(main_logits[-1]))

    confirmed = confirmed + accepted
    update_cache_for_confirmed_prefix(confirmed)

这段伪代码为了说明流程进行了简化。真实实现还需要处理:

  • 子词 token 和特殊 token;
  • EOS 或结束标记;
  • 草稿长度动态调整;
  • KV cache 的写入和回退;
  • Mamba 状态检查点和 ReplaySSM;
  • 多请求 batch;
  • 设备间权重和状态同步;
  • 贪心与随机采样的不同接收规则。

十四、ASR 投机解码中的音频信息究竟存在哪里

可以将一次离线 ASR 请求拆成三类信息:

信息典型形式作用
音频信息声学 embedding 序列提供发音、韵律、声音事件和说话证据
文字上下文已确认 token、指令、历史前缀决定语言模型条件和生成路径
缓存状态Transformer KV cache、Mamba 循环状态避免每轮从头处理历史输入

音频编码器通常输出按声学时间步排列的表示:

\(A=(a_1,a_2,\ldots,a_T)\)

文字解码器则生成:

\(Y=(y_1,y_2,\ldots,y_L)\)

T 主要与音频时长和编码器下采样有关,L 主要与实际转写内容和 tokenizer 有关。通常 T 不等于 L,也不存在天然的一一对应关系。

十五、投机解码和真正流式 ASR 的边界

投机解码可以加速离线转写,也可以用于某些流式系统的文字生成阶段,但它本身并不等于实时流式 ASR。

问题离线投机解码真正实时流式 ASR
音频是否完整到达通常在生成前已提供完整录音音频边到达边处理
未来音频是否可用可以使用整段录音的声学表示只能使用已经到达的部分
投机优化的位置主要是文字生成阶段还要考虑增量编码、缓存和端点检测
输出是否可修改通常生成完整结果部分结果可能随新音频修订

例如,先上传一段完整录音,然后用流式接口逐步返回文字,仍然可能属于“离线音频处理 + 流式输出”。判断一个系统是否真正实时,需要确认音频编码和解码时是否看到了尚未到达的音频。

十六、如何评价投机解码是否真的有效

不能只看“草稿长度”或“一次核验多少 token”。至少需要同时观察以下指标:

  • 端到端延迟:从音频输入到最终文字完成的时间。
  • 解码阶段延迟:排除音频编码后的纯文字生成时间。
  • 接受率:草稿 token 被主模型接受的比例。
  • 平均接受长度:每轮实际确认了多少 token。
  • 草稿成本:草稿模型本身的计算和显存开销。
  • 核验成本:批量前向、缓存管理和回退成本。
  • 输出一致性:与主模型普通贪心输出的差异。
  • 识别质量:CER、WER、关键词召回和专业实体召回。
  • 不同并发度下的吞吐:单请求低延迟和多请求吞吐可能结论不同。

一个简单的速度模型是:

\(T_{\mathrm{spec}}=T_{\mathrm{draft}}+T_{\mathrm{verify}}+T_{\mathrm{accept}}+T_{\mathrm{rollback}}\)

只有当这些额外成本被成功接受的多个 token 摊薄,且小于普通解码的多次串行执行成本时,投机解码才会带来净收益。

十七、常见误解

  • 误解一:投机解码让 ASR 更准确。它主要让生成更快;在正确核验下,目标是保持主模型输出,不是自动提升声学识别能力。
  • 误解二:草稿模型的答案可以直接使用。草稿只是候选,主模型拥有最终决定权。
  • 误解三:核验一个块等于只计算一个 token。核验块通常要为多个位置计算主模型 logits,只是这些计算可以更好地利用硬件。
  • 误解四:拒绝一个 token 后,后面的候选仍然有效。后续候选依赖错误前缀,必须丢弃并重新生成。
  • 误解五:历史长度变长就意味着每个向量变宽。向量宽度 H 通常固定,历史变长主要体现为 KV cache 和注意力序列维度增长。
  • 误解六:输出逐步返回就一定是真正流式编码。如果完整音频在生成前已经上传,系统仍可能是离线编码后逐步返回文字。
  • 误解七:草稿 logits 就是最终概率。草稿 logits 用于产生候选 ID,最终是否接受由主模型 logits 决定。

十八、工程实现时需要重点处理什么

  • 草稿质量:草稿模型不一定越大越好,关键是单位成本下的接受率。
  • 草稿长度:过短无法摊薄核验成本,过长则可能增加拒绝和回退开销。
  • 缓存管理:必须区分已确认前缀、临时草稿、拒绝位置和 bonus token 的状态。
  • 因果遮罩:核验第 i 个候选时不能看到候选 token 自己,否则会造成信息泄露。
  • Mamba 回退:如果模型包含循环状态,需要检查点和回放机制。
  • 数值一致性:不同精度、融合算子和 GPU kernel 可能导致极小的 logits 差异。
  • 贪心与采样分开实现:贪心可以比较 argmax;采样需要严格的接受、拒绝和重采样公式。
  • 完整请求指标:不能只报告 decode speedup,还要报告音频编码、prefill、排队和网络时间。

十九、文章中示例数字的边界

文中 3 ms 草稿、14 ms 核验、1 ms 缓存处理、18 ms 总耗时和约 2.2 倍加速,是为了展示计算组织方式的示意数字,不是 NVIDIA 对 Nemotron 3.5 Transcribe 的实测性能承诺。

实际速度取决于:

  • 音频长度和文字长度;
  • 草稿模型大小;
  • 草稿接受率和平均接受长度;
  • 主模型参数规模与 MoE 激活路径;
  • GPU 型号、显存带宽和 kernel 实现;
  • 量化精度;
  • 请求并发度;
  • 音频编码、prefill、排队和网络开销。

二十、总结:如何用一句话理解 ASR 投机解码

ASR 投机解码可以概括为:

让便宜的草稿路径提前猜,让主模型一次检查多个位置;接受与主模型一致的前缀,遇到分歧立即纠正并回退,从而在尽量保持主模型输出行为的同时减少串行解码开销。

对于 Nemotron 3.5 Transcribe,音频编码器负责把录音转成沿时间轴排列的声学表示,语言模型负责生成转写,MTP 或 DFlash2 负责提出候选,主模型负责核验。投机解码的核心收益来自“候选位置可以提前准备”和“主模型可以对多个位置做成块计算”,而不是来自减少音频编码或绕过主模型。

真正评估一个投机解码系统时,应同时看速度、接受率、输出一致性、显存占用和 CER/WER,而不能只看某一次演示中的加速比。

参考资料与延伸阅读