详解 ASR 投机解码:以 NVIDIA Nemotron 3.5 Transcribe 为例

摘要:自动语音识别(ASR)通常由语音编码器把音频转换成声学表示,再由语言模型逐 token 生成转写文本。自回归解码的主要瓶颈是:每生成一个 token,都要等待前一个 token 的结果。投机解码(Speculative Decoding)引入一个更便宜的草稿路径,先提出多个候选 token,再让主模型一次性验证这些候选。通过的前缀直接接受,发生分歧的位置由主模型纠正,后面的草稿丢弃并从新的正确前缀重新生成。

本文以 NVIDIA Nemotron 3.5 Transcribe 相关资料为主,结合其 MTP(Multi-Token Prediction,多词元预测)模块、可选的 DFlash2 草稿模型、NeMo SpeechLM 实现、vLLM 核验逻辑、Hugging Face Assisted Generation 和原始投机解码论文,解释 ASR 投机解码为什么可以加速、核验如何并行、缓存如何回退、音频表示到底是什么,以及这种方法的适用边界。

阅读约定:文中的英文示例为了说明机制,把一个英文单词暂时当作一个 token。真实系统通常使用子词、标点和特殊 token,不能把示例中的“词”直接等同于模型 tokenizer 的 token。

一、先给结论:投机解码到底改变了什么

投机解码并没有把主模型换成一个不可靠的小模型,也不是让草稿模型直接决定最终转写。它改变的是生成调度方式:

  • 普通解码:主模型生成一个 token,等待结果,再生成下一个 token。
  • 投机解码:草稿模型或草稿模块先提出一段候选,主模型一次计算这段候选各位置的概率,再按顺序接受能够通过核验的前缀。
  • 出现分歧:主模型保留最终决定权;错误位置由主模型的选择替换,依赖错误前缀的后续草稿全部丢弃。
  • 没有分歧:如果整段候选都被接受,主模型还可能额外提供一个 bonus token。

因此,在正确实现的贪心投机解码中,最终输出应当与主模型逐 token 贪心解码一致,或者在数值实现存在微小差异时非常接近。它优化的是速度,不是把主模型变成“听得更准”的模型。输出与真实录音是否完全正确,仍然取决于模型本身的识别能力。

二、Nemotron 3.5 Transcribe 使用哪些草稿路径

相关资料介绍了两条草稿路径:

草稿路径基本方式特点最终决策者
MTP(Multi-Token Prediction)模型内部的多词元预测模块提出后续 token可以重复调用同一个模块生成多个草稿位置主模型
DFlash2独立提供的草稿模型提出候选序列可以并行提出一组候选主模型

两者的共同点是:草稿只负责提出候选,主模型仍然必须核验。草稿模型越便宜、越容易提出与主模型一致的候选,接受率就越高,投机解码越可能带来收益。

三、Q1:ASR 中的投机解码具体怎么做

假设录音内容是:

Please turn on the lights.

系统已经确认的文字是:

Please

草稿路径提出三个候选:

turn off the lights
草稿 token主模型核验处理结果
turn主模型也选择 turn接受
off主模型更倾向于 on拒绝,并替换为 on
the是在 off 条件下预测的本轮丢弃
lights依赖错误的 off 前缀本轮丢弃

本轮确认结果为:

Please turn on

为什么后面的 the lights 不能直接保留?因为它们是在错误前缀 Please turn off 的条件下计算出来的。正确的下一轮必须从:

Please turn on

重新提出草稿。投机解码接受的是“从当前正确前缀出发仍然有效的最长前缀”,而不是把草稿整段当成一个不可拆分的答案。

3.1 贪心核验的形式化表示

设当前已确认前缀为 c,草稿模型提出:

\(D=(d_1,d_2,\ldots,d_K)\)

主模型在相应位置给出自己的贪心选择:

\(M=(m_1,m_2,\ldots,m_K,m_{K+1})\)

从左到右找到第一个不一致位置:

\(j=\min\{i:d_i\ne m_i\}\)

则保留:

\(d_1,d_2,\ldots,d_{j-1}\)

并在第 j 个位置使用主模型的 m_j。如果所有草稿都匹配,主模型还可能输出第 K+1 个 bonus token。

实际 tokenizer 可能把一个单词拆成多个子词,因此这里的“第一个不一致位置”通常是 token 位置,而不一定是人眼看到的完整单词边界。

四、Q2:每轮核验都要重新运行音频编码器吗

通常不需要。投机解码真正节省时间的前提,就是不要因为每一轮多提出几个 token,就把整条“音频 → 编码器 → 解码器”流水线从头运行一遍。

初始处理大致是:

音频
  ↓
语音编码器和适配器
  ↓
声学 embedding
  ↓
语言模型 prefill
  ↓
保存解码上下文

之后的草稿核验主要运行语言模型解码部分。已经处理过的音频和文字上下文通过缓存继续发挥作用,典型状态包括:

  • Transformer 注意力层的 KV cache;
  • Mamba 层的循环状态;
  • 已经确认文字对应的历史状态;
  • 与当前录音相关的音频前缀表示。

NeMo 的实现把音频处理接口与语言模型 forward 分开。长录音可以在编码器内部进行分块处理,但这和投机解码中的“每一轮都重新编码音频”是两回事。关键点是:同一轮草稿和核验不应重复从头计算已经完成的音频编码。

4.1 拒绝后为什么需要缓存回退

假设草稿是:

Please turn off the lights

主模型在 off 处拒绝并改成 on。那么后面的 the lights 不能继续使用。缓存也必须回到确认的前缀:

Please turn on

注意力层可以调整 KV cache 的有效末尾;Mamba 层的循环状态则需要专门的回退机制。论文资料提到 ReplaySSM,通过“状态检查点 + 最近输入缓冲区”支持 Mamba 状态回退。没有回退,模型就可能错误地保留已经被拒绝 token 对内部状态造成的影响。

4.2 bonus token 的隐藏状态细节

一个容易忽略的实现细节是:主模型根据前一个位置的 logits 选出的纠正 token,虽然已经可以加入最终输出,但它自己的隐藏状态通常还没有在同一轮中完整计算出来。这个 token 往往会作为下一轮的起始输入,继续经过模型处理。

因此,“已经输出了 token”与“这个 token 的隐藏状态已经被写入全部缓存”不是完全相同的概念。投机解码实现必须同时管理:

  • 最终接受了哪些 token;
  • 哪些 token 的 logits 已经计算;
  • 哪些 token 的隐藏状态已经写入缓存;
  • 拒绝后缓存需要回退到哪里。

五、Q3:主模型仍然要计算,为什么还能加速

投机解码不是减少所有主模型计算,而是把原本无法并行的多次小步计算,重排为一次包含多个位置的成块计算。

普通自回归解码投机解码
主模型选择 token 1草稿路径先提出 token 1、2、3
主模型读取 token 1 后再选择 token 2主模型一次核验多个候选位置
主模型读取 token 2 后再选择 token 3按因果遮罩分别计算每个位置
每一步单独启动解码计算多个位置共享权重访问和算子执行

加速来源主要包括:

  • 一次成块计算可以服务多个 token 位置;
  • 减少重复的 kernel launch 和调度开销;
  • 多个位置共享模型权重访问;
  • GPU 更擅长处理具有规则形状的矩阵运算;
  • 把原本串行的部分依赖转换成“候选先给出、主模型并行核验”。

这里的“权重读取”主要指 GPU 显存到计算单元之间的数据移动和相关缓存访问,不是每生成一个 token 都从硬盘重新读取模型文件。模型权重通常已经驻留在 GPU 显存或相关设备内存中。

5.1 一个示意性时延例子

下面的数字是解释机制的假设,不是 NVIDIA 实测结果。假设希望确认 4 个 token:

步骤普通解码投机解码
生成草稿不单列3 ms
主模型计算4 × 10 ms = 40 ms一次成块核验:14 ms
接收、回退和缓存处理计入每一步1 ms
总时间40 ms3 + 14 + 1 = 18 ms

示意加速比为:

\(\mathrm{Speedup}=\frac{40}{18}\approx 2.2\times\)

这个例子说明:一次核验 4 个位置的成本可能高于单步 10 ms,但只要远低于连续执行 4 次单步,整体仍然可以变快。反过来,如果草稿质量差、拒绝频繁,草稿成本和核验成本无法被接受 token 摊薄,投机解码可能没有收益,甚至变慢。

5.2 什么时候会变慢

  • 草稿模型本身太慢;
  • 草稿与主模型差异太大,接受率低;
  • 每轮核验产生大量被拒绝 token;
  • 缓存回退和拒绝处理成本较高;
  • GPU 已经被其他请求的 batch 填满;
  • 核验块形状不适合当前硬件或算子实现;
  • 短音频中编码器和 prefill 占比过高,解码加速无法覆盖总成本。

六、Q4:投机解码会加速音频编码器吗

投机解码直接加速的是自回归文字生成阶段,不会自动让音频编码器变快。

可以把一次请求的耗时粗略写成:

\(T_{\mathrm{total}}=T_{\mathrm{audio\ encoder}}+T_{\mathrm{prefill}}+T_{\mathrm{text\ generation}}\)

投机解码主要影响最后一项。加入草稿和核验后,文字生成阶段的实际时间可以写成近似形式:

\(T’_{\mathrm{total}}\approx T_{\mathrm{audio\ encoder}}+T_{\mathrm{prefill}}+\frac{T_{\mathrm{text\ generation}}}{s}\)

其中 s 是把草稿、核验、缓存处理等开销全部算进去后的文字生成加速比。

例如,假设原始请求总时间为 100 ms,其中音频编码和 prefill 占 50 ms,文字生成占 50 ms。即使投机解码把文字生成从 50 ms 降到 25 ms,总时间也只是从 100 ms 降到 75 ms,整体加速约为:

\(\frac{100}{75}\approx 1.33\times\)

所以“解码阶段 2 倍加速”不等于“端到端请求 2 倍加速”。编码器量化、CUDA Graph、批处理和音频分块优化可以进一步降低总时间,但它们属于其他优化手段。

七、Q5:投机解码是不是 batch inference

两者都利用了成块计算,但“成块的对象”不同。

比较项普通请求批处理投机核验
一起处理的对象多条独立请求同一条转写序列中的多个候选位置
请求之间是否独立通常相互独立位置之间存在因果依赖
候选是否提前知道每条请求有自己的输入草稿路径提前提供未来 token
遮罩要求按 batch 样本隔离需要因果遮罩和顺序接收规则

因此,单条请求也可以使用投机解码;外层仍然可以同时对多条音频请求做 batch。两种优化可以叠加,但如果普通 batch 已经把 GPU 利用率推得很高,投机核验额外增加的计算可能反而减少收益。

八、Q6:为什么历史变长,矩阵仍然可以写成 [4,H] × [H,H]

关键是区分:

  • 表示宽度:每个 token 用多少维向量表示,记作 H;
  • 历史长度:当前 token 可以访问多少个过去位置,表现为序列长度和 KV cache 长度。

假设最后一个已确认 token 为 c,草稿为 d_1,d_2,d_3,本轮输入为:

\([c,d_1,d_2,d_3]\)

若每个位置的隐藏向量宽度为 H,本轮输入表示为:

\(X\in\mathbb{R}^{4\times H}\)

线性层可以做:

\([4,H]\times[H,H]\rightarrow[4,H]\)

这只是逐位置的线性变换,并不表示每个位置只能看到 4 个位置。历史长度真正进入注意力计算。

8.1 注意力中的历史长度

设在 c 之前已经缓存了 N 个位置,这些位置可能包括:

  • 音频 embedding;
  • 任务指令;
  • 更早的确认文字;
  • 系统提示和其他固定前缀。

对一个注意力头,设头维度为 d_h:

\(Q\in\mathbb{R}^{4\times d_h},\qquad K,V\in\mathbb{R}^{(N+4)\times d_h}\)

注意力分数为:

\(S=\frac{QK^{\mathsf T}}{\sqrt{d_h}}+M\)

其中:

\(QK^{\mathsf T}:[4,d_h]\times[d_h,N+4]\rightarrow[4,N+4]\)

最后通过:

\(O=\operatorname{softmax}(S)V\)

得到:

\([4,N+4]\times[N+4,d_h]\rightarrow[4,d_h]\)

所以,历史变长主要体现在 N+4 这个维度和缓存大小上;每个 token 的表示宽度仍然是固定的 H。

九、Q7:是不是共用一段物理上下文,再用因果遮罩选择有效历史

可以这样理解。缓存中的 K/V 存储范围相同,但不同查询行通过因果遮罩看到的有效前缀不同。

查询行允许访问的内容预测内容
c音频/指令/历史缓存 + cd1
d1音频/指令/历史缓存 + c + d1d2
d2音频/指令/历史缓存 + c + d1 + d2d3
d3音频/指令/历史缓存 + c + d1 + d2 + d3bonus token 或后续 token

可形式化为:

\(p_1(w)=P_{\mathrm{main}}(w\mid A,C)\) \(p_2(w)=P_{\mathrm{main}}(w\mid A,C,d_1)\) \(p_3(w)=P_{\mathrm{main}}(w\mid A,C,d_1,d_2)\) \(p_4(w)=P_{\mathrm{main}}(w\mid A,C,d_1,d_2,d_3)\)

其中 A 表示音频和指令上下文,C 表示已经确认的文字。

最关键的是“输入和预测错开一位”:

  • c 所在行预测 d1;
  • d1 所在行核验 d2;
  • d2 所在行核验 d3;
  • d3 所在行给出 bonus token。

因此,负责核验 d1 的输出不能看到 d1 自己,不存在把答案提前泄露给模型的问题。被因果遮罩屏蔽的分数在 softmax 前加上 \(-\infty\),softmax 后对应注意力权重为 0。

如果 d2 被拒绝,那么依赖 d2 的 d3 不能继续用于最终输出,即使 d3 单独看起来合理,也必须在新的正确前缀上重新生成。

十、Q8:音频编码器输出的是每个词的向量吗

通常不是。音频编码器输出的是沿音频时间轴排列的声学表示,而不是先把录音切成 “Please / turn / on / the / lights” 五个词,再为每个词各输出一个向量。

可以把过程示意为:

录音:“Please turn on the lights”
        ↓
语音编码器:[a1, a2, ..., aT]
        ↓
文字解码器:[Please, turn, on, the, lights]

资料中给出的 Nemotron 3.5 Transcribe 近似值是:编码后的音频表示约每 80 ms 一个位置,也就是每秒约 12.5 个声学位置。一个 2 秒录音可能有约 25 个声学位置,即使最终文字示例只有 5 个词。

声学时间步和文字 token 数量通常不同,也不天然一一对应。一个声学表示可以包含一段局部声学上下文;一个文字 token 也可能对应多个声学时间步。词级时间戳需要额外的对齐方法,不能直接把声学位置当作词位置。

十一、Q9:解码器是否看到覆盖整段录音的声学表示

对于资料讨论的 Nemotron 离线转写流程,输入请求在开始生成文字前已经提供了完整录音。编码器可以在内部对长音频分块处理,但最终保留的声学表示覆盖本次请求提供的音频。

其输入形式可以理解为:

[音频 embedding][任务指令][文字前缀]

当解码器生成句子前半部分时,音频 embedding 已经在语言模型输入上下文中。文字位置之间的因果遮罩限制的是“未来文字 token”,并不是根据当前转写进度把后面的音频表示逐步隐藏。因此,在离线模式中,模型可以利用完整录音的声学信息。

这与真正的实时流式 ASR 不同:

模式解码时可用的音频是否可以看到尚未到达的音频
离线转写后流式返回文字请求开始时已上传的完整录音可以使用完整录音
真正实时流式 ASR截至当前时刻已经收到的音频不能使用尚未到达的未来声音

因此,“先上传完整录音,再逐步返回识别文本”在系统层面仍然可能是离线音频处理;不能仅凭输出逐步到达,就判断模型是实时流式编码。

十二、Q10:草稿模型输出 token ID 还是 logits

两者都会出现,但处在不同阶段。

草稿模型隐藏状态
        ↓
词表输出头
        ↓
logits
        ↓
argmax 或采样
        ↓
候选 token ID
        ↓
主模型核验

如果草稿模型一次提出 K 个位置,那么草稿 logits 可以表示为:

\(Z_{\mathrm{draft}}\in\mathbb{R}^{K\times |\mathcal V|}\)

其中 |V| 是词表大小。通过词表维度选择候选:

\(d_i=\operatorname*{argmax}_{w\in\mathcal V}z_i(w)\)

最终送入主模型核验的是候选 token ID 序列:

\(D=(d_1,d_2,\ldots,d_K)\)

主模型会对这些候选 ID 做自己的 embedding 和前向计算,并重新产生主模型 logits。草稿模型的 logits 或概率不能替代主模型的判断。

12.1 贪心解码与随机采样的区别

在贪心投机解码中,可以直接比较:

\(d_i\stackrel{?}{=}\operatorname*{argmax}_{w}p_{\mathrm{main}}(w\mid\text{当前前缀})\)

但如果使用随机采样,不能简单采用“token ID 相同就接受”。为了严格保持主模型目标分布,通常需要:

  • 草稿分布 q;
  • 主模型目标分布 p;
  • 按概率比进行接受或拒绝;
  • 拒绝后按照修正后的分布重新采样。

因此,本文的“候选 ID 与主模型 argmax 比较”主要对应贪心核验,不能直接推广为所有采样策略。

十三、投机解码的完整伪代码

confirmed = initial_prefix
initialize_audio_embeddings_and_decoder_cache(audio)

while not finished:
    draft_tokens = draft_model.generate(confirmed, K)

    main_logits, candidate_states = main_model.verify_block(
        prefix=confirmed,
        candidates=draft_tokens,
        causal_mask=True
    )

    accepted = []
    for i in range(K):
        main_token = argmax(main_logits[i])
        if draft_tokens[i] == main_token:
            accepted.append(draft_tokens[i])
        else:
            accepted.append(main_token)
            rollback_cache_to(confirmed + accepted)
            break

    if all_draft_tokens_accepted:
        accepted.append(select_bonus_token(main_logits[-1]))

    confirmed = confirmed + accepted
    update_cache_for_confirmed_prefix(confirmed)

这段伪代码为了说明流程进行了简化。真实实现还需要处理:

  • 子词 token 和特殊 token;
  • EOS 或结束标记;
  • 草稿长度动态调整;
  • KV cache 的写入和回退;
  • Mamba 状态检查点和 ReplaySSM;
  • 多请求 batch;
  • 设备间权重和状态同步;
  • 贪心与随机采样的不同接收规则。

十四、ASR 投机解码中的音频信息究竟存在哪里

可以将一次离线 ASR 请求拆成三类信息:

信息典型形式作用
音频信息声学 embedding 序列提供发音、韵律、声音事件和说话证据
文字上下文已确认 token、指令、历史前缀决定语言模型条件和生成路径
缓存状态Transformer KV cache、Mamba 循环状态避免每轮从头处理历史输入

音频编码器通常输出按声学时间步排列的表示:

\(A=(a_1,a_2,\ldots,a_T)\)

文字解码器则生成:

\(Y=(y_1,y_2,\ldots,y_L)\)

T 主要与音频时长和编码器下采样有关,L 主要与实际转写内容和 tokenizer 有关。通常 T 不等于 L,也不存在天然的一一对应关系。

十五、投机解码和真正流式 ASR 的边界

投机解码可以加速离线转写,也可以用于某些流式系统的文字生成阶段,但它本身并不等于实时流式 ASR。

问题离线投机解码真正实时流式 ASR
音频是否完整到达通常在生成前已提供完整录音音频边到达边处理
未来音频是否可用可以使用整段录音的声学表示只能使用已经到达的部分
投机优化的位置主要是文字生成阶段还要考虑增量编码、缓存和端点检测
输出是否可修改通常生成完整结果部分结果可能随新音频修订

例如,先上传一段完整录音,然后用流式接口逐步返回文字,仍然可能属于“离线音频处理 + 流式输出”。判断一个系统是否真正实时,需要确认音频编码和解码时是否看到了尚未到达的音频。

十六、如何评价投机解码是否真的有效

不能只看“草稿长度”或“一次核验多少 token”。至少需要同时观察以下指标:

  • 端到端延迟:从音频输入到最终文字完成的时间。
  • 解码阶段延迟:排除音频编码后的纯文字生成时间。
  • 接受率:草稿 token 被主模型接受的比例。
  • 平均接受长度:每轮实际确认了多少 token。
  • 草稿成本:草稿模型本身的计算和显存开销。
  • 核验成本:批量前向、缓存管理和回退成本。
  • 输出一致性:与主模型普通贪心输出的差异。
  • 识别质量:CER、WER、关键词召回和专业实体召回。
  • 不同并发度下的吞吐:单请求低延迟和多请求吞吐可能结论不同。

一个简单的速度模型是:

\(T_{\mathrm{spec}}=T_{\mathrm{draft}}+T_{\mathrm{verify}}+T_{\mathrm{accept}}+T_{\mathrm{rollback}}\)

只有当这些额外成本被成功接受的多个 token 摊薄,且小于普通解码的多次串行执行成本时,投机解码才会带来净收益。

十七、常见误解

  • 误解一:投机解码让 ASR 更准确。它主要让生成更快;在正确核验下,目标是保持主模型输出,不是自动提升声学识别能力。
  • 误解二:草稿模型的答案可以直接使用。草稿只是候选,主模型拥有最终决定权。
  • 误解三:核验一个块等于只计算一个 token。核验块通常要为多个位置计算主模型 logits,只是这些计算可以更好地利用硬件。
  • 误解四:拒绝一个 token 后,后面的候选仍然有效。后续候选依赖错误前缀,必须丢弃并重新生成。
  • 误解五:历史长度变长就意味着每个向量变宽。向量宽度 H 通常固定,历史变长主要体现为 KV cache 和注意力序列维度增长。
  • 误解六:输出逐步返回就一定是真正流式编码。如果完整音频在生成前已经上传,系统仍可能是离线编码后逐步返回文字。
  • 误解七:草稿 logits 就是最终概率。草稿 logits 用于产生候选 ID,最终是否接受由主模型 logits 决定。

十八、工程实现时需要重点处理什么

  • 草稿质量:草稿模型不一定越大越好,关键是单位成本下的接受率。
  • 草稿长度:过短无法摊薄核验成本,过长则可能增加拒绝和回退开销。
  • 缓存管理:必须区分已确认前缀、临时草稿、拒绝位置和 bonus token 的状态。
  • 因果遮罩:核验第 i 个候选时不能看到候选 token 自己,否则会造成信息泄露。
  • Mamba 回退:如果模型包含循环状态,需要检查点和回放机制。
  • 数值一致性:不同精度、融合算子和 GPU kernel 可能导致极小的 logits 差异。
  • 贪心与采样分开实现:贪心可以比较 argmax;采样需要严格的接受、拒绝和重采样公式。
  • 完整请求指标:不能只报告 decode speedup,还要报告音频编码、prefill、排队和网络时间。

十九、文章中示例数字的边界

文中 3 ms 草稿、14 ms 核验、1 ms 缓存处理、18 ms 总耗时和约 2.2 倍加速,是为了展示计算组织方式的示意数字,不是 NVIDIA 对 Nemotron 3.5 Transcribe 的实测性能承诺。

实际速度取决于:

  • 音频长度和文字长度;
  • 草稿模型大小;
  • 草稿接受率和平均接受长度;
  • 主模型参数规模与 MoE 激活路径;
  • GPU 型号、显存带宽和 kernel 实现;
  • 量化精度;
  • 请求并发度;
  • 音频编码、prefill、排队和网络开销。

二十、总结:如何用一句话理解 ASR 投机解码

ASR 投机解码可以概括为:

让便宜的草稿路径提前猜,让主模型一次检查多个位置;接受与主模型一致的前缀,遇到分歧立即纠正并回退,从而在尽量保持主模型输出行为的同时减少串行解码开销。

对于 Nemotron 3.5 Transcribe,音频编码器负责把录音转成沿时间轴排列的声学表示,语言模型负责生成转写,MTP 或 DFlash2 负责提出候选,主模型负责核验。投机解码的核心收益来自“候选位置可以提前准备”和“主模型可以对多个位置做成块计算”,而不是来自减少音频编码或绕过主模型。

真正评估一个投机解码系统时,应同时看速度、接受率、输出一致性、显存占用和 CER/WER,而不能只看某一次演示中的加速比。

参考资料与延伸阅读

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注