在实际部署中，尤其是实时语音交互场景下，轻量级 ASR 模型由于推理延迟更低、计算成本更小因此更受青睐。然而，基于 LLM 的 ASR 在模型缩小后的性能表现并不理想：比如Qwen3-ASR-0.6B、Fun-ASR-nano这类轻量版本相比完整大模型存在明显性能差距。除了模型缩小本身带来的性能下降外，LLM-ASR 还额外承担了一种：模态税（modality tax），
即：模型中有相当一部分参数并不是直接用于 ASR 任务，而是用于跨模态对齐（cross-modal alignment）。这种结构性开销会导致轻量 LLM 真正可用于 ASR 的有效容量更少，从而带来不成比例的性能下降。
首先从训练语料库构建关键词集 S 。所有转录文本均被解析以提取候选短语，然后使用 Qwen3-30B-A3B-Instruct进行过滤，以保留命名实体，例如人名、兴趣点（POI）、媒体名称和专有名词。在训练过程中，我们提高长时长话语的采样比例，并按照以下模板，将从 S 中采样的关键词以概率方式注入到提示中作为上下文提示:
每个训练实例，我们首先从转录文本中存在的 S 中提取相关关键词。此外，对于每个关键词，我们以一定的概率从 S 中提取发音相同或高度相似的另一个关键词作为干扰项。相关关键词和干扰项被连接起来，然后添加到 {context} 字段中。干扰项的加入可以防止语言学习模型 (LLM) 过度依赖上下文线索而牺牲语义合理性。在此阶段，编码器、适配器和 LLM 会进行联合训练。
Robustness enhancement under noisy and silent conditions。应用了多种数据增强技巧来提高模型的鲁棒性。除了标准的 SpecAugmentation 和速度扰动之外，我们还随机地将一些真实的声学干扰（例如人声、车辆噪声和背景音乐）注入到 20%的干净训练样本中，以模拟具有挑战性的真实世界环境。这些噪声注入的信噪比（SNR）是从均值为 10 dB、标准差为 5 dB 的正态分布中随机抽取的。
Inference
优化流式推理
Encoder 与 LLM 解耦部署，Encoder 部署在 Triton，Adaptor + LLM 部署在 vLLM，CTC Head + RAG 部署在 CPU
FireRedASR: Open-Source Industrial-Grade Mandarin Speech Recognition Models from Encoder-Decoder to LLM Integration
FireRedASR2S 是一款最先进的（SOTA）工业级一体化 ASR 系统，包含 ASR、VAD、LID 和 Punc 模块。所有模块均达到 SOTA 性能水平。其核心定位是解决传统语音识别方案功能单一、多语言支持差、方言识别精度低、模块衔接繁琐等问题，打造一套集语音识别、语音活动检测、语言识别、标点预测于一体的端到端解决方案。FireRedASR2S的命名中，2代表第二代FireRedASR模型，S代表扩展为全功能的语音识别系统（System），区别于单一的语音识别模型，实现了语音处理全流程的覆盖。
[1] Michael McAuliffe, Michaela Socolof, Sarah Mihuc, Michael Wagner, and Morgan Sonderegger. 2017. Montreal Forced Aligner: Trainable Text-Speech Alignment Using Kaldi. In Proc. Interspeech, pages 498–502.
[2] Xian Shi, Yanni Chen, Shiliang Zhang, and Zhijie Yan. 2023. Achieving Timestamp Prediction While Recognizing with Non-Autoregressive End-to-End ASR Model. CoRR, arXiv:2301.12343.
[3] Max Bain, Jaesung Huh, Tengda Han, and Andrew Zisserman. 2023. WhisperX: Time-Accurate Speech Transcription of Long-Form Audio. In Proc. Interspeech
[4] Xian Shi et. al., Qwen3-ASR Technical Report, https://arxiv.org/abs/2601.21337
在中文方言基准上，Qwen3-ASR 在存在显著发音和词汇差异的情况下仍保持较强的识别精度。在粤语及其他方言数据集中，它始终位列表现最优的系统之一，并且在更具挑战性的长语句场景下表现尤为突出，体现出超越短句、干净测试条件的鲁棒性。尽管在少数特定方言场景中，一些专门优化的商业 API 略占优势，但总体而言，Qwen3-ASR 依然具有很强竞争力，能够在无需针对每种方言单独定制的情况下提供通用且高性能的解决方案。
总体而言，表 3 总结了 Qwen3-ASR 的三大优势：
在英语基准上具备强大的跨领域泛化能力，尤其是在超越精心筛选的朗读语音场景下表现突出；
在普通话多个公开数据集（包括大规模、噪声较多的会议语音）上达到当前最先进水平；
在中文方言处理方面表现稳健，尤其是在粤语以及长短语句混合的方言语音上具有显著优势。
这些结果表明，Qwen3-ASR 在多样化的公开基准测试中展现出强大且可复现的性能，同时在与顶级闭源商业 API 的对比中也保持了高度竞争力。
解决方法很巧妙：假装这个问题不存在。具体来说，我们将量化后的潜在向量 zquantized 看作是原向量 z 加上一个任意向量，但不影响梯度。这样， zquantized 的梯度就等同于 z 的梯度。这就是所谓的 straight-through gradient estimator（直通梯度估计器） 的原理。
x = get_batch()
z = encoder(x)
residual = z - to_nearest_cluster(z)
# .detach() means "forget that this needs a gradient"
z_quantized = z - residual.detach()
x_reconstructed = decoder(z_quantized)
loss = reconstruction_loss(x, x_reconstructed)
我用 8 个 H100 显卡训练了这个模型大约 5 天。为了得到一些样本，我决定用 Michael Field 的诗《七月》中的两行 Libri-Light 朗读样本来提示（prompt）模型。（在做这个项目时我了解到，Michael Field 是 Katherine Harris 和 Edith Emma Cooper 的笔名。）让我们看看能从我们的模型中得到什么样的诗歌：
When the grass is gone And corn still grassy; Illness worried in the fur this and pelan in stones during the turan’s ciscerey headforths nepet Paul Twain. He sees zin in them.
Chapter 6 of The Founday, by R. Auclair. This is a Librivox recording. All Librivox recordings are in the public domain. For information, or to volunteer, please visit librivox.org. Reading by: Kelvert
When grass is gone and corn still grassy; When so we could say that in fairy interesting wife who lay there and gone that save the rosy light of life Jay Dien, the antique mollity and a mollity the beast of gray failed summon
end of poem.
This recording is in the public domain.
[different voice] So we have formed a float that sent in would rattle down. The piece of opportunity reading and assimila—
这太棒了。有几个迹象表明这个模型比之前的更好。我喜欢它编造了“mollity”这个词，然后在下一行重复它。而且，它意识到自己正在背诵一首诗，并在该部分结尾加上了 “end of poem”。然后它认为这是章节/部分的结尾，并以“This recording is in the public domain.”的声明结束。之后，它换了个声音继续说话。这是合理的，因为在训练过程中，来自不同有声读物的片段只是被随机打乱并连接在一起，所以在这里模型模拟了一个片段边界。
传统的上下文偏置 ASR 解决方案中，主要存在两种范式。第一种依赖发音词典，例如基于加权有限状态转换器（WFST）的相关方法。这类系统利用预先定义的发音信息来提升特定术语的识别准确率。第二种范式是将偏置机制直接融入 ASR 模型结构中，通过与 ASR 模型进行联合训练来实现 ，典型代表包括 SeAco-Paraformer。
然而，这两类系统都不利于在支持 prompt 的 ASR 场景中处理偏置词。对于基于 WFST 的系统而言，获取少数语言或方言的发音词典往往十分困难；而端到端的上下文偏置方法通常需要修改 ASR 模型结构并进行联合训练，这在 prompt 支持的大模型范式下缺乏灵活性，难以快速更新和迭代。同时，大模型训练本身需要大量时间和计算资源，成本较高。
大语言模型（LLMs）中引入的提示机制与检索增强生成（Retrieval-Augmented Generation，RAG）为此提供了重要启示。RAG 通过优化提示来获得期望输出，而无需修改 LLM 的网络结构或进行微调。受这一范式的启发，偏置提示的生成可以作为一个独立模块，与识别过程进行解耦。这样，模型既不需要依赖发音词典，也不必在训练阶段依赖 ASR 模型本身。该方法与当前的大模型框架高度契合，能够利用 RAG 思路实现大规模的上下文偏置增强。
