AmphionASR-大规模热词的个性化语音识别

• 文章：AmphionASR: Personalized Context-Aware Speech Recognition
• 作者与机构：Amphion Team
• 发布时间：2026年7月28日

基于Qwen3-ASR-1.7B的统一条件化语音识别系统，将热词检索、目标说话人选择、退化鲁棒与耳语识别整合进单一1.7B参数SpeechLLM。

现实中的语音识别往往不只是“把声音转成文字”。用户可能希望模型优先识别人名、品牌名和行业术语，也可能只想转写某个指定说话人；输入音频还可能带有远场、噪声、混响、传输丢失，甚至是耳语。AmphionASR 的目标，就是用一个统一的 SpeechLLM 同时处理这些条件，而不是为每种场景分别维护一套模型。

论文最终给出的模型以 Qwen3-ASR-1.7B 为基础，通过分阶段微调、检索增强和目标说话人数据合成，将通用 ASR、热词 ASR、目标说话人 ASR、退化音频 ASR 和耳语 ASR 统一起来。其最突出的结果包括：热词检索 Recall@50 超过 94%，中英文实体错误率分别下降 55% 和 37%；目标说话人识别 WER 达到 13.02%；中文耳语 CER 为 0.58%，英文耳语 WER 为 6.11%。

一、论文要解决什么问题

传统通用 ASR 默认将输入中的全部可听语音转写出来，但在实际业务里，“识别什么”和“在什么条件下识别”经常需要额外说明。论文将这些需求归纳为四类：

• 热词条件识别：利用用户提供的词表，提高人名、地名、产品名和专业术语的识别率。
• 目标说话人识别：给定目标说话人的短注册语音，只转写混合音频中该说话人的内容。
• 退化音频识别：处理噪声、远场、遮挡、混响、录音染色、电子失真和传输丢失等情况。
• 耳语识别：处理声带振动特征和正常语音明显不同的低能量耳语。

这些任务的附加信息不同，但输出目标相同：生成用户真正想要的那部分转写。AmphionASR 因而采用统一的指令接口，通过文本指令、热词列表或注册语音告诉模型当前任务。

本文提出 AmphionASR，一套可同时适配上述四类识别任务的统一模型。热词列表、目标说话人注册音频作为任务条件输入；各类受损语音、耳语样本则用于让模型适配非常规声学输入。该设计将通用识别主干网络，与 “识别对象、识别约束条件” 两类辅助信息解耦。 热词识别分支的技术路线参考已有研究，融合 GLCLAP Top-K 检索、提示词注入、基于强化学习的 GRPO 优化方案；本文重点是将整套热词流程集成至统一模型，并在四类任务上完成全面评测。

二、模型总体设计

AmphionASR 由音频编码器、语言模型和热词检索分支组成。论文称其为 1.7B 模型，是按照 LLM 参数量命名；如果计入约 300M 的音频编码器和 2.6M 的检索适配器，总参数量约为 2.0B。

组件	参数量	主要设计
音频编码器	300M	初始化自 Qwen3-ASR-1.7B 的 AuT 编码器
语言模型	1.7B	28 层 Decoder-only Transformer，隐藏维度 2048
RAG 适配器	2.6M	音频和文本两侧的 MLP 投影层
合计	约 2.0B	音频编码器、LLM 与检索适配器

Figure 2，AmphionASR 整体架构图

1. 音频编码器

输入为 16 kHz 单声道音频。前端提取 128 维 Log-Mel 特征，帧移为 10 ms，随后经过卷积下采样和 24 层 Whisper 风格的 Pre-LN Transformer，输出 2048 维、12.5 Hz 的音频帧表示。模型使用 800 帧的分块推理窗口，从而突破普通 30 秒输入限制。

2. 语言模型与统一提示词

音频表示会直接进入 Qwen3-ASR-1.7B 的语言模型嵌入空间，再由自回归解码器生成转写。不同任务不需要切换模型，只需要更换提示词和可选输入：

• 通用 ASR：要求转写输入音频。
• 热词 ASR：在提示词中增加 [Hotwords: ...]。
• 目标说话人 ASR：先输入注册语音，再输入待转写的混合语音。
• 耳语 ASR：明确告诉模型输入是一段 whispered audio。

目标说话人任务中的注册语音和混合语音共用同一个音频编码器，并以“注册语音在前、混合语音在后”的两个音频嵌入片段进入 LLM。这个设计没有增加独立的说话人编码网络，而是让语言模型在统一上下文中完成说话人条件选择。

三、细粒度热词检索：从万级词库中找出当前相关词

直接把上万个候选热词塞进提示词既浪费上下文，也会引入大量无关干扰。AmphionASR 因此先进行检索，只选出与当前音频最相关的 Top-K 热词，论文默认 K=50。

与将整段音频池化成一个向量的方案不同，AmphionASR 保留逐帧音频表示。音频帧和候选热词分别通过两个小型 MLP 映射到共享的 512 维空间：

\( a_t = g_{\mathrm{audio}}\!\left(\mathrm{AuT}(x)_t\right),\qquad k_h = g_{\mathrm{text}}\!\left(E_{\mathrm{tok}}(h)\right) \)

每个热词与所有音频帧计算内积，并取时间维度上的最大值作为相关性：

\( s_h = \max_t a_t^{\top}k_h,\qquad \mathcal{H}’=\operatorname{TopK}_{h\in\mathcal{H}}(s_h) \)

这种 max-over-time 方式强调局部匹配：即使热词只在长音频中短暂出现，也不容易被全句平均表示淹没。选出的热词随后作为逗号分隔的文本插入提示词，ASR 仍然只需要执行一次解码。

Figure 3，细粒度热词检索流程。该图用于说明音频帧、文本热词、共享空间和 Top-K 选择之间的关系

四、训练数据与三阶段训练

AmphionASR 基于低秩自适应微调（LoRA）有监督微调（SFT）三阶段训练方案完成训练。AmphionASR 使用 11 个公开语料构建出 8 个训练集合，总计 3,737,145 条训练样本。其中，目标说话人样本包含注册语音和混合语音两个音频输入，同时加入通用转写数据，缓解模型灾难性遗忘问题。

训练任务	样本数	主要来源
耳语 ASR	222,440	WhispEar，中英文耳语
退化鲁棒 ASR	556,421	Voice-in-the-Wild-2M
热词 ASR	1,043,317	CommonVoice、MagicData、AISHELL-1/3、THCHS-30
通用 ASR 保持	1,290,464	AISHELL-2、LibriSpeech
目标说话人 ASR	624,503	多个公开单说话人语料合成

训练阶段热词词表构建逻辑：

针对带热词的训练样本，每条样本动态生成专属热词列表，真实热词 + 干扰词总数量约束在 10~50 个，词表构建分三步：

1. 真实实体词 每条标注真值热词有 5% 概率被随机剔除，模拟检索模块召回不完全的真实场景。保留绝大多数真实热词，使模型能够借助上下文偏置修正稀有实体、领域专业术语，解决无约束解码器极易错识这类词汇的问题。
2. 难例负样本（易混淆干扰词） 在线检索器为每条样本最多召回 10 个高度混淆词汇；检索打分权重为：0.6× 字符重叠度 + 0.4× 二元组杰卡德相似度，中文额外增加音节级近邻检索扩充候选。这类字形、发音相近的干扰词用于训练模型区分相似热词，避免模型无脑匹配列表内任意词汇。
3. 随机干扰词 词表剩余空位从全局热词库随机填充；优先填满难例负样本，再补充随机词，保证列表总长落在 10~50 区间。随机无关词汇用于约束提示词长度，防止模型过度依赖匹配候选词产生识别偏置。

每条语音样本有 80% 概率保留完整热词提示行，20% 概率直接舍弃热词输入。该策略让模型在训练时同时接触 “带热词辅助” 与 “无热词辅助” 两类输入，提升泛化能力。

阶段 1：适应耳语和退化音频

音频编码器和 LLM 同时训练，数据来自 Voice-in-the-Wild-2M 和 WhispEar。由于这些声学条件与普通清晰语音差异较大，论文首先允许声学表示和语言模型共同适应。

阶段 2：学习热词与目标说话人条件

冻结音频编码器，只更新 LLM。模型在这一阶段学习如何使用热词提示，以及如何根据注册语音从多人混合音频中选择目标说话人。

阶段 3：通过数据回放抑制灾难性遗忘

继续冻结音频编码器，在前两阶段数据之外加入 AISHELL-2 和 LibriSpeech 通用转写数据。目的不是追求新的通用 ASR SOTA，而是在增加个性化能力后尽量保留原模型的基础识别能力。

三个阶段均采用全线性层 LoRA，LoRA rank 为 64、alpha 为 128；每阶段训练 1 个 epoch，学习率为 \(1\times10^{-6}\)，余弦衰减和 5% warmup，有效 batch size 为 384，使用 6 张 GPU。

GRPO：同时优化转写准确率和热词一致性

三阶段 SFT 后，论文冻结音频编码器，通过 GRPO 继续优化 LLM。ASR 奖励是经过截断的负 CER：

\( R_{\mathrm{asr}}(\hat y,y)=\max\left(0,1-\mathrm{CER}(\hat y,y)\right) \)

热词奖励检查每个候选词在预测和参考文本中的“出现/未出现”状态是否一致：

\( R_{\mathrm{hw}}(\hat y,y;C)=\frac{1}{|C|}\sum_{c\in C} \mathbf{1}\!\left\{\mathbf{1}[c\in\mathrm{Pred}]=\mathbf{1}[c\in\mathrm{Ref}]\right\} \)

总奖励为：

\( R=R_{\mathrm{asr}}+0.3R_{\mathrm{hw}} \)

这一设计不仅鼓励模型抄对热词，也惩罚它盲目输出提示词中实际没有被说出的词。不过论文没有提供“SFT 后、GRPO 前”的独立对照，因此实验无法单独量化 GRPO 的贡献。

五、目标说话人数据是如何合成的

目标说话人训练数据由单说话人语料离线合成。对于同一目标说话人，系统选择两段不同录音：一段作为 3 至 5 秒注册音频，另一段作为待混合的目标语音，再加入 1 至 2 个非目标说话人。

混音过程可写为：

\( x_{\mathrm{mix}}[n]=s_{\mathrm{tgt}}[n]+\sum_{k=1}^{K}\alpha_k s_{\mathrm{int},k}[n-o_k],\qquad \alpha_k=\frac{\rho_{\mathrm{tgt}}}{\rho_{\mathrm{int},k}}10^{-\mathrm{SNR}_k/20} \)

其中 \(K\sim\mathrm{Cat}(\{1:0.8,2:0.2\})\)，说话人间 SNR 服从均值 5 dB、标准差 7 dB 的正态分布，并截断到 -5 至 20 dB；干扰语音覆盖目标语音的比例从 0.1 到 1.0 均匀采样。之后以 0.5 的概率加入 RIR，再以 0 至 25 dB 的 SNR 加入 MUSAN 或 AudioSet 环境噪声。

为了降低“目标说话人不在场时仍然胡乱输出”的问题，训练集还包含 66,194 条空转写负样本，包括噪声/静音和只有非目标说话人的混合音频。这一部分是目标说话人系统能够学习保持沉默的关键。

Figure 4，目标说话人训练数据离线合成流程；可同时参考 Table 16 和 Table 17 的 RIR、噪声来源与负样本参数

六、实验结果

1. 热词和行业实体识别

在 GigaSpeechBench 的 12 个垂直领域中，加入 RAG 后，中文平均实体 B-CER 从 23.18% 降至 10.39%，相对下降约 55%；英文平均实体 B-WER 从 14.78% 降至 9.35%，相对下降约 37%。加入热词上下文后，AmphionASR 在中文 12 个领域中的 11 个、英文全部 12 个领域中优于无热词输入的 Qwen3-ASR-1.7B。

测试集	无 RAG	使用 RAG	Recall@50
GigaSpeechBench 中文平均 B-CER	23.18%	10.39%	–
GigaSpeechBench 英文平均 B-WER	14.78%	9.35%	–
CommonVoice 中文热词	9.27%	2.30%	94.52%
CommonVoice 英文热词	28.93%	9.81%	95.19%

在约一万个候选词的词库上，相比已经预先计算好 Top-50 热词的条件，在线检索增加的配对中位延迟为英文 1.37 ms、中文 3.25 ms。但该实验每种语言只有 30 条音频，运行在共享 H20 上，没有并发和 RTF 数据，因此只能说明热状态下的相对开销，不能直接视为生产吞吐量结论。

2. 目标说话人识别

在内部合成的目标说话人测试集正样本上，AmphionASR 的 WER 为 13.02%，明显低于零样本 Qwen3-Omni-30B-A3B 的 31.91%，也远低于未进行目标说话人训练的 Qwen3-ASR-1.7B 的 78.99%。

模型	正样本 WER	目标缺席静音误报率
Qwen3-ASR-0.6B	84.97%	100.00%
Qwen3-ASR-1.7B	78.99%	100.00%
Qwen3-Omni-30B-A3B 零样本	31.91%	9.15%
AmphionASR	13.02%	6.10%

这一结果说明模型确实学到了“根据注册语音选择说话人”的能力，同时负样本降低了目标缺席时的幻觉。不过测试集由与训练相同的合成流水线生成，只是更换随机种子和说话人；论文也没有与专用 TS-ASR 模型进行完全一致协议下的比较，因此泛化能力仍需要公开真实重叠语音数据验证。

3. 真实退化音频鲁棒性

Voice-in-the-Wild-Bench 包含 5,000 条中英文音频，覆盖 7 类单一退化和 Mixed 复合退化，并分为真实录音与频谱模拟两组，共 16 个子集。AmphionASR 在其中 8 个子集取得最低 WER。

• 真实录音领先项：遮挡 1.38%、混响 7.91%、录音染色 6.32%、传输丢失 2.32%。
• 模拟退化领先项：噪声 7.24%、混响 11.49%、录音染色 11.55%、Mixed 4.19%。
• Real-Mixed 为 2.85%，仅次于 Mega-ASR 的 2.63%。

这说明阶段 1 的退化训练具有明显效果，但 AmphionASR 并非在所有条件下都领先，例如真实噪声、远场、电子失真以及部分模拟条件仍有其他专用模型表现更好。

4. 耳语识别

耳语识别是论文中最稳定的优势之一。AmphionASR 在中文 wEar 上取得 0.58% CER，在英文 WTIMIT 上取得 6.11% WER，均为表中最低。

模型	wEar 中文 CER	WTIMIT 英文 WER
Whisper-large-v3	16.33%	11.99%
Kimi-Audio-7B-Instruct	1.48%	10.95%
Qwen3-ASR-1.7B	1.22%	9.56%
FireRed-ASR2-LLM	1.01%	15.18%
AmphionASR	0.58%	6.11%

相比基础模型 Qwen3-ASR-1.7B，AmphionASR 在中文耳语上绝对降低 0.64 个百分点，在英文耳语上绝对降低 3.45 个百分点。模型同时在中英文上领先，说明耳语训练没有出现明显的语言间取舍。

5. 通用 ASR 能力是否被遗忘

论文在 4 个英文和 6 个中文通用测试集上进行了保持性检查。与同规模的 Qwen3-ASR-1.7B 相比，AmphionASR 在每个测试集上的差距都不超过 0.85 个绝对 WER/CER 点，并在两者直接比较时赢下 10 个测试集中的 4 个。

需要区分的是：这不代表 AmphionASR 在 4 个数据集上取得所有系统中的最好结果。Table 18 和 Table 19 的整体领先者仍分散在 Kimi-Audio、Step-Audio、FireRed-ASR2 等模型中。论文将该实验定位为“能力保持检查”，而不是通用 ASR 的 SOTA 声明，这是较为客观的表述。

七、论文的主要创新点

1. 用统一接口承载多种条件化 ASR。文本指令、热词和注册语音都被组织为 LLM 上下文，使不同任务共享音频编码器和解码器。
2. 将帧级热词检索接入完整 SpeechLLM。局部 max-over-time 匹配比整句池化更适合发现短时出现的实体，并把万级候选库压缩到 Top-50。
3. 通过双音频输入实现目标说话人选择。注册音频和混合音频共用声学编码器，不需要额外构建完全独立的 TS-ASR 网络。
4. 系统化构造目标缺席负样本。噪声、静音和纯干扰说话人样本教会模型在找不到目标时保持沉默，从而降低幻觉。
5. 分阶段训练兼顾专项能力与基础能力。先适应声学变化，再学习条件控制，最后回放通用数据，训练顺序与不同模块的职责相匹配。

需要注意，论文明确指出 GLCLAP Top-K 检索、提示词注入和 GRPO 的组合已有相关工作。AmphionASR 的贡献重点不是提出一种全新的检索或强化学习算法，而是把这些方法集成到统一模型中，并覆盖更多条件化识别任务。

八、局限性与值得继续验证的问题

• 语言范围有限：当前核心评测只覆盖普通话和英语，尚不能证明统一训练方法对越南语等语言同样有效。
• 热词对比并非完全同输入：多数基线没有收到热词，因而结果证明的是完整“检索加上下文提示”流水线价值，而不是公平条件下检索器单模块的增益。
• GRPO 缺少独立消融：没有 SFT-only 对照，无法知道最终提升中有多少来自 GRPO。
• 目标说话人测试仍偏内部合成：需要在公开真实会议、重叠说话和跨设备数据上验证。
• 延迟测试规模较小：共享 GPU、每种语言 30 条请求、无并发、无 RTF，不能据此推断生产服务容量。
• 统一模型并非所有任务都最优：它的优势是能力覆盖和共享部署，而不是在每个通用或退化子集上都击败专用模型。

九、总结

AmphionASR 最有价值的地方，是把 ASR 从“无条件转写器”推进成“可被用户条件控制的语音识别模型”。热词告诉模型哪些词值得重点关注，注册语音告诉模型应该听谁，任务指令告诉模型输入属于耳语还是普通语音，而退化数据让模型适应真实采集环境。

从实验结果看，热词和耳语是目前证据最充分的两项能力：前者在万级候选词库下显著降低实体错误，后者在中英文测试集上同时取得最好结果。目标说话人和退化鲁棒性同样表现出潜力，但还需要更严格的公开测试和生产级吞吐评估。

对于实际 ASR 系统，这篇论文给出的启发并不是必须把所有任务都塞进一个模型，而是可以建立一套共享的语音表示和解码骨干，再通过文本上下文、参考音频与检索结果描述用户意图。这样既能减少多模型维护成本，也让个性化语音识别拥有更统一的产品接口。

---