摘要：哔哩哔哩 Index LLM 团队在 2026 年 9 月发布了 Index-Translate。它不是单一的“文本翻译模型”，而是以 Qwen3.5 为基础，向文本、语音翻译、音节可控配音和原生长文档翻译扩展的模型家族。

• Index-Translate GitHub README：https://github.com/bilibili/Index-Translate/blob/main/README_zh.md
• Index-Translate 技术报告：arXiv:2609.40181
• HOMURA：arXiv:2601.10187
• RIVAL：arXiv:2506.05070
• Hugging Face 论文合集：Index-Translate Papers

一、项目定位：把“翻译质量”扩展为可交付能力

传统机器翻译通常优化句子级质量，但真实内容生产还需要保留 JSON、CSV、Markdown、变量占位符和术语；字幕要适配时长；社区文本要翻出梗意；书籍翻译要维持人物、术语和概念层级。Index-Translate 的核心判断是：翻译模型应当同时优化语义、约束、模态和上下文，而不是只追求一个 BLEU 或 COMET 分数。

模型家族目前包含五类成员：

• Index-Translate：文本、结构化内容、指令翻译与社区表达，覆盖 150 种语言，提供 2B、9B 和 35B-A3B（preview）。
• Index-Echo：语音到文字（S2TT）和语音到语音（S2ST），支持目标语言字幕、配音与说话人声音条件。
• Index-Homura：接收目标音节数，在保持语义的同时重组译文长度。
• Index-NativeLong：输入完整文档并连续生成译文，面向书籍、网文和长篇资料的一致性。

二、统一基础模型：多语种中训 + 专家融合

1. 多语言 Mid-training

技术报告将训练拆成 constant 和 decay 两阶段。constant 阶段混合通用文本、平行语料和单语文本，采样比例为 1:1:1，7,000 步、117.44B tokens；decay 阶段使用通用文本、pivot-20 与 pivot-148 数据，比例为 1:4:2，3,000 步、50.33B tokens。总预算约 167.77B tokens，序列长度通常为 4,096，随后为长文档任务增加更长上下文。

这里的 pivot 组织不是简单地把双语句对堆在一起，而是通过英文锚点把多个语言版本连接起来。例如：

\(x_{zh}\leftrightarrow x_{ja}\) 表示普通平行数据；\(x_{zh}\leftrightarrow x_{en}\leftrightarrow x_{ja}\) 表示 pivot 数据。报告中的消融显示，多语言覆盖能明显提升非核心语言表现，同时仍需控制对通用能力的损耗。

2. 专家训练与融合

团队分别训练通用翻译专家、指令翻译专家和 MEME（社区文化表达）专家。指令专家使用约 104.5 万条、覆盖十类真实场景的样本；训练目标既包括术语、格式和结构保护，也包括风格、上下文消歧和跨句一致性。通用翻译和指令翻译使用 GRPO，MEME 使用参考引导的 LLM judge。

融合不是简单拼接多个 LoRA，而是先做参数插值：

发布模型使用的代表性权重为 \(w_G:w_I:w_M=0.8:0.1:0.1\)，之后用针对弱项的多教师 on-policy distillation（MOPD）修补融合后的能力缺口。这种设计的价值在于：通用质量、指令遵循和文化适配可以共享底座，但不必强行用一个训练目标解决所有任务。

三、三项关键扩展：语音、音节与长文档

1. Index-Echo：从“翻译文本”到“翻译声音”

Index-Echo S2TT 将 Qwen3-Omni AuT 音频编码器与 Index-Translate 解码器连接起来，直接从源音频生成目标语言文字。S2ST 则在 S2TT 基础上增加约 3,000 万参数的 Hidden2CV 映射器，把翻译器隐藏状态映射到 CosyVoice3 的语义层，并使用 DiffRO 通过 Gumbel-Softmax 语音 token 优化内容一致性；源音频还提供说话人 embedding 与声音提示。

报告还比较了 pipeline 与端到端 S2ST。以中文到日语为例，9B 端到端方案的内容错误率均值/中位数为 0.0436/0.021，音色相似度 Spk 为 0.782；这说明语音翻译的评价不能只看文本，还要同时考察内容、时间轴和说话人条件。

2. Index-Homura：把音节预算写进优化目标

HOMURA 论文指出，大语言模型翻译存在跨语言“冗长偏置”：译文往往比时间预算允许的长度更长。它提出 Sand-Glass 基准，用真实视频转写、停顿分段和信息密度校准构造音节级时长约束。中文到英文、德文、西班牙文的理论扩展约为 1.03、1.19、1.49 倍，但未经约束的 LLM 平均扩展可达到 1.35、1.59、1.84 倍。

HOMURA 的基本长度比定义为：

其中 \(\sigma(\cdot)\) 是音节数。模型使用动态区间 \([L(x),R(x)]\)，短句会适当放宽下界，长度奖励采用区间内满分、区间外指数衰减；质量奖励则由回译语义相似度、流畅性判定和可选的 GenRM 组成。整体目标可写为：

在 3,600 条 Sand-Glass 测试案例中，Index-Homura-9B 的输出有 81.92% 与目标音节数偏差不超过 10%，明显高于普通模型的约 13%–48%。代价是：当约束越来越紧时，COMET 等质量指标会下降，模型必须在信息密度与自然度之间做可解释的折中。

3. Index-NativeLong：原生长文档而不是“分块 + 词表”

NativeLong 的关键假设是：书籍翻译中的人物身份、术语层级和叙事关系，不能完全依靠分块翻译后再拼接。2B/9B 模型通过约 4K–64K 中文侧 token 的双向文档监督进行全参数 SFT，并在 mid-training decay 阶段使用 128K 序列实验。报告显示，Index-NativeLong-9B 在 GuoFeng、BWB、General Books 上的平均得分分别为 0.7891、0.7683、0.8848。

案例中，32K token 奇幻文本里的“王妃”在原生全文翻译的三个位置都保持为 Wang Fei，而同一 9B 模型使用分块和自动词表时，后文变成 the Dean、The Queen Consort。冰川史案例也显示，原生全文能够区分 ice age（冰河时代）、glacials（冰期）和 interglacials（间冰期），避免把上下位概念压成同一个词。

四、RIVAL 与 HOMURA：两条强化学习技术线

Index-Translate 技术报告明确吸收了 RIVAL 的训练思想。RIVAL 发现，传统 RLHF 中离线 reward model 会因为策略分布不断变化而失配，模型可能通过“奖励投机”获得高分，却生成不存在于原文的内容。因此 RIVAL 把 reward model 与翻译模型写成迭代的 min–max 对抗过程：

RIVAL 的 reward model 同时学习定性偏好和定量偏好：前者用强/弱翻译排序，后者用 BLEU 的 MAE 近似。实验中，MAE 的定量误差为 0.19、定性准确率为 99.5%，优于 MSE 的 0.93 和 97.0%。在中文到英文的口语字幕任务上，RIVAL-Iter1 的 GPT-4o 平均评分为 3.68，优于 Qwen2.5-7B-SFT 的 3.46；WMT 中文到英文在 Iter2 达到 BLEU 33.42、COMETKiwi 73.61。

两条技术线各自解决不同问题：RIVAL 解决 reward model 与策略分布漂移，HOMURA 解决时长约束下的质量—压缩折中。Index-Translate 则把这些训练方法组合到通用翻译、指令翻译、MEME 和字幕任务中。

五、实验对比：质量、约束遵循与小语种不能混成一个分数

技术报告使用 FLORES-200、FLORES 低资源对、WMT24++、WMT26、instTrans、IFMTBench、MEME、OPUS-Books、Biomedical、MTNT、MuST-Cinema 和 GuoFeng-Webnovel 等数据。需要注意：COMET-22、XCOMET-XXL、WMT judge、IFscore 和 MEME 分数的量纲不同，不能直接横向相加。

低资源结果更能体现项目的训练取向：35B-A3B 在 FLORES_minor_pair 上取得 COMET-22 0.8168、XCOMET-XXL 0.7164，off-target 仅 2.4%；9B 在 instTrans_minor 上取得 IFscore 0.7725，且 off-target 为 3.47%。指令基准 instTrans 包含 3,000 条中文到 20 种语言任务，低资源扩展另有 2,793 条；MEME 则包含 3,638 条中译英社区表达，覆盖 703 个词语和 857 个词义。

通用能力方面，Index-Translate-9B 的 C-Eval、GPQA-Diamond、INCLUDE、MMMLU 分数分别为 69.6、36.3、63.1、66.6；这说明专家融合后仍保留一定基础模型能力，但它的主要优势仍在翻译与约束任务，而非通用问答榜单。

六、最值得关注的创新点

• 能力边界被显式建模：把“格式是否保留、术语是否一致、目标语言是否正确、音节是否命中、长文身份是否稳定”作为可测量目标，而不是只看译文流畅度。
• 多语基础与专门模型分工：150 语种共享基础模型，语音、音节、长文档采用专门训练，避免一个模型在所有约束上互相牺牲。
• 奖励函数更接近生产需求：通用翻译使用 XCOMET、目标语言 gate 和 adequacy；指令翻译加入硬约束 gate；HOMURA 加入动态音节奖励；RIVAL 用迭代 reward model 缓解 reward hacking。
• 参数融合后再定向蒸馏：先用 0.8/0.1/0.1 融合通用、指令和 MEME 专家，再通过 MOPD 修复融合造成的局部退化。
• 从句子级走向内容生产级：语音输出、时间轴、声音条件、结构化数据和全篇一致性都进入同一产品路线。

七、局限与使用建议

第一，35B-A3B 仍是 preview，论文与 README 的部分评测使用不同解码和汇总口径；引用数据时应注明模型版本和指标。第二，音节数只是语音时长代理，真实配音还受语速、停顿、音素时长和声码器影响。第三，NativeLong 对超长文档的显存、吞吐和错误恢复要求较高，生产部署仍要评估上下文窗口与并发成本。第四，LLM judge、回译和 XCOMET 都可能存在偏差，官方也记录了引用后缀、终止标记等 judge failure cases。

如果你的任务是结构化资料、社区内容或多语言产品文本，优先选择 Index-Translate-9B；如果是低延迟或资源受限场景，可从 2B 开始。如果是视频字幕和配音，建议使用 Index-Echo + Index-Homura 的组合，并把实际音频时长作为最终验收标准；如果是书籍、网文或技术报告，优先测试 NativeLong 的全篇一致性，再决定是否采用分块流程。

八、结语

Index-Translate 的价值不只在于“多翻几种语言”，而在于重新定义翻译模型的交付指标：能否保留结构、接住语境、压进时长、维持音色，并在一整本书里保持同一个人物和概念。它的工程路线也很清晰：共享多语底座，专家化训练，参数融合与定向蒸馏，再为语音、长度和长文档建立专门接口。对于希望把翻译直接接入内容生产流程的团队，这种模型家族式设计比单一榜单分数更值得关注。

参考资料

• Index-Translate GitHub README：https://github.com/bilibili/Index-Translate/blob/main/README_zh.md
• Index-Translate 技术报告：arXiv:2609.40181
• HOMURA：arXiv:2601.10187
• RIVAL：arXiv:2506.05070
• Hugging Face 论文合集：Index-Translate Papers
• 公众号文章：B站开源 Index-Translate 多语言翻译模型家族

• https://www.modelscope.cn/models/MiniMax/MiniMax-Music3
• https://www.minimaxi.com/blog/minimax-music-3-0-cn

MiniMax Music 3 是一种高性能的音乐创作模型，能够生成时长可达五分钟的完整歌曲。该模型基于歌词和详细的音乐描述进行创作，能够生成结构紧凑、富有表现力的歌曲，同时具备稳定的长音频质量。只需提供一个创意想法和可选的歌词，模型即可在一次生成中完成作曲、编曲、演唱与制作，创作出一首完整的歌曲。

从音乐描述、语言模型到声音渲染重新设计了整条生成链路：用细粒度时序描述呈现情绪、配器与演唱的发展，以全局—局部协作的 Hybrid-LM 兼顾长程结构和声学细节，再通过多层 RVQ、Hidden States 融合与 Flow-Matching/Flow-VAE 提升最终声音的保真度。由此带来三项核心升级：更准确地理解创作意图、更完整且富于变化的编曲，以及更清晰、更自然的声音表现。

MiniMax Music 3 模型结合了一个 8 亿参数的全局语言模型，用于构建长期的音乐结构；以及一个 0.6 亿参数的局部语言模型，用于处理帧级的声音细节。该模型还采用了基于流匹配和流变显式估计的连续隐藏状态合成系统。最终，该模型能够生成 32 kHz 采样率、16 位立体声的 WAV 音频文件。

MiniMax Music 3.0 技术解析：开放权重音乐模型如何实现完整歌曲生成

MiniMax 正式推出新一代音乐生成模型 MiniMax Music 3.0。用户只需输入一个创意想法，并根据需要提供歌词，模型便可以在一次生成中完成作曲、编曲、演唱与制作，生成最长约 5 分钟的完整歌曲。

与只追求“生成一段好听音频”的传统方案不同，Music 3.0 更关注创作者意图能否贯穿整首作品：情绪是否持续一致，乐器是否按照结构合理进入和退出，人声是否自然，歌曲是否具有完整而连贯的发展。

MiniMax 官方将 Music 3.0 定义为开放权重、生产级全能音乐模型。其核心技术路线由 Tokenizer、Hybrid-LM 和 Synthesis 三个部分组成，并通过 Structured Caption、Hidden State Fusion、Flow-Matching 和 Flow-VAE 等技术，提升音乐结构、编曲细节与声音质量。

一、Music 3.0 解决了音乐生成中的哪些难题？

音乐生成看似只需要“输入提示词、输出音频”，但真正困难的地方在于如何把抽象的创作要求转化为可持续执行的音乐结构。

• 用户指定的乐器能否贯穿整首歌曲，而不是只在开头出现？
• 歌曲从主歌进入副歌时，情绪是否有自然的铺垫和释放？
• 长达数分钟的生成过程中，节奏、调性和人声是否保持稳定？
• 复杂编曲中，鼓组、贝斯、人声和旋律乐器能否保持清晰分离？
• 生成的人声是否具有自然的发音、换气、连贯性和情感变化？

Music 3.0 的设计目标，正是同时解决这些问题。它不仅要生成一段合理的音乐，还要尽可能实现一套完整、连贯的创作构想。

二、三层技术架构：Tokenizer、Hybrid-LM 与 Synthesis

Music 3.0 的完整生成流程可以概括为三个阶段：

1. Tokenizer：将音乐压缩成适合模型理解和预测的多层离散表示。
2. Hybrid-LM：同时建模歌曲的全局结构和局部声学细节。
3. Synthesis：将语言模型理解到的音乐信息还原为高保真音频。

1. 多层 RVQ：分离音乐结构与声学细节

Music 3.0 使用八层残差向量量化（Residual Vector Quantization，RVQ）表示音乐信息。

• 第一层主要负责音乐的核心语义和结构。
• 第二至第八层逐步补充声学残差和声音细节。
• 第一层使用大小为 16,384 的码本。
• 第二至第八层分别使用大小为 1,024 的码本。

在训练过程中，模型会先单独训练第一层，使其建立稳定的音乐信息骨架，再联合训练全部八层。这样的分层设计，可以避免单层 Token 同时承担过多的结构和音质信息，也有助于降低长歌曲生成时的累计误差。

2. Hybrid-LM：全局结构与局部声学协同建模

为了兼顾长程结构和局部细节，Music 3.0 采用了全局模型与局部模型协同工作的 Hybrid-LM 架构。

• 8B Global LLM：基于 Qwen3.5-8B 初始化，负责逐帧预测音乐语义 Token，并理解整首歌曲的上下文、结构和发展方向。
• 0.6B Local LLM：随机初始化，负责在每一帧内部沿深度轴预测声学 Token，补充局部的音色、演奏和声音细节。

训练过程分为两个阶段。第一阶段主要建立 Global LLM 对音乐语义的预测能力；第二阶段则对 Global LLM 与 Local LLM 进行全参数联合训练。

这种“全局负责方向、局部负责细节”的分工，使模型能够在最长 5 分钟的歌曲中保持结构稳定，同时保留不同段落应有的变化。

3. Hidden State Fusion：从离散预测走向连续声音渲染

传统音乐生成流程通常会将离散声学 Token 直接送入解码器。Music 3.0 则进一步融合 Global LLM 与 Local LLM 的连续 Hidden States，并将其作为声音生成模块的条件输入。

官方公布的声音生成链路为：

LLM 融合特征 → Flow-Matching → VAE Hidden States → Flow-VAE Decoder → 最终音频

其中，2.4B Flow-Matching 模块负责将融合后的语言模型特征映射至 VAE 隐空间；123M Flow-VAE 则负责完成最终的音频解码。

相比只依赖离散 Token，连续 Hidden States 能够保留更多高维声学信息，从而改善人声发音、乐器连贯性和音乐细节表现。

三、Structured Caption：让模型真正理解创作意图

音乐提示词最大的难点，是很多听感描述并不能直接转化为可执行的生成条件。例如，“温暖但克制”“逐渐变得宏大”“像一场现场演出”等表达，对人类音乐制作人来说很直观，但对模型而言却需要更细粒度的结构化描述。

Music 3.0 使用 Structured Caption 对音乐进行细粒度的时序描述。它不仅描述曲风，还会进一步说明：

• 速度、拍号与调性；
• 音乐情绪如何随时间变化；
• 主奏和伴奏乐器何时进入、叠加或退出；
• 鼓组、贝斯和律动基础如何发展；
• 人声的音色、唱法、气声、假声与和声；
• 空间感、混音质感、Delay 和 Autotune 等效果。

这套描述方式将抽象的音乐感受转化为更接近专业编曲语言的生成条件，使模型能够在歌曲发展过程中维持统一的音乐身份，同时保留合理的动态变化。

Prompt Enhancement：降低专业音乐创作门槛

为了让非专业用户也能使用这些复杂的音乐描述，MiniMax 构建了基于模板的 Prompt Enhancement System。

系统可以从专业 Structured Caption 模板库中选择合适的表达，并结合音乐术语与编曲规则，将用户的一句话扩展为逻辑更完整、细节更丰富的结构化提示词。

例如，用户只需输入“做一首温暖、克制的不插电歌曲”，系统就可以进一步补充人声类型、吉他演奏方式、空间感、动态变化和混音方向，使最终结果更接近用户真正想要的作品。

四、更完整、更富于变化的长歌曲编曲

长歌曲生成并不只是把音频“延长”。真正的难点在于让不同段落之间形成合理的发展关系。

Music 3.0 支持使用段落标签描述歌曲结构，包括：

• [intro]：前奏
• [verse]：主歌
• [pre-chorus]：副歌前段
• [chorus]：副歌
• [bridge]：桥段
• [instrumental]：器乐段
• [solo]：独奏段
• [outro]：尾奏

这些标签提供宏观结构，而 Structured Caption 则进一步描述每个时间阶段中的情绪、配器、人声、节奏和空间效果。两者结合后，模型可以更好地理解“哪里应该发生什么变化”。

在模型侧，8B Global LLM 负责维护全曲上下文，0.6B Local LLM 负责补充每个时间帧内的声学细节。这样的协作机制，可以帮助歌曲保持整体方向，同时避免长时间生成中出现段落重复、编曲单一或情绪突然中断。

五、声音品质升级：更清晰的混音与更真实的乐器

Music 3.0 在声音表现方面也进行了系统升级，目标是让混音更加开阔、清晰和平衡，减少传统生成音乐中常见的拥挤与浑浊感。

多层 RVQ 负责保留从核心结构到声学细节的不同层次信息；Hidden State Fusion 则在连续特征层面连接语言模型和声音渲染模块。通过这两种方式，模型可以更准确地响应具体的乐器指令，并呈现滑音、连奏等更接近真实演奏的技法。

• 独奏乐器的触弦、运弓和演奏细节更加清晰；
• 鼓组和贝斯具有更明确的冲击力与层次；
• 复杂电子编曲中的声部分离度更高；
• 低频保持力量感，同时减少对其他声部的遮蔽；
• 人声周围的空间感更加自然。

六、重塑自然人声：减少“机器感”

人声往往是生成音乐中最容易暴露机器感的部分。高频伪影、发音不清、乐句僵硬、不自然的换气，都会影响听众对歌曲情感的感受。

Music 3.0 通过新的声音渲染系统，对音色、唱法、气声、假声、和声以及 Delay、Autotune 等人声效果进行更细致的描述。

结合 Global LLM 与 Local LLM 的连续 Hidden States，Flow-Matching 和 Flow-VAE 可以将这些演唱信息带入最终的音频生成过程，从而改善：

• 歌词发音的准确性；
• 旋律线条的连贯性；
• 主歌与副歌之间的情绪变化；
• 呼吸和停顿的自然程度；
• 多层和声与主唱之间的融合。

理想情况下，生成的人声可以从克制的主歌逐渐过渡到开阔的副歌，也可以根据歌曲风格完成节奏型演唱、持续旋律、气声和声等不同表达。

七、一个适合 Music 3.0 的提示词示例

如果希望获得更稳定的结果，可以参考以下结构编写提示词：

温暖的中文流行抒情歌曲，74 BPM，A♭大调。
情绪从克制怀旧逐渐发展到温暖明亮的副歌。
成熟男中音，细腻但不过度夸张的演唱，
以钢琴、木吉他、古筝和柔和弦乐为主要配器。
主歌保持留白，副歌加入鼓组和宽阔和声，
整体采用自然的现场录音室混音质感。

[Intro]
[Verse]
[Pre-Chorus]
[Chorus]
[Bridge]
[Final Chorus]
[Outro]

这个提示词同时包含了风格、速度、调性、情绪发展、人声特征、配器、混音方向和歌曲结构，通常比单独输入“生成一首温暖的中文歌曲”更容易得到稳定、可控的结果。

八、Music 3.0 对 AI 音乐创作的意义

从技术路线来看，Music 3.0 的重点并不是单一模型规模的提升，而是对音乐生成全链路进行重新设计。

• Tokenizer 负责把音乐拆解为结构与细节；
• Hybrid-LM 负责同时理解长程结构和局部声学；
• Structured Caption 负责把创作者意图转化为可执行描述；
• Hidden State Fusion 负责连接语言理解与连续声音渲染；
• Flow-Matching 与 Flow-VAE 负责还原更高保真的最终音频。

这意味着 AI 音乐正在从“生成一个片段”逐步走向“完成一首作品”。对于音乐人、短视频创作者、游戏开发者、影视制作团队和普通用户来说，未来的重点不再只是能否生成音乐，而是能否更准确地表达创作意图，并在生成过程中保持结构、情绪和声音质量的一致性。

结语

MiniMax Music 3.0 通过多层 RVQ、Hybrid-LM、Structured Caption、Prompt Enhancement、Hidden State Fusion、Flow-Matching 和 Flow-VAE 等技术，试图解决音乐生成中最具挑战的几个问题：长歌曲结构稳定、编曲具有发展、人声更加自然，以及复杂混音中的细节还原。

它所展示的方向非常明确：音乐生成不应只是“听起来像音乐”，而应该更加接近真正的创作流程，让用户可以从一个想法出发，逐步得到一首完整、连贯并具有制作质感的歌曲。

关于模型权重、使用方式和具体开放政策，请以 MiniMax 官方最新发布页面为准。

参考资料：
MiniMax Music 3.0：新一代开放权重、生产级全能音乐模型｜MiniMax 官方技术博客

• 文章：AmphionASR: Personalized Context-Aware Speech Recognition
• 作者与机构：Amphion Team
• 发布时间：2026年7月28日

基于Qwen3-ASR-1.7B的统一条件化语音识别系统，将热词检索、目标说话人选择、退化鲁棒与耳语识别整合进单一1.7B参数SpeechLLM。

现实中的语音识别往往不只是“把声音转成文字”。用户可能希望模型优先识别人名、品牌名和行业术语，也可能只想转写某个指定说话人；输入音频还可能带有远场、噪声、混响、传输丢失，甚至是耳语。AmphionASR 的目标，就是用一个统一的 SpeechLLM 同时处理这些条件，而不是为每种场景分别维护一套模型。

论文最终给出的模型以 Qwen3-ASR-1.7B 为基础，通过分阶段微调、检索增强和目标说话人数据合成，将通用 ASR、热词 ASR、目标说话人 ASR、退化音频 ASR 和耳语 ASR 统一起来。其最突出的结果包括：热词检索 Recall@50 超过 94%，中英文实体错误率分别下降 55% 和 37%；目标说话人识别 WER 达到 13.02%；中文耳语 CER 为 0.58%，英文耳语 WER 为 6.11%。

一、论文要解决什么问题

传统通用 ASR 默认将输入中的全部可听语音转写出来，但在实际业务里，“识别什么”和“在什么条件下识别”经常需要额外说明。论文将这些需求归纳为四类：

• 热词条件识别：利用用户提供的词表，提高人名、地名、产品名和专业术语的识别率。
• 目标说话人识别：给定目标说话人的短注册语音，只转写混合音频中该说话人的内容。
• 退化音频识别：处理噪声、远场、遮挡、混响、录音染色、电子失真和传输丢失等情况。
• 耳语识别：处理声带振动特征和正常语音明显不同的低能量耳语。

这些任务的附加信息不同，但输出目标相同：生成用户真正想要的那部分转写。AmphionASR 因而采用统一的指令接口，通过文本指令、热词列表或注册语音告诉模型当前任务。

本文提出 AmphionASR，一套可同时适配上述四类识别任务的统一模型。热词列表、目标说话人注册音频作为任务条件输入；各类受损语音、耳语样本则用于让模型适配非常规声学输入。该设计将通用识别主干网络，与 “识别对象、识别约束条件” 两类辅助信息解耦。 热词识别分支的技术路线参考已有研究，融合 GLCLAP Top-K 检索、提示词注入、基于强化学习的 GRPO 优化方案；本文重点是将整套热词流程集成至统一模型，并在四类任务上完成全面评测。

二、模型总体设计

AmphionASR 由音频编码器、语言模型和热词检索分支组成。论文称其为 1.7B 模型，是按照 LLM 参数量命名；如果计入约 300M 的音频编码器和 2.6M 的检索适配器，总参数量约为 2.0B。

Figure 2，AmphionASR 整体架构图

1. 音频编码器

输入为 16 kHz 单声道音频。前端提取 128 维 Log-Mel 特征，帧移为 10 ms，随后经过卷积下采样和 24 层 Whisper 风格的 Pre-LN Transformer，输出 2048 维、12.5 Hz 的音频帧表示。模型使用 800 帧的分块推理窗口，从而突破普通 30 秒输入限制。

2. 语言模型与统一提示词

音频表示会直接进入 Qwen3-ASR-1.7B 的语言模型嵌入空间，再由自回归解码器生成转写。不同任务不需要切换模型，只需要更换提示词和可选输入：

• 通用 ASR：要求转写输入音频。
• 热词 ASR：在提示词中增加 [Hotwords: ...]。
• 目标说话人 ASR：先输入注册语音，再输入待转写的混合语音。
• 耳语 ASR：明确告诉模型输入是一段 whispered audio。

目标说话人任务中的注册语音和混合语音共用同一个音频编码器，并以“注册语音在前、混合语音在后”的两个音频嵌入片段进入 LLM。这个设计没有增加独立的说话人编码网络，而是让语言模型在统一上下文中完成说话人条件选择。

三、细粒度热词检索：从万级词库中找出当前相关词

直接把上万个候选热词塞进提示词既浪费上下文，也会引入大量无关干扰。AmphionASR 因此先进行检索，只选出与当前音频最相关的 Top-K 热词，论文默认 K=50。

与将整段音频池化成一个向量的方案不同，AmphionASR 保留逐帧音频表示。音频帧和候选热词分别通过两个小型 MLP 映射到共享的 512 维空间：

每个热词与所有音频帧计算内积，并取时间维度上的最大值作为相关性：

这种 max-over-time 方式强调局部匹配：即使热词只在长音频中短暂出现，也不容易被全句平均表示淹没。选出的热词随后作为逗号分隔的文本插入提示词，ASR 仍然只需要执行一次解码。

Figure 3，细粒度热词检索流程。该图用于说明音频帧、文本热词、共享空间和 Top-K 选择之间的关系

四、训练数据与三阶段训练

AmphionASR 基于低秩自适应微调（LoRA）有监督微调（SFT）三阶段训练方案完成训练。AmphionASR 使用 11 个公开语料构建出 8 个训练集合，总计 3,737,145 条训练样本。其中，目标说话人样本包含注册语音和混合语音两个音频输入，同时加入通用转写数据，缓解模型灾难性遗忘问题。

训练阶段热词词表构建逻辑：

针对带热词的训练样本，每条样本动态生成专属热词列表，真实热词 + 干扰词总数量约束在 10~50 个，词表构建分三步：

1. 真实实体词 每条标注真值热词有 5% 概率被随机剔除，模拟检索模块召回不完全的真实场景。保留绝大多数真实热词，使模型能够借助上下文偏置修正稀有实体、领域专业术语，解决无约束解码器极易错识这类词汇的问题。
2. 难例负样本（易混淆干扰词） 在线检索器为每条样本最多召回 10 个高度混淆词汇；检索打分权重为：0.6× 字符重叠度 + 0.4× 二元组杰卡德相似度，中文额外增加音节级近邻检索扩充候选。这类字形、发音相近的干扰词用于训练模型区分相似热词，避免模型无脑匹配列表内任意词汇。
3. 随机干扰词 词表剩余空位从全局热词库随机填充；优先填满难例负样本，再补充随机词，保证列表总长落在 10~50 区间。随机无关词汇用于约束提示词长度，防止模型过度依赖匹配候选词产生识别偏置。

每条语音样本有 80% 概率保留完整热词提示行，20% 概率直接舍弃热词输入。该策略让模型在训练时同时接触 “带热词辅助” 与 “无热词辅助” 两类输入，提升泛化能力。

阶段 1：适应耳语和退化音频

音频编码器和 LLM 同时训练，数据来自 Voice-in-the-Wild-2M 和 WhispEar。由于这些声学条件与普通清晰语音差异较大，论文首先允许声学表示和语言模型共同适应。

阶段 2：学习热词与目标说话人条件

冻结音频编码器，只更新 LLM。模型在这一阶段学习如何使用热词提示，以及如何根据注册语音从多人混合音频中选择目标说话人。

阶段 3：通过数据回放抑制灾难性遗忘

继续冻结音频编码器，在前两阶段数据之外加入 AISHELL-2 和 LibriSpeech 通用转写数据。目的不是追求新的通用 ASR SOTA，而是在增加个性化能力后尽量保留原模型的基础识别能力。

三个阶段均采用全线性层 LoRA，LoRA rank 为 64、alpha 为 128；每阶段训练 1 个 epoch，学习率为 \(1\times10^{-6}\)，余弦衰减和 5% warmup，有效 batch size 为 384，使用 6 张 GPU。

GRPO：同时优化转写准确率和热词一致性

三阶段 SFT 后，论文冻结音频编码器，通过 GRPO 继续优化 LLM。ASR 奖励是经过截断的负 CER：

热词奖励检查每个候选词在预测和参考文本中的“出现/未出现”状态是否一致：

总奖励为：

这一设计不仅鼓励模型抄对热词，也惩罚它盲目输出提示词中实际没有被说出的词。不过论文没有提供“SFT 后、GRPO 前”的独立对照，因此实验无法单独量化 GRPO 的贡献。

五、目标说话人数据是如何合成的

目标说话人训练数据由单说话人语料离线合成。对于同一目标说话人，系统选择两段不同录音：一段作为 3 至 5 秒注册音频，另一段作为待混合的目标语音，再加入 1 至 2 个非目标说话人。

混音过程可写为：

其中 \(K\sim\mathrm{Cat}(\{1:0.8,2:0.2\})\)，说话人间 SNR 服从均值 5 dB、标准差 7 dB 的正态分布，并截断到 -5 至 20 dB；干扰语音覆盖目标语音的比例从 0.1 到 1.0 均匀采样。之后以 0.5 的概率加入 RIR，再以 0 至 25 dB 的 SNR 加入 MUSAN 或 AudioSet 环境噪声。

为了降低“目标说话人不在场时仍然胡乱输出”的问题，训练集还包含 66,194 条空转写负样本，包括噪声/静音和只有非目标说话人的混合音频。这一部分是目标说话人系统能够学习保持沉默的关键。

Figure 4，目标说话人训练数据离线合成流程；可同时参考 Table 16 和 Table 17 的 RIR、噪声来源与负样本参数

六、实验结果

1. 热词和行业实体识别

在 GigaSpeechBench 的 12 个垂直领域中，加入 RAG 后，中文平均实体 B-CER 从 23.18% 降至 10.39%，相对下降约 55%；英文平均实体 B-WER 从 14.78% 降至 9.35%，相对下降约 37%。加入热词上下文后，AmphionASR 在中文 12 个领域中的 11 个、英文全部 12 个领域中优于无热词输入的 Qwen3-ASR-1.7B。

在约一万个候选词的词库上，相比已经预先计算好 Top-50 热词的条件，在线检索增加的配对中位延迟为英文 1.37 ms、中文 3.25 ms。但该实验每种语言只有 30 条音频，运行在共享 H20 上，没有并发和 RTF 数据，因此只能说明热状态下的相对开销，不能直接视为生产吞吐量结论。

2. 目标说话人识别

在内部合成的目标说话人测试集正样本上，AmphionASR 的 WER 为 13.02%，明显低于零样本 Qwen3-Omni-30B-A3B 的 31.91%，也远低于未进行目标说话人训练的 Qwen3-ASR-1.7B 的 78.99%。

这一结果说明模型确实学到了“根据注册语音选择说话人”的能力，同时负样本降低了目标缺席时的幻觉。不过测试集由与训练相同的合成流水线生成，只是更换随机种子和说话人；论文也没有与专用 TS-ASR 模型进行完全一致协议下的比较，因此泛化能力仍需要公开真实重叠语音数据验证。

3. 真实退化音频鲁棒性

Voice-in-the-Wild-Bench 包含 5,000 条中英文音频，覆盖 7 类单一退化和 Mixed 复合退化，并分为真实录音与频谱模拟两组，共 16 个子集。AmphionASR 在其中 8 个子集取得最低 WER。

• 真实录音领先项：遮挡 1.38%、混响 7.91%、录音染色 6.32%、传输丢失 2.32%。
• 模拟退化领先项：噪声 7.24%、混响 11.49%、录音染色 11.55%、Mixed 4.19%。
• Real-Mixed 为 2.85%，仅次于 Mega-ASR 的 2.63%。

这说明阶段 1 的退化训练具有明显效果，但 AmphionASR 并非在所有条件下都领先，例如真实噪声、远场、电子失真以及部分模拟条件仍有其他专用模型表现更好。

4. 耳语识别

耳语识别是论文中最稳定的优势之一。AmphionASR 在中文 wEar 上取得 0.58% CER，在英文 WTIMIT 上取得 6.11% WER，均为表中最低。

相比基础模型 Qwen3-ASR-1.7B，AmphionASR 在中文耳语上绝对降低 0.64 个百分点，在英文耳语上绝对降低 3.45 个百分点。模型同时在中英文上领先，说明耳语训练没有出现明显的语言间取舍。

5. 通用 ASR 能力是否被遗忘

论文在 4 个英文和 6 个中文通用测试集上进行了保持性检查。与同规模的 Qwen3-ASR-1.7B 相比，AmphionASR 在每个测试集上的差距都不超过 0.85 个绝对 WER/CER 点，并在两者直接比较时赢下 10 个测试集中的 4 个。

需要区分的是：这不代表 AmphionASR 在 4 个数据集上取得所有系统中的最好结果。Table 18 和 Table 19 的整体领先者仍分散在 Kimi-Audio、Step-Audio、FireRed-ASR2 等模型中。论文将该实验定位为“能力保持检查”，而不是通用 ASR 的 SOTA 声明，这是较为客观的表述。

七、论文的主要创新点

1. 用统一接口承载多种条件化 ASR。文本指令、热词和注册语音都被组织为 LLM 上下文，使不同任务共享音频编码器和解码器。
2. 将帧级热词检索接入完整 SpeechLLM。局部 max-over-time 匹配比整句池化更适合发现短时出现的实体，并把万级候选库压缩到 Top-50。
3. 通过双音频输入实现目标说话人选择。注册音频和混合音频共用声学编码器，不需要额外构建完全独立的 TS-ASR 网络。
4. 系统化构造目标缺席负样本。噪声、静音和纯干扰说话人样本教会模型在找不到目标时保持沉默，从而降低幻觉。
5. 分阶段训练兼顾专项能力与基础能力。先适应声学变化，再学习条件控制，最后回放通用数据，训练顺序与不同模块的职责相匹配。

需要注意，论文明确指出 GLCLAP Top-K 检索、提示词注入和 GRPO 的组合已有相关工作。AmphionASR 的贡献重点不是提出一种全新的检索或强化学习算法，而是把这些方法集成到统一模型中，并覆盖更多条件化识别任务。

八、局限性与值得继续验证的问题

• 语言范围有限：当前核心评测只覆盖普通话和英语，尚不能证明统一训练方法对越南语等语言同样有效。
• 热词对比并非完全同输入：多数基线没有收到热词，因而结果证明的是完整“检索加上下文提示”流水线价值，而不是公平条件下检索器单模块的增益。
• GRPO 缺少独立消融：没有 SFT-only 对照，无法知道最终提升中有多少来自 GRPO。
• 目标说话人测试仍偏内部合成：需要在公开真实会议、重叠说话和跨设备数据上验证。
• 延迟测试规模较小：共享 GPU、每种语言 30 条请求、无并发、无 RTF，不能据此推断生产服务容量。
• 统一模型并非所有任务都最优：它的优势是能力覆盖和共享部署，而不是在每个通用或退化子集上都击败专用模型。

九、总结

AmphionASR 最有价值的地方，是把 ASR 从“无条件转写器”推进成“可被用户条件控制的语音识别模型”。热词告诉模型哪些词值得重点关注，注册语音告诉模型应该听谁，任务指令告诉模型输入属于耳语还是普通语音，而退化数据让模型适应真实采集环境。

从实验结果看，热词和耳语是目前证据最充分的两项能力：前者在万级候选词库下显著降低实体错误，后者在中英文测试集上同时取得最好结果。目标说话人和退化鲁棒性同样表现出潜力，但还需要更严格的公开测试和生产级吞吐评估。

对于实际 ASR 系统，这篇论文给出的启发并不是必须把所有任务都塞进一个模型，而是可以建立一套共享的语音表示和解码骨干，再通过文本上下文、参考音频与检索结果描述用户意图。这样既能减少多模型维护成本，也让个性化语音识别拥有更统一的产品接口。