• 论文题目：LLM-ForcedAligner: A Non-Autoregressive and Accurate LLM-Based Forced Aligner for Multilingual and Long-Form Speech
• 论文预印版：https://arxiv.og/pdf/2601.18220

背景

在语音处理中，强制对齐（Forced Alignment，FA）的目标是在给定相应转录文本的情况下，估计语音信号中每个词或字符的起始和结束时间戳。FA在众多应用中不可或缺，包括大规模语音语料库的构建与清理、自动字幕生成和词级高亮显示，以及语音合成中的时长建模和韵律分析。随着多语言和多模态应用的不断发展，高效且准确的FA变得日益重要。

现有的FA方法大致可分为两大类：传统混合系统和端到端模型。Montreal forced aligner（MFA）通常是一种混合高斯混合模型-隐马尔可夫模型（GMM-HMM）框架，通过维特比解码计算帧级音素到文本的对齐路径来获取时间戳。CTC是一种常见的端到端强制对齐方法，它利用基于CTC的自动语音识别（ASR）模型计算的帧到token对齐，采用动态规划在受限的搜索路径中找到与文本序列对齐的最优路径。CIF为每个编码器输出帧预测一个权重，并随时间对这些权重进行积分。当累积权重超过阈值时，会触发一个触发事件，此时计算累积的帧级声学向量的加权和，生成与输出token对齐的声学嵌入，从而能够为每个token分配相应的时间戳。WhisperX采用轻量级端到端音素识别模型对语音进行帧级音素分类，然后使用动态时间规整（DTW）将得到的音素序列与转录文本对齐，通过聚合音素级时间戳来获取词级时间戳。

然而，上述FA方法与特定语言的音素、词汇或结构设计紧密相关，这意味着在多语言场景中，部署通常需要一系列结构各异的独立系统，导致工程成本和维护复杂度随语言数量呈线性增长。此外，以往的FA方法可概括为一个先计算局部声学相似度，再进行单调路径搜索的过程。虽然这些方法能为短片段生成相当准确的边界，但在长语音中，它们往往会积累显著的系统性时间偏移。

大型语言模型（LLMs）在多语言文本理解和长序列处理任务中展现出了强大的能力，为支持多语言、跨语言和长语音的语音文本对齐提供了新的可能性。越来越多的研究探索将语音编码器与LLMs相结合，构建语音大语言模型（SLLMs），以在统一框架内处理语音和文本。然而，现有的SLLMs主要在高级语义任务上取得了成功，例如ASR、语音理解、语音合成和口语对话。对于对声学特征更为敏感的FA，这些SLLMs通常将其视为ASR的副产品，通过next-token prediction来生成词级或字符级的时间戳。这种模式容易产生时间非单调的幻觉，并且会导致显著的推理延迟。

LLM-ForcedAligner

提出了一种新的强制对齐（Forced Alignment, FA）框架，称为 LLM-ForcedAligner。该方法将强制对齐重新表述为一种槽位填充（slot-filling）范式：

将每个单词或字符的起始和结束时间戳视为离散的时间索引，并在转录文本中插入专门的特殊标记作为“槽位”。这样，在语音嵌入表示以及插入了这些槽位的转录文本作为条件输入的情况下，语音大语言模型（SLLM）可以直接在指定的槽位位置预测对应的时间索引。

这一新的强制对齐范式有效利用了大语言模型在槽位填充能力和长上下文处理能力方面的优势，将传统基于纯声学、音素级别的对齐方法扩展为具备语义边界感知能力的字符级或词级对齐方法。

在具体实现上，为了进行槽位填充，我们在训练阶段采用了因果注意力掩码（causal attention masking），且不对输入序列和标签序列引入任何偏移（shift）。这使得每个槽位可以基于其自身及其之前的上下文信息来预测对应的时间索引。同时，损失函数仅在槽位位置上进行计算。

此外，我们采用了一种动态槽位插入策略：在转录文本中，随机决定是否为每个单词或字符插入特殊标记，从而使 LLM-ForcedAligner 能够对任意单词或字符进行时间戳预测。

在推理阶段，LLM-ForcedAligner 支持非自回归（non-autoregressive）解码，相比自回归解码方式可以完全避免幻觉（hallucination）问题，并且实现更快的推理速度。

实验结果表明，在多语言、跨语言以及最长达 300 秒的长语音场景下，LLM-ForcedAligner 相较于以往的强制对齐方法，在累计平均偏移（Accumulated Averaging Shift, AAS）指标上实现了 69%~78% 的相对下降，同时仅带来了轻微的实时因子（Real-Time Factor, RTF）增加。

Overall Architecture

LLM-ForcedAligner将FA构建为一种槽位填充范式：给定语音信号和一个添加了表示词级或字符级的开始和结束时间槽位特殊token“[time]”的转录文本，SLLM直接为每个槽位预测相应的离散时间戳索引。与以往首先进行帧级或音素级的对齐，然后将结果聚合为词级或字符级的时间戳FA方法不同，LLM-ForcedAligner则直接预测词级或字符级的时间戳索引。

训练LLM-ForcedAligner需要大量语音-转录文本对的词级或字符级时间戳标签；然而，由于人工标注成本过高，我们采用了由MFA生成的伪时间戳标签，因为MFA是现有对齐方法中准确率最高的。需要强调的是，MFA伪标签本身存在噪声和系统性偏移。LLM-ForcedAligner并非简单复制MFA的输出，而是利用SLLM对这些伪标签进行提炼和平滑处理，从而实现更稳定、偏移更小的时间戳预测。

LLM-ForcedAligner 中的语音编码器来自AuT，其输出的每个语音嵌入帧对应80毫秒的语音信号。在将带有MFA伪标签的转录文本输入Tokenizer之前，我们用[time] 替换所有MFA伪标签时间戳。此外带有MFA伪标签的转录文本同时将每个时间戳除以80毫秒以离散成时间序列索引，作为模型训练时的标签。

时间戳预测层是一个线性层，具有3750个输出类（300秒除以80毫秒），用于预测整个输入序列的时间戳索引。

LLM-ForcedAligner的多语言和跨语言能力由AuT语音编码器和多语言LLM共同提供。具体而言，在大规模多语言语料库上预训练的AuT编码器能为多种语言生成有效的帧级语音嵌入，而多语言LLM则处理不同语言的语义信息。此外，特殊token[time]和时间戳预测层不依赖于特定语言的音素集或词典。因此，LLM-ForcedAligner能够处理多语言和跨语言的语音-文本对，克服了以往FA方法的特定语言限制。

训练策略

SLLM通常采用一种训练方案，即移除输出序列的最后一个标记和标签序列的第一个标记，使两个序列之间产生一个位置的偏移；然后计算交叉熵损失，从而实现标准的下一个标记预测范式。然而，这种范式并不适合填充时间戳槽位填充。

相反，我们采用因果训练，使输出和标签序列不发生偏移，这让LLM-ForcedAligner在训练过程中能够明确感知时间戳槽位，并预测要填充到这些槽位中的时间戳。此外，因果训练使LLM-ForcedAligner在预测当前槽位的时间戳时能够结合先前的上下文，确保时间戳预测的全局一致性。在训练过程中，我们仅在时间戳槽位位置计算交叉熵损失，从而将LLM-ForcedAligner的训练目标集中在时间戳槽位填充上。

此外，在训练过程中为每个词或字符持续插入开始和结束时间戳槽位，会导致LLM-ForcedAligner过度依赖之前预测的时间戳。我们提出了一种训练过程中的动态槽位插入策略，以增强LLM-ForcedAligner的泛化能力。具体而言，对于每个样本，我们以50%的概率决定是否应用动态槽位插入。当应用动态槽位插入时，样本中的每个词或字符有50%的概率在其后插入开始和结束时间戳槽位。该策略使LLM-ForcedAligner能够预测任意位置的词或字符的开始和结束时间戳。

非自回归推理

由于在训练过程中输出和标签序列保持不偏移，LLM-ForcedAligner能够使用非自回归解码同时预测转录文本中所有槽位的时间戳索引。具体来说，对于一个语音-转录文本对，用户可以在任意单词或字符之后自定义起始和结束时间戳槽位。给定用户定义的时间戳槽位位置，LLM-ForcedAligner通过非自回归解码预测其时间戳索引，然后将时间戳索引乘以80毫秒就转换为毫秒级时间戳。

实验

我们的实验基于56000小时的语音数据展开，涵盖10种语言：中文、英语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语和西班牙语。这些数据来源于内部和开源数据集的组合，覆盖了多种场景，如朗读语音、对话语音、播客和会议等。所有训练和测试数据集都标注了由MFA生成的伪时间戳，此外，我们还在一个带有手动标注时间戳的内部中文测试数据集上评估了LLM-ForcedAligner的性能。训练数据集中的转录文本要么来自人工标注，要么来自ASR模型的预测结果，这增强了LLM-ForcedAligner对不同质量转录文本的泛化能力。

LLM-ForcedAligner中的AuT编码器包含316.42M参数，其初始化源自Qwen3-Omni的AuT编码器，LLM使用的是Qwen3-0.6B，时间戳预测层是一个单一的线性层，具有3750个输出时间戳类别，包含3.84M参数。

在训练过程中，AuT编码器、LLM和时间戳预测层联合优化。我们使用累积平均偏移（AAS）来衡量时间戳预测的性能。AAS值越低，表明时间戳预测性能越好。具体来说，AAS计算每个时间戳槽位的平均偏移，其定义为测试数据集中所有槽位的预测时间戳与真实时间戳之间的平均绝对差。

实验结果

表1和表2在多语言、跨语言和长语音场景下，基于MFA标注的测试数据集，将LLM-ForcedAligner与其他FA方法进行了比较。Monotonic-Aligner只支持中文，NFA和WhisperX需要根据不同的语言切换模型。我们观察到，LLM-ForcedAligner不仅支持多种语言且无需切换模型，而且与其他FA方法相比，在多语言原始语音上的AAS相对降低了66%～73%。此外，LLM-ForcedAligner在多语言和跨语言长语音上实现了极低的平均AAS，而在这种场景下，其他FA方法往往表现不佳。

表3在人工标注的中文测试数据集上对LLM-ForcedAligner与其他FA方法进行了比较，涵盖了带噪声、跨语言和长语音场景。我们发现，在人工标注的测试数据集上，LLM-ForcedAligner的平均AAS相较于其他FA方法实现了68%～78%的相对降低，这表明使用MFA标注数据训练的LLM-ForcedAligner能够很好地泛化到真实世界的场景中。

此外在表2中，MFA标注测试数据集上长语音的平均AAS略高于原始语音的平均AAS，这反映了MFA在长语音上的系统性偏移。相比之下在表3中，在人工标注的测试数据集上，长语音的平均AAS低于原始语音的平均AAS，这表明LLM-ForcedAligner并非简单复制MFA的时间戳预测，而是学习到了更稳健、更可靠的时间戳预测，能够在长语音场景中有效修正MFA的标签。此外，在长语音推理过程中，LLM-ForcedAligner可以利用更长的历史上下文来预测当前片段的时间戳，从而在人工标注的长语音测试数据集上取得了更优异的性能。

表4报告了在相同的推理条件下，LLM-ForcedAligner与其他FA方法的平均实时因子（RTF）。随着模型参数数量的增加，RTF略有上升。由于LLM-ForcedAligner采用非自回归推理的优势，它在AAS上实现了大幅降低，RTF仅略有增加。用户可以根据AAS与RTF的权衡来选择最合适的FA方法。

表5展示了在MFA标注和人工标注的测试数据集上，使用不同时间戳token时长训练的LLM-ForcedAligner的平均AAS结果。当时间戳token时长为120毫秒时，时间戳预测层有2500个类别（300秒除以120毫秒）；当时长为80毫秒时，有3750个类别（300秒除以80毫秒）；当时长为40毫秒时，有7500个类别（300秒除以40毫秒）。随着时间戳token时长的缩短，MFA标注测试数据集上的AAS稳步下降，这表明更精细的时间戳预测更符合MFA标签。然而，在人工标注的测试数据集上，更精细的时间戳预测并没有带来更低的AAS，因为它更贴合MFA的时间戳分布，从而导致泛化能力下降。80毫秒的时间戳token时长是最佳选择，因为AuT编码器输出的每个帧也代表80毫秒的语音，这有助于LLM-ForcedAligner根据语音边界更好地确定单词或字符的起始和结束时间戳。

表6展示了LLM-ForcedAligner在MFA标注和人工标注的测试数据集上的平均AAS结果，并对比了训练期间有无动态槽位插入的情况。动态槽位插入会随机决定是否在每个单词或字符后插入时间戳槽位，使LLM-ForcedAligner能够在任意位置预测开始和结束时间戳，并防止其过度依赖先前预测的时间戳。我们发现，动态槽位插入降低了两个测试数据集上的AAS，其中对长语音的改进更为明显。这一现象的原因是，动态槽位插入通过随机决定是否在每个单词或字符后插入时间戳槽位，避免了LLM-ForcedAligner过度依赖历史预测的时间戳，否则可能会导致系统性的时间偏移。此外，动态槽位插入使LLM-ForcedAligner能够在任意位置为单词或字符预测开始和结束时间戳，支持用户自定义的时间戳预测。

图3展示了在 LLM-ForcedAligner 以不同动态槽位插入比例进行训练时，在人工标注的测试数据集上的AAS结果。当动态槽位插入比例低于训练样本的50%时，LLM-ForcedAligner的AAS较低，且随着比例的增加，AAS持续下降。然而，当该比例超过训练样本的50%时，AAS开始上升，在100%时达到最高值。因此，选择50%这一合适的动态槽位插入比例对于增强LLM-ForcedAligner的泛化能力至关重要。

图4展示了在不同参数设置下，LLM-ForcedAligner在MFA标注和人工标注的测试数据集上的AAS结果。当LLM-ForcedAligner的参数规模小于0.9B时，时间戳预测性能受到模型容量不足的限制。当参数规模超过0.9B时，MFA标注测试数据集上的AAS没有显著变化，而人工标注测试数据集上的AAS则有所上升，这表明LLM-ForcedAligner过拟合了MFA时间戳分布。因此，0.9B的参数规模是最优的。在这一规模下，LLM-ForcedAligner不会严格拟合MFA时间戳分布，而是学习到更平滑、更稳健的时间戳预测行为，具有更好的泛化性能。

参考文献

• [1] Michael McAuliffe, Michaela Socolof, Sarah Mihuc, Michael Wagner, and Morgan Sonderegger. 2017. Montreal Forced Aligner: Trainable Text-Speech Alignment Using Kaldi. In Proc. Interspeech, pages 498–502.
• [2] Xian Shi, Yanni Chen, Shiliang Zhang, and Zhijie Yan. 2023. Achieving Timestamp Prediction While Recognizing with Non-Autoregressive End-to-End ASR Model. CoRR, arXiv:2301.12343.
• [3] Max Bain, Jaesung Huh, Tengda Han, and Andrew Zisserman. 2023. WhisperX: Time-Accurate Speech Transcription of Long-Form Audio. In Proc. Interspeech
• [4] Xian Shi et. al., Qwen3-ASR Technical Report, https://arxiv.org/abs/2601.21337

• Github: https://github.com/QwenLM/Qwen3-ASR
• HuggingFace: https://huggingface.co/collections/Qwen/qwen3-asr
• ModelScope：https://www.modelscope.cn/collections/Qwen/Qwen3-ASR
• paper:https://github.com/QwenLM/Qwen3-ASR/blob/main/assets/Qwen3_ASR.pdf

Qwen3-ASR 是由Qwen开发的一系列功能强大的语音识别模型，包括两个强大且全面的语音识别模型 Qwen3-ASR-1.7B 与 Qwen3-ASR-0.6B，以及一个创新的语音强制对齐模型 Qwen3-ForcedAligner-0.6B。Qwen3-ASR 系列的语音识别模型支持 52 个语种与方言的语种识别与语音识别。

依托创新的预训练 AuT 语音编码器与 Qwen3-Omni 基座模型的强大多模态能力，Qwen3-ASR 实现了精准与稳定的语音识别，其 1.7B 模型在中文、英文、中文口音与歌唱识别等场景下达到 SOTA，具有复杂文本识别能力以及强噪声下的稳定性；0.6B 模型在性能与效率上实现了均衡，在保证语音识别准确率的情况下，128 并发异步服务推理能够达到 2000 倍吞吐，即 10 秒钟处理五个小时以上的音频。

强制对齐模型 Qwen3-ForcedAligner-0.6B 是基于 NAR LLM 推理的时间戳预测模型，支持 11 个语种的任意位置的灵活精准的强制对齐，其时间戳预测精度超越传统的 WhisperX，Nemo-Forced-Aligner 等模型，单并发推理 RTF 达到了高效的 0.0089。

Introduction

核心特性与贡献可概括如下：

• 实现一体化 ASR 与 LID 的最先进性能。
  Qwen3-ASR-1.7B 与 Qwen3-ASR-0.6B 支持 30 种语言、22 种中文方言的自动语音识别，以及覆盖全球不同国家和地区的英语变体。这两款模型在复杂环境下同样具备鲁棒识别能力，包括但不限于歌唱语音与歌曲识别、噪声环境识别以及复杂文本模式（如混合语言、口语化表达等）的识别。
• 提出新型语音强制对齐架构。
  首次引入了基于大语言模型的语音强制对齐器，可在灵活时间粒度下生成高精度时间戳，包括词级、句级和段落级。不同于现有工具（如 Montreal Forced Aligner, MFA 和 NeMo Forced Aligner, NFA），我们的 Qwen3-ForcedAligner-0.6B 提供统一的多语言解决方案，弥补了 Qwen3-ASR 系列中缺乏一体化强制对齐系统的不足，补全了综合口语语言处理体系中的关键功能模块。
• 开源模型与完整的推理及微调框架。
  除发布三款模型权重外，我们还提供了一个完全开源、易于使用的代码框架，支持多种推理能力（如多粒度对齐、流式转写和多语言处理），并提供可复现的微调方案。我们希望这一统一工具链能够加速自动语音识别领域的研究与应用开发。

Qwen3-ASR

Architecture

Qwen3-ASR 系列模型以 Qwen3-Omni 作为基础模型，该模型已被验证具备强大的音频理解能力。待识别语音首先输入至 AuT 编码器。AuT 编码器独立于 Qwen3-Omni 和 Qwen3-ASR 进行预训练。

如图 2（左）所示，AuT 是一种基于 Attention Encoder-Decoder (AED) 架构的 ASR 模型。其对 128 维 Fbank 特征进行 8 倍下采样，从而生成 12.5Hz token 率的音频表示。为兼顾流式与离线推理能力，我们采用 动态 Flash Attention 窗口机制，窗口大小在 1 秒至 8 秒之间自适应变化，使 Qwen3-ASR 既可处理短语音块进行流式推理，也可支持长语音的离线推理。

本次发布模型的整体架构如图 2（右）所示，具体如下：

• Qwen3-ASR-1.7B
  由 Qwen3-1.7B 主干模型、一个 projector 模块以及一个参数规模为 3 亿（300M）、隐藏维度为 1024 的 AuT 编码器构成。该模型在多语言及方言语音识别任务上表现突出，同时在复杂声学环境和复杂文本模式下具有较强鲁棒性。
• Qwen3-ASR-0.6B
  由 Qwen3-0.6B 主干模型、一个 projector 模块以及一个参数规模为 1.8 亿（180M）、隐藏维度为 896 的 AuT 编码器构成。该紧凑型模型在识别精度与推理效率之间取得良好平衡，在参数规模低于 10 亿的 ASR 模型中保持较强竞争力。

整体而言，该系列模型通过模块化音频编码器与大规模语言模型的融合，实现了高性能、多语言、可扩展的统一语音识别框架。

训练策略

Qwen3-ASR 的训练过程包括 AuT 预训练、Omni 预训练以及 ASR 后训练 三个阶段，其中前两个阶段与 Qwen3-Omni 完全一致。

（1）AuT 预训练

在该阶段，我们的目标是在 AED（Attention-based Encoder-Decoder）框架下，利用大规模标注数据训练一个预训练编码器。

我们使用了约 4000 万小时的伪标注 ASR 数据，其中大部分为中文和英文数据。实验表明，该预训练编码器在 动态注意力窗口大小 下能够提供通用且稳定的音频表示。

---

（2）Omni 预训练

我们以预训练好的 Qwen3-Omni 模型作为 ASR 训练的基础模型。

Omni 预训练在 多任务音频、视觉和文本数据 上进行。在该阶段，Qwen3-ASR-0.6B 和 Qwen3-ASR-1.7B 均使用 3 万亿 token 进行训练，从而获得多模态理解能力。

（3）ASR 监督微调（SFT）

在 SFT 阶段，我们对 ASR 的输入/输出格式进行风格迁移训练，所使用的数据规模显著小于预训练阶段，且与预训练语料不重叠。

除标准的中文、英文和多语种 ASR 数据外，SFT 阶段还使用了：

• 非语音数据
• 流式增强数据
• 上下文偏置数据

具体而言，我们将模型训练为一个 仅用于 ASR 的模型，不遵循 prompt 中的自然语言指令，从而缓解指令注入（instruction injection）和指令跟随失败的问题。

Qwen3-ASR 对给定音频的输出分为两种类型：

（4） ASR 强化学习（RL）

在最后阶段，我们采用 Group Sequence Policy Optimization（GSPO） 进一步提升识别质量。事实证明，强化学习在提升模型的抗噪声能力、转写稳定性以及处理复杂疑难语音的能力方面发挥了关键作用。

在强化学习阶段共使用约 5 万条语音数据，其中包括：

• 35% 的中英文数据
• 35% 的多语言数据
• 30% 的功能性数据

该阶段的目标是在复杂环境下提升转写的稳定性。

特点

基于上述架构与训练策略，Qwen3-ASR 系列模型在以下方面表现突出：

（1）高精度中英文识别。
在各个训练阶段中，中英文数据占据了训练数据的主要比例。与众多竞争系统相比，该模型在多个基准测试中取得了领先的中英文识别性能。

（2）支持多语言与多方言。
Qwen3-ASR-1.7B 和 Qwen3-ASR-0.6B 支持 30 种语言和 22 种方言，详见表 1。

（3）长音频与流式推理能力。
Qwen3-ASR-1.7B 和 Qwen3-ASR-0.6B 原生支持最长不超过 20 分钟的单段语音输入，并支持流式与离线统一推理。

（4）歌声与歌曲识别能力。
Qwen3-ASR-1.7B 和 Qwen3-ASR-0.6B 能够准确识别歌声与歌曲内容。除具备较强的歌声识别能力外，Qwen3-ASR 系列还支持在含有背景音乐（BGM）的情况下直接转写完整歌曲，体现出对伴奏和复杂音乐混合场景的鲁棒性。

推理效率

Qwen3-ASR 的速度基准测试在两种场景下进行：离线批量推理和在线异步推理。

• 前者通过 vLLM 的离线批量生成方式进行评估；
• 后者基于 vLLM Serve 的多并发请求设置进行评估，更贴近工业环境中的实际推理效率表现。

所有实验均基于 vLLM v0.14.0 运行，启用了 CUDA Graph，并采用 bfloat16 精度进行推理。表 2 的结果显示，在不同并发水平下，Qwen3-ASR-0.6B 的平均首 Token 延迟（Time-to-First-Token, TTFT）最低可达 92 毫秒。

在并发数为 128 时：

• 实时因子（Real-Time Factor, RTF）最低可达 0.064
• 吞吐量最高可达 2000

这意味着该模型每秒可以处理 2000 秒的音频。

Qwen3-ForcedAligner

Overview

Qwen3-ForcedAligner-0.6B 旨在在已知对应文本转写的情况下，估计语音中每个单词或字符的起始和结束时间戳。该模型将强制对齐（Forced Alignment）任务重构为一种槽位填充（slot-filling）形式。具体而言，在输入语音及其转写文本的基础上，在文本中插入特殊标记 [time]，用于表示词级或字符级的起止时间槽位。随后，Qwen3-ForcedAligner-0.6B 直接预测每个槽位对应的离散时间戳索引。

表 2： Qwen3-ASR 系列模型的效率。Qwen3-ASR-0.6B 和 Qwen3-ASR-1.7B 支持基于 vLLM 的离线批处理和在线异步推理模式，而 Qwen3-ForcedAligner-0.6B 仅支持 PyTorch 下的离线批处理推理。表中所有测量结果均基于时长约为 2 分钟（ASR）和 1 分钟（FA）的输入音频，所有推理均在单个典型计算资源上执行。Conc. 表示并发级别。TTFT p95 表示第 95 百分位 TTFT 延迟。

高精度时间戳预测
Qwen3-ForcedAligner-0.6B 在时间戳预测偏移方面显著降低误差。与其他强制对齐方法相比，在人工标注测试数据集上，其累计平均时间偏移实现了 67%～77% 的相对下降。

广泛的应用场景
Qwen3-ForcedAligner-0.6B 支持 11 种语言 的语音输入，最长可达 300 秒，包括跨语言场景。同时，用户可以灵活地对任意单词或字符进行时间戳预测定制。

快速推理速度
Qwen3-ForcedAligner-0.6B 摒弃了传统的“下一个 Token 预测”范式，采用非自回归（NAR）推理方式进行时间戳预测，从而显著提升推理效率。

模型设计

如图 3 所示，Qwen3-ForcedAligner-0.6B 采用一个预训练的 AuT 编码器（AuT encoder） 来处理输入语音信号，并生成语音嵌入表示（speech embeddings）。转写文本会被重新格式化：为每个单词或字符添加起始和结束时间戳标签。随后，每个时间戳标签都会被替换为特殊标记 [time]，并输入到分词器（tokenizer）中。此外，文本中的时间戳标签会通过将时间戳数值除以 AuT 编码器输出的 80ms 帧时长进行离散化，转换为对应的时间索引。

语音和文本的嵌入序列随后一起输入到 Qwen3-0.6B 大语言模型（LLM） 中处理，之后通过一个时间戳预测线性层，对整个输入序列的时间戳索引进行预测。

在本工作中，时间戳预测的最大类别数为 3750，对应支持最长 300 秒的语音输入。

在训练阶段，会将随机掩蔽的时间戳槽位动态插入到 token 序列中，用以表示单词或字符的边界。随后，将组合后的序列输入到 Qwen3-0.6B 大语言模型（LLM） 中，并通过时间戳预测层为每个槽位预测对应的时间戳索引。在监督训练过程中，对同步对齐的标签序列与模型输出序列之间计算交叉熵损失（cross-entropy loss）。

训练策略

训练 Qwen3-ForcedAligner-0.6B 需要大量带有词级或字符级时间戳标注的语音–文本对。然而，由于人工标注成本极高，本文采用 Montreal Forced Aligner（MFA）生成的伪时间戳标签。MFA 是当前最准确的强制对齐方法之一。

需要注意的是，MFA 生成的伪标签天然包含噪声和系统性偏移。Qwen3-ForcedAligner 并非简单复现 MFA 的输出，而是对这些伪标签进行蒸馏与平滑，从而获得更稳定、时间偏移更小的时间戳预测结果。

传统的大语言模型（LALMs）通常采用一种训练方案：移除输出序列的最后一个 token 以及标签序列的第一个 token，在两者之间引入一个位置偏移，并基于此计算交叉熵损失，从而实现标准的“下一个 token 预测”范式。然而，该范式并不适用于时间戳槽位的填充任务。

Qwen3-ForcedAligner-0.6B 采用因果训练（causal training）方式，保持输出序列与标签序列不做位置偏移。这样，模型在训练过程中可以显式地识别时间戳槽位，并直接预测用于填充这些槽位的时间戳索引。

此外，因果训练使 Qwen3-ForcedAligner-0.6B 在预测当前时间戳槽位时能够利用之前的上下文信息，从而保证整体时间戳预测的全局一致性。交叉熵损失仅在时间戳槽位上计算，使训练目标专注于时间戳槽位填充这一核心任务。

此外，为了增强模型的泛化能力，Qwen3-ForcedAligner-0.6B 在训练过程中采用了动态槽位插入策略。具体而言，对于样本中的每个单词或字符，模型会随机决定是否在其后插入起始和结束时间戳槽位。

推理与可用性

由于训练过程中 token 序列保持未偏移（non-shifted），用户可以在任意单词或字符之后插入起始和结束时间戳槽位。Qwen3-ForcedAligner-0.6B 使用非自回归（NAR）解码，能够一次性同时预测文本中所有时间戳槽位对应的时间索引。

当获得时间索引后，将每个索引乘以 80ms，即可恢复出实际预测的时间戳。

Qwen3-ForcedAligner 的速度基准测试基于 FlashAttention 和 bfloat16 进行。由于该模型是非自回归的，Transformers 与 vLLM 在推理速度上的差异相对较小，因此所有基准测试均使用 Transformers 进行。表 2 的结果表明，即使在高并发场景下，该模型仍能保持接近 0.001 的实时率（RTF），也就是说，它可以每秒处理 1,000 秒的音频。

Experiments

评估细节

基线系统

为验证 Qwen3-ASR 系列模型的性能，我们将其与当前最先进（SOTA）的闭源 ASR API 以及广泛使用的开源模型进行对比评估。具体而言，我们将 Qwen3-ASR 与三种领先的专有服务进行比较：

• OpenAI 的 GPT-4o-Transcribe
• Google DeepMind 的 Gemini 2.5 Pro
• ByteDance 的 Doubao-ASR

此外，我们还纳入了多个多语言开源基线模型：

• Whisper-large-v3
• FunASR-MLT-Nano
• GLM-ASR-Nano

这些基线系统涵盖了强大的商业系统以及具有竞争力的开源替代方案，从而能够在具有代表性的真实场景下对 Qwen3-ASR 进行全面评估。

采用四部分评估协议来衡量 Qwen3-ASR 系列模型的语音识别性能：

• 公共基准测试（英语与中文）
• 内部鲁棒性测试套件：全面的内部测试集，在具有挑战性的真实场景下对模型进行压力测试
• 多语言评估
• 歌声识别：重点关注长音频场景，即将整首歌曲作为单一输入

评估指标

• 识别准确率：CER/WER
• 语种识别准确率
• 时间戳精度：使用 Accumulated Average Shift（AAS）作为评估指标。AAS 数值越低表示时间戳预测越准确。预测时间戳与参考时间戳之间的平均绝对差值：

English & Chinese ASR Performance

Opensource ASR Benchmarks

Qwen3-ASR 在英语、普通话和多种汉语方言基准测试中均表现出色。它不仅能与领先的商业 API 相媲美，而且性能远超广泛使用的开源基线模型。从 Qwen3-ASR-0.6B 扩展到 Qwen3-ASR-1.7B，性能提升显著且稳定，表明该模型能够有效受益于容量的增加。

在英语基准测试上，Qwen3-ASR 在多样化的真实场景数据（例如众包或网络采集语音）上表现尤为出色。这类数据相比朗读式语音（read-speech）通常存在更明显的分布偏移。在这些情况下，Qwen3-ASR-1.7B 在多个数据集上取得了整体最佳成绩，同时在诸如 LibriSpeech 等标准学术评测中也保持接近最优系统的表现。相比之下，一些商业 API 的性能在不同数据集之间波动较大，而 Qwen3-ASR 在广泛的英语场景下展现出更为稳定和一致的识别准确率。

在普通话基准上，Qwen3-ASR 展现出明显优势。它在表中大多数普通话评测数据集上取得了最佳整体表现，并在更具挑战性的大规模评测中依然保持稳定性能。尤其是在 WenetSpeech 数据集上（该数据集包含多样化声学环境和会议场景语音），Qwen3-ASR 相比现有基线模型取得了显著领先。

在中文方言基准上，Qwen3-ASR 在存在显著发音和词汇差异的情况下仍保持较强的识别精度。在粤语及其他方言数据集中，它始终位列表现最优的系统之一，并且在更具挑战性的长语句场景下表现尤为突出，体现出超越短句、干净测试条件的鲁棒性。尽管在少数特定方言场景中，一些专门优化的商业 API 略占优势，但总体而言，Qwen3-ASR 依然具有很强竞争力，能够在无需针对每种方言单独定制的情况下提供通用且高性能的解决方案。

总体而言，表 3 总结了 Qwen3-ASR 的三大优势：

1. 在英语基准上具备强大的跨领域泛化能力，尤其是在超越精心筛选的朗读语音场景下表现突出；
2. 在普通话多个公开数据集（包括大规模、噪声较多的会议语音）上达到当前最先进水平；
3. 在中文方言处理方面表现稳健，尤其是在粤语以及长短语句混合的方言语音上具有显著优势。

这些结果表明，Qwen3-ASR 在多样化的公开基准测试中展现出强大且可复现的性能，同时在与顶级闭源商业 API 的对比中也保持了高度竞争力。

内部 ASR 基准测试

为进一步评估模型在真实部署环境下的鲁棒性，我们在内部鲁棒性测试套件上对 Qwen3-ASR 进行了评测，结果汇总于表 4。Qwen3-ASR 在所有子集上均表现出稳定而强劲的性能，并且从 0.6B 扩展至 1.7B 带来了持续且稳定的性能提升。

在带口音英语评测中，Qwen3-ASR 取得了所有对比系统中最低的词错误率（WER），优于商业 API 和开源基线模型，表明其对口音变化具有更强的泛化能力。在普通话评测中，Qwen3-ASR-1.7B 在所有测试子集上均取得最佳表现，展现出在复杂声学环境和多样说话条件下的鲁棒性。

在中文方言评测中，Qwen3-ASR 同样在粤语对话测试和 22 种方言汇总评测中取得最佳结果；尤其是在多方言混合场景下，性能提升更加显著，表明随着语言多样性的增加，模型的鲁棒性进一步增强。

总体而言，这些内部评测结果与公开基准测试的结论一致，进一步验证了 Qwen3-ASR 在高变异性场景下能够提供稳定且可靠的识别质量。

Multilingual ASR and Language Identification

 多语言自动语音识别性能

总体而言，Qwen3-ASR-1.7B 在大多数测试设置中取得了最佳的平均性能，展现出强大的跨语言和跨领域的泛化能力，而 Qwen3-ASR-0.6B 则提供了一个具有竞争力的轻量级替代方案。

在 MLS、Common Voice 和 MLC-SLM 基准测试中，Qwen3-ASR-1.7B 的性能始终优于所有评估的开源基线模型，包括广泛使用的 Whisper-large-v3，并且显著优于规模较小的多语言模型。对于涵盖更多语言和多样化录音条件的 Fleurs 数据集，Qwen3-ASR-1.7B 在 12 种和 20 种语言的子集上取得了最佳性能。然而，相对于 Whisper-large-v3，其在完整的 30 种语言设置下的性能有所下降，表明其在处理日益增长的语言多样性和长尾语言方面仍有改进空间。尽管如此，Qwen3-ASR-1.7B 仍然明显优于 0.6B 版本，这表明模型扩展能够提高其在更具挑战性的多语言环境下的鲁棒性。

Language Identification Performance

Qwen3-ASR 不仅能够将语音解码为文本，还可以在进行 ASR 解码之前，通过自然语言提示完成语言识别（LID）。在本节中，我们在 4 个多语言基准数据集上评估语言识别准确率：

• FLEURS（30 种语言）
• MLS（9 种语言）
• Common Voice（13 种语言）
• MLC-SLM（11 种语言）

各数据集所覆盖的语言种类详见第 2.3 节。

如表 6 所示，我们将 Qwen3-ASR-0.6B 和 Qwen3-ASR-1.7B 与 Whisper-large-v3 进行对比。Whisper-large-v3 是一个具备内置语言识别能力的强大多语言 ASR 模型。实验结果表明，两种 Qwen3-ASR 模型均优于 Whisper-large-v3，在这些主流语言上展现出稳定而有效的语言识别能力。

在 FLEURS 数据集上的剩余错误主要来源于对马来语（ms）和印尼语（id）的混淆。这两种语言在语言学上高度接近，且在声学特征上具有较高相似性，因此较易产生识别混淆。

Singing Voice & Songs Recognition Performance

表 7 汇报了歌声转写以及带背景音乐的长时歌曲转写结果。总体来看，Qwen3-ASR-1.7B 在面对旋律引起的发音变化和音乐伴奏干扰时表现出较强的鲁棒性，在所评测的数据集上优于大多数商业 API 和开源基线模型。

在纯歌声（无伴奏）基准上，Qwen3-ASR-1.7B 在以下数据集上取得最佳表现：

• M4Singer
• MIR-1k
• PopCS

在 OpenCpop 上，其表现略低于 FunASR-MLT-Nano，位列第二，但差距较小。这表明模型在不同演唱风格和录音条件下具有较强的泛化能力，并且对音高漂移、音素拉长以及节奏变化等歌声特有现象的敏感性较低。

在包含背景音乐的完整歌曲转写任务中，Qwen3-ASR-1.7B 显著优于开源基线模型；Whisper-large-v3 和 FunASR-MLT-Nano 在长时、音乐混合场景下性能明显下降。Qwen3-ASR-1.7B 在英语和中文歌曲上都取得了较高准确率：在中文数据集上排名第一，在英语数据集上也与表现最佳的商业系统保持竞争力。

这些结果表明，Qwen3-ASR 在真实含音乐场景下具有良好的适应能力，对背景音乐干扰具有较强鲁棒性，并在一定程度上缩小了传统语音识别与歌声/歌曲转写之间的性能差距。

Streaming Speech Recognition

本节在离线（offline）和流式（streaming）两种推理模式下评估 Qwen3-ASR-1.7B 和 Qwen3-ASR-0.6B 的性能。得益于动态注意力窗口机制，Qwen3-ASR 系列模型能够自然支持流式推理。

表 8 展示了在三个开源测试集上的评测结果，实验设置为：分块大小为 2 秒、5 个 token 回退（fallback），并保持最近 4 个分块处于未固定（unfixed）状态。

总体而言，Qwen3-ASR 提供了一个同时适用于离线与流式场景的统一模型架构，并且在流式推理模式下仍然保持了较强的识别准确率。

Precision of Timestamps

表 9 报告了 Qwen3-ForcedAligner-0.6B 与其他强制对齐（forced-alignment）方法在 MFA 标注和人工标注测试集上的 累积平均偏移（AAS, Accumulated Average Shift） 表现。

主要结论如下：

1. 多语言覆盖与跨语言能力
   • 其他方法通常需要特定语言模型，支持语言数量有限。
   • Qwen3-ForcedAligner-0.6B 通过单一模型覆盖多种语言，并能处理跨语言和混合语言（code-switched）场景。
2. 长短语音表现稳定
   • Qwen3-ForcedAligner-0.6B 对短句和长句均表现一致。
   • 基线方法在长句或长语音上，时间戳预测准确度显著下降。
3. 训练来源与泛化能力
   • 虽然模型使用 MFA 伪标注训练，但在人工标注的测试集上依然保持较低的 AAS。
   • 表明模型具有 强大的实际场景泛化能力，能够稳健预测各类语音的时间戳。

简单总结：Qwen3-ForcedAligner-0.6B 在多语言、长语音及真实数据上的时间戳预测都优于传统方法。

结论

本文介绍了 Qwen3-ASR 模型家族，包括两款自动语音识别（ASR）系统和一款强制对齐（FA, Forced Alignment）模型，这些模型均在大规模语音语料上训练得到。

核心特点与贡献如下：

1. 性能与训练策略
   • 利用基础模型 Qwen3-Omni 的强大音频理解能力，以及四阶段训练流程，
     Qwen3-ASR-1.7B 和 Qwen3-ASR-0.6B 在语音覆盖率和识别准确率上，均优于同等规模或更大规模的竞品模型及商业 API。
2. 多语言与语音场景支持
   • 支持 30 种语言的语言识别（LID）和语音识别（ASR）。
   • 在复杂声学环境下表现稳健，对口音与方言具备鲁棒性。
   • 对唱歌语音及其他真实场景语音同样有效。
3. 强制对齐模型
   • 引入 Qwen3-ForcedAligner-0.6B，基于 LLM 的非自回归（NAR）时间戳预测器，
     支持 11 种语言的强制对齐，端到端处理时间低于 5 分钟。
   • 在时间戳准确率、推理速度和语言覆盖方面，均优于三种主流端到端 ASR 基础的 FA 方案。
4. 开源与易用性
   • 发布了三款模型权重，同时开源了统一、易用的推理框架。

总结：Qwen3-ASR 家族在真实场景评测和公开基准测试中均达到 最先进水平，而开源的强制对齐模型解决了语音技术栈中的关键空白。团队将持续提升该开源模型家族的准确性与功能性。

原文链接：https://kyutai.org/codec-explainer

截至 2025 年 10 月，Speech LLM 的表现还很糟糕。许多 LLM 都提供了语音接口，但它们的工作流通常是：语音转文字，生成文本答案，再通过 text-to-speech (TTS) 读出来。这在很多场景下够用了（比如 Unmute），但这本质上只是一个 wrapper，并非真正的语音理解。模型无法感知你声音里的沮丧并共情地回应，无法在回答中强调重点，也听不出讽刺。

是的，现在确实有一些 LLM（如 Gemini、ChatGPT 的 Advanced Voice Mode、Qwen、Moshi）能够原生 (natively) 理解和生成语音。但在实践中，它们要么不够智能，要么其行为就像一个 text model wrapper。你可以试试用很高的音调问它们任何一个：“我说话的声音是低还是高？”，它们都答不上来。

显然，Speech LLM 的发展滞后于 Text LLM。但为什么呢？对于文本，我们几年前就发现，只要有海量文本数据、一个巨大的 Transformer 模型和大量的 GPU，就能得到效果惊人的文本续写模型。那为什么我们不能直接把 text 换成 audio，然后得到同样惊人的语音续写模型呢？

先卖个关子，如果你真的天真地这么做了，就会得到下面这种结果（警告，音量很大）：

接下来，我们将探讨为什么 audio 比 text 更难建模，以及如何利用 neural audio codec 来降低建模难度。——这已是将 audio 输入和输出 LLM 的实际标准方法。通过 codec，我们可以将连续的音频信号转换成更大粒度的离散 token，然后训练模型来预测这些 token 的后续序列，最后再将这些 续写的token 解码还原成 audio：请看上面的动画。

Kyutai 的同仁们在这个领域做了大量工作，这也是我选择这个主题的部分原因。我们将从基础讲起，一直讲到我们的 neural audio codec——Mimi。它最初是为 Moshi 开发的，后来被其他模型所采用，包括 Sesame 的 CSM 模型。

Text is easy

在文本分词方面，业界普遍采用一种称为字节对编码（Byte-Pair Encoding, BPE）的技术，并且极少对分词器进行更改。以 OpenAI 为例，自 GPT-4o 以来一直沿用同一套分词器——如果以大语言模型的发展节奏来衡量，GPT-4o 已可算作“相当久远”的模型。

即便完全不对文本进行分词、仅对单个字符进行逐字符预测，也能够取得相当不错的效果。早期让我对机器学习产生浓厚兴趣的一篇文章，是 Andrej Karpathy 于 2015 年发表的关于循环神经网络（RNN）有效性的博客。在那篇文章中，Karpathy 使用单块 GPU 训练了一个三层 LSTM 模型，使其能够生成结构上较为合理的代码与 LaTeX 文本。

要知道，这可是十年前的事了，那时候我们甚至还不知道 “attention is all we need”。现在，我们再来对比一下 Karpathy 的结果和 WaveNet 的样本，后者是 DeepMind 在一年后发布的模型：

从纯声学角度来看，这段音频的听感质量较高，但却几乎无法生成哪怕一个正确的英文单词。当然，我们也不应对 WaveNet 过于苛责。Karpathy 的 RNN 所生成的文本样本长度不过数千个字符，而这段 10 秒的音频却包含约 16 万个音频采样点；并且，WaveNet 是以逐采样点预测（sample-by-sample generation）的方式，极其细致地生成整段音频的。

在如此长的时间尺度上维持生成内容的连贯性是极具挑战性的；同时，由于需要执行数量庞大的逐步预测，模型的运行开销也十分高昂。

因此，与其让模型直接逐采样点地进行预测，不如先训练一个模型，将音频压缩到更易处理的表示空间。具体而言，可以先对音频进行压缩，在压缩后的表示上利用大语言模型预测其后续内容，再将预测结果解压还原为音频信号。

Sample by sample

不过，在此之前，我们先构建一个基线模型，像 WaveNet 那样逐采样点生成音频。这些实验的代码均已开源，可在相应仓库中获取。我基于 Andrej Karpathy 的 nanoGPT 仓库进行了复现与扩展；该仓库是 GPT-2 的一个简洁实现版本。

从语言模型的视角来看，文本与音频在形式上并无本质区别：本质都是“输入 token，输出 token”。因此，我们需要做的仅是将连续的音频采样值量化为离散的取值区间。与 WaveNet 类似，我们采用 μ-law（μ律）算法，将连续振幅映射到 256 个离散桶（buckets），并将其视作 256 个可能的离散 token。

在此基础上，我们使用这种逐采样点量化后的音频 token 来训练一个语言模型。数据集方面，沿用 AudioLM（Neil Zeghidour 与 Eugene Kharitonov）的设置，采用 Libri-Light 数据集。该数据集的训练集总时长约为 5 万小时，但在本实验中我们仅使用其中 1000 小时的数据。采用逐采样点的离散化方式后，最终得到的训练数据规模约为 53GB。

模型方面，我们训练了一个规模相对较小的 Transformer，总参数量为 151.28M，与最小规格的 GPT-2 模型大致相当。当从该模型进行采样生成时，其输出表现为类似咿呀学语般的声音（提示：音量有时较大）。

模型往往会进入一种“噼啪杂音模式”（crackling mode），并且一旦陷入其中，似乎难以自行恢复：

我还训练了一个较小的模型，就是之前开头提到的那个。它容易生成令人不适的尖锐噪声（音量较大！）。

正如你所看到的，我们还远未达到通用人工智能（AGI）的水平。模型生成的音频听起来像是语音，但你几乎听不出任何单词，而且声音也在不断变化。这也不足为奇：模型的上下文长度为 2048，对于 16 kHz 的音频而言，仅相当于 128 毫秒，连一个单词的长度都不到。此外，这些 10 秒的音频样本在 H100 上生成耗时约 30 分钟——距离实时生成还有几个数量级的差距。

因此，我们需要构建一个神经音频编解码器（neural audio codec）来压缩音频。思路是：如果将采样率降低 100 倍，模型生成的内容也有望变得“100 倍更连贯”。在机器学习中，一个经典方法是使用自编码器（autoencoder）：该模型接收输入，将其压缩到较小的“潜在空间（latent space）”，然后尝试重构原始输入。

在我们的场景下，需要一个潜在表示可量化（quantized）的自编码器，这样才能将潜在向量输入到语言模型中，并生成后续内容。当然，也可以使用未量化的潜在向量生成后续音频，但操作会更复杂——具体可参见“进一步阅读”部分。

Autoencoders with vector quantization (VQ-VAE)

请耐心一点，因为我们将从音频领域绕个弯：让我们基于 Fashion MNIST 的图像来构建一个量化的自编码器（quantized autoencoder）。我们会使用一个包含前三个类别的数据子集：T恤、裤子和套头衫。

首先，我们先训练一个普通自编码器，将图像编码到二维潜在空间（2D latent space）中：

每一帧显示的是一个训练批次（有些批次被略过）。小图像表示自编码器对该批次图像的重构结果。我为三类图像添加了颜色标记（T 恤/上衣 = 蓝色、裤子 = 绿色、套头衫 = 黄色），但自编码器并没有接收类别信息作为输入——潜在空间自然会根据类别形成聚类。接下来，我们放大观察几张重构结果：

如你所见，重构效果并不理想。图像比较模糊，而且前两张重构几乎完全相同。但我们使用的网络非常小——编码器和解码器各只有四层全连接网络，并且只将数据投影到二维空间，因此不能对模型期望过高。

接下来，我们将对这些潜在向量进行量化（quantization），方法是通过聚类实现。大致步骤如下：

1. 类似 k-means：维护一个簇中心（cluster center）的位置列表。
2. 簇中心初始化为随机位置。
3. 对每个训练批次：
   • 查看每个潜在向量属于哪个簇（assignment），注意我们 不修改潜在向量，仅进行分配。
   • 将每个簇中心向其所属潜在向量的平均位置轻微移动（nudge）。
4. 如果某个簇中心长时间未被分配到任何潜在向量，则将其重新“传送”到当前批次的某个随机潜在向量上，以避免簇中心陷入局部停滞。

你可以看到，随着训练的进行，簇中心的重构效果逐渐被优化和细化。

接下来，我们希望让编码器（encoder）和解码器（decoder）在训练过程中更好地处理量化后的潜在向量（quantized embeddings）。目前，我们只是将聚类操作叠加在一个对量化“未知”的自编码器之上——也就是说，模型在训练时并没有意识到潜在向量会被量化。我们希望自编码器在训练过程中适应量化操作，从而生成更易重构的量化表示。目前的做法是：

x = get_batch()
z = encoder(x)
x_reconstructed = decoder(z)
loss = reconstruction_loss(x, x_reconstructed)

与其将未量化的潜在向量直接输入解码器，我们先将其映射到最近的簇中心：

x = get_batch()
z = encoder(x)

z_quantized = to_nearest_cluster(z)     # 👈
x_reconstructed = decoder(z_quantized)  # 👈

loss = reconstruction_loss(x, x_reconstructed)

这里有一个问题：如果直接这样做，自编码器就无法继续训练了。原因是量化操作不可微，也就是说，损失函数的梯度无法传回编码器的权重。本质上，模型无法回答这个问题：“如果我想让损失减少一点，应该沿哪个方向调整编码器的权重？”

解决方法很巧妙：假装这个问题不存在。具体来说，我们将量化后的潜在向量 z_quantized 看作是原向量 z 加上一个任意向量，但不影响梯度。这样， z_quantized 的梯度就等同于 z 的梯度。这就是所谓的 straight-through gradient estimator（直通梯度估计器） 的原理。

x = get_batch()
z = encoder(x)

residual = z - to_nearest_cluster(z)
# .detach() means "forget that this needs a gradient"
z_quantized = z - residual.detach()
x_reconstructed = decoder(z_quantized)

loss = reconstruction_loss(x, x_reconstructed)

在前向传播（forward pass）中， z_quantized ​ 的取值与之前相同，但关键是：z 的梯度现在被设置为等同于 z_quantized ​ ​ 的梯度，而不是因为不可微的 to_nearest_cluster(z) 操作而为 0。

这种“假装”做法是有代价的：在训练时，编码器的权重会根据重构损失进行更新，但更新的方向是假设量化不存在的方向，因此不一定是最优的梯度方向。但只要潜在向量大致保持在各自簇中心附近，这个梯度方向仍然是“基本正确”的。

为了让编码器生成更容易量化的潜在向量，我们可以引入承诺损失（commitment loss）：对每个潜在向量根据其距离簇中心的远近施加惩罚。这一损失的梯度会将潜在向量推向对应的簇中心，从而提高量化友好性。

通过在训练时进行量化并加入承诺损失，模型不再只是单纯在嵌入上做聚类，而是自编码器本身被训练成对量化友好，从而在后续生成和压缩中表现更好。

你会注意到，训练动态发生了变化：加入承诺损失（commitment loss）为潜在向量增加了一定的“约束力（stiffness）”，使它们不再像之前那样自由移动。

下面是使用量化潜在向量进行重构的效果：

注意前两张图被重构成了完全相同的图像。这只是因为它们的潜在向量被分配到同一个簇，因此量化后取到了相同的值。

这里描述的模型被称为 VQ-VAE（向量量化变分自编码器）。其中的“变分（variational）”一词在这里已经没有实际意义，只是历史遗留的命名。

Residual vector quantization

为了提高重构的保真度，我们可以简单地增加簇中心的数量。但如果簇中心过多，计算和内存开销会变得非常昂贵。因此，我们采用一个巧妙的做法：如果希望潜在向量有 2^20（约 100 万）种可能值，我们不会直接创建 2^20 个簇。相反，我们使用两个独立的量化器（quantizer），每个量化器有 2^10=1024 个簇，然后将它们的结果组合起来。这样，每个潜在向量就量化为两个整数的元组（每个在 0–1023 之间），总共有 2^20 种可能组合。

那么具体怎么做呢？回想一下我们在直通梯度估计器（straight-through estimator）中使用的残差变量：residual=z−to_nearest_cluster(z)

它表示在量化到最近簇中心时，原向量 z 中未被捕捉到的部分。

对于批次中的每个潜在向量，我们都有对应的残差向量。解决方案很自然：用与原始潜在向量相同的方法对残差向量进行量化，通过训练另一个向量量化器实现。

这一次，由于我们需要组合两个量化器，单个量化器的二维簇位置并不再对应图像，因此我们将其可视化为点的分布即可：

这样，每张图像就可以用潜在向量所在簇的索引和残差簇的索引来表示。接下来，我们用这个二级量化器尝试重构几张图像：

前两张图像的重构仍然相似，但不再完全相同：第一张图被编码为 (4, 3)，第二张图为 (4, 5)。换句话说，它们在第一级量化器上使用相同的 token，但在残差的量化上有所不同。由于差异较为微小，下面是一级量化与二级量化重构效果的对比：

我想强调的是，第二级量化作用在潜在向量（embedding）上，而不是直接修改输出像素。这一点可以从最左和最右的图像看出，它们分别编码为 (4, 3) 和 (30, 3)。也就是说，它们使用了相同的残差编码 3，但对两张重构图像的影响却不同。

显然，重构效果仍然不够精确。潜在向量未量化时的重构质量才是上限，因此如果自编码器本身性能不好（我们的就是如此），改进量化方法也无法带来显著提升。

到这里我们先暂停，但这个思路的自然延伸是超过两级量化：对二级重构的残差继续量化，依次我们在这里就先停下。不过，这个思路的一个自然扩展是引入多于两级的量化。只需要对 two-level reconstruction 的 residual 再次进行量化，如此反复即可。这个广义的 Residual Vector Quantization 算法形式如下：

def rvq_quantize(z):
    residual = z
    codes = []

    for level in range(levels):
        quantized, cluster_i = to_nearest_cluster(level, residual)
        residual -= quantized
        codes.append(cluster_i)

    return codes

残差向量量化（Residual Vector Quantization, RVQ）最早在 SoundStream 中应用于神经音频编解码器，但这一思想其实早在 1980 年代就已出现。

Now let’s tokenize audio

将 RVQ 应用于音频是相当直接的。作为我们的自编码器（autoencoder），我们将使用一个类似于 Jukebox 所使用的卷积神经网络（CNN）。这里的架构细节并不太重要。重要的是，这是一个能接收 t 个采样点的音频，并将其转换为形状为 (t/128, 32) 的向量的网络。换句话说，它以 128 倍的系数进行降采样（downsamples），并为我们提供 32 维的浮点数表示。然后，解码器（decoder）接收这个 (t/128, 32) 的嵌入（embeddings），并将它们解码回 t 个采样点。

audio = get_batch()               # shape: [B, T]
z = encoder(audio)                # shape: [B, T/128, 32]
audio_reconstructed = decoder(z)  # shape: [B, T]

和之前一样，我们将在编码器之后添加一个 RVQ。与处理图像的唯一区别是，对于每个音频样本，我们有 t/128 个嵌入向量，而不仅仅是像图像那样只有一个。我们只需独立地对这些向量进行量化（即使编码器“看到”的音频范围比单个向量所对应的范围要广）。在训练期间，我们还有一个批次维度（batch dimension），所以我们的模型现在看起来是这样的：

audio = get_batch()                         # [B, T]
z = encoder(audio)                          # [B, T/128, 32]

# Combine the batch and time dimensions
z = rearrange(                              # [B*T/128, 32]
    z, "b t_emb d -> (b t_emb) d"
)

codes = rvq_quantize(z)           # integers, [B*T/128, levels]
z_quantized = codes_to_embeddings(codes)    # [B*T/128, 32]
z_quantized = rearrange(                    # [B, T/128, 32]
    z_quantized, "(b t_emb) d -> b t_emb d"
)

audio_reconstructed = decoder(z_quantized)  # [B, T]

在我们训练第一个神经音频编解码器（neural audio codec）之前，最后缺少的一块是损失函数（loss function）。关于选择哪一个损失函数，我们可以深入探讨一整套复杂理论，但我们将避开它，只使用一个非常简单的。我们会计算原始音频和重建音频的对数振幅谱图（log amplitude spectrogram），然后取它们的差值。这个差值的均方值就是损失。

为了让模型更难对这个损失函数过拟合，我们使用三种不同的短时傅里叶变换（short-time Fourier transform）参数来计算谱图，并将我们的损失设为这三个子损失的平均值。这被称为多尺度频谱损失（multi-scale spectral loss）。

最后，让我们来训练一些编解码器（codecs）吧！我们将观察改变 RVQ 的层级（levels）数量如何影响重建质量。正如我们所预期的，增加层级数量有助于降低频谱损失（spectral loss）：

让我们听听这些编解码器听起来怎么样。我们将使用这三个编解码器来重建来自 Expresso 数据集的这段音频：

重建结果：

显然，随着增加更多的残差向量量化（RVQ）级数，音频质量逐渐提升。

即便使用 16 级量化，仍然会出现一些噼啪杂音，音频听起来有些闷，并伴随持续的高频噪声。后续我们会讨论进一步改进编解码器的方法，但出于演示目的，目前的效果已经足够。

为什么要关心音频

所以现在我们有了一个 神经音频编解码器：我们可以把音频转换成适合 LLM 的 token，然后再还原回音频。这里的 “Codec” 本质上就是音频的 分词器（tokenizer），但我们用 “codec” 这个词，是因为它在经典压缩格式（比如 MP3）里已经被使用。我会把 codec 和 tokenizer 交替使用。

回到我们最初想做的事情：建模音频。具体来说，我们要做一个模型，它可以接受一段音频前缀，然后生成一个合理的续段。

提醒一下，我们的目标是训练优秀的音频 LLM，使模型能够 原生理解并生成语音，理解情绪、重音等特征。它们还可以进一步微调成 文本转语音、语音转文本、翻译模型 等。

既然你已经相信音频 LLM 是通向 AGI 的路径，那我们就开始训练几个模型吧。

在数据集方面，我们将使用 Libri-Light，就像之前训练逐样本模型时用的那样。这一次我们会使用 10000 小时音频，而不是之前的 1000 小时。这个数据集是 公共领域有声书，所以如果我们训练出了一个不错的模型，也许能生成更多故事（不过不要抱太大希望）。我们唯一需要做的，就是把音频数据集转换成 离散 token 序列，以便输入到 LLM 中。

处理多个层级（levels）

我们将使用我们的 8 层 RVQ codec 来实现这一点。对于一个有 t 个采样点的音频，我们将得到一个形状为 (t/128, 8) 的 token 数组。但现在有一个问题：如何处理在每个时间步（time step）不是一个而是 8 个 token 的情况？在文本 LLM 中我们无需处理这个问题，因为我们只有一个 token 序列。

我们将采取最简单的方法，直接将该数组展平（flatten）成一个形状为 (t/128 * 8) 的一维数组，并让我们的 LLM 在不同的时间步中预测这八个层级。

这样做的一大缺点是我们损失了一部分时间压缩（temporal compression）能力。我们将音频降采样了 128 倍，但现在通过展平层级，又将其“膨胀”了 8 倍。这使得推理（inference）效率降低，并且可能导致质量下降，因为有效上下文大小（context size）减小了。我们将使用 8 层的 RVQ codec 而不是 16 层的，以避免让压缩情况变得更糟。

你也可以一次性预测单个时间步的所有 RVQ 层级（“并行模式”，parallel pattern），但这也会让模型更难处理，因为它必须一次性决定所有层级。人们还尝试了许多其他方案来平衡压缩与质量。以下是 MusicGen 中尝试过的几种方案：

有趣的是，截至 2025 年，还没有一个“胜出”的统一解决方案：每篇论文的做法都不同，而且这些方案可能变得相当复杂。看看这个来自 MiMo-Audio 的图表就知道了，这是一个在 2025 年 9 月发布的模型：

Finally, let’s train

终于到了训练一个封装了 codec 的语言模型的时候了！正如我所提到的，我们的代码基于 Andrej Karpathy 用于训练文本 LLM 的 nanoGPT 代码库。我们只需要修改它以接受音频作为输入。但这很简单，因为 LLM 并不关心你输入的是哪种 token——对它来说都只是数字而已。一旦我们将数据集标记化（tokenized）并将其展平（flattened）为一维序列，我们就可以开始了。以这种方式标记化后，我们 10000 小时的音频占用了 134 GB 的空间。相比之下，将这么多数据存储为未压缩的音频将需要超过 1 TB。

我们将使用与逐样本（sample-by-sample）模型完全相同的模型架构和超参数（hyperparameters）：唯一的区别在于标记化（tokenization）方式。我们的数据集也大了 10 倍，但逐样本模型甚至连 1000 小时的数据集都无法容纳，所以更多的数据也救不了它。

我用 8 个 H100 显卡训练了这个模型大约 5 天。为了得到一些样本，我决定用 Michael Field 的诗《七月》中的两行 Libri-Light 朗读样本来提示（prompt）模型。（在做这个项目时我了解到，Michael Field 是 Katherine Harris 和 Edith Emma Cooper 的笔名。）让我们看看能从我们的模型中得到什么样的诗歌：

可以看到一些“生命的迹象”，但我们还没有一个真正的“诗人”。听起来就像有人在 帘幕后面说话：你无法完全听清它在说什么，但 语调是存在的——听起来像有人在朗读书本，而这正是模型训练时的内容。

它还能保持 连贯的声音，直到最后几秒才切换到另一个声音。这也与训练数据一致：我们从所有有声书中 剪切片段并混合在一起 来采样训练数据，所以模型确实会遇到 不同说话人之间的界限。

一个 codec 能带我们走多远？

我们的 codec 是有意设计得非常简单的，这也解释了为什么结果不尽如人意——但在过去四年里，关于神经音频编解码器的研究已经相当丰富，我们可以加以利用。我们不会在这里实现所有的改进，而是看看当我们使用 Mimi 作为分词器（tokenizer）时会发生什么。

Mimi 是 Kyutai 为我们的音频语言模型 Moshi 构建的一款现代神经音频编解码器。此后，它也被用作其他模型的分词器，如 Sesame CSM、VoXtream 和 LFM2-Audio。

不出所料，Mimi 听起来比我们之前训练的自制 codec 好得多。

Mimi 没有使用多尺度频谱损失（multi-scale spectral loss），而是使用了像 GAN 一样的对抗性损失（adversarial loss）。有一个判别器网络（discriminator network）试图将音频分类为原始的或由 codec 重建的，而 codec 的目标就是骗过这个判别器。

Mimi 增加的另一个改进是使用 RVQ dropout：它使用 32 个 RVQ 层级，但在训练期间，重建有时会随机截断到较少的层级数。这使得我们可以在推理时以较少的 RVQ 层级运行 Mimi，并且仍然获得不错的结果，因为它不依赖于所有层级的存在。而对于我们的自制 codec，我们必须分开训练。

让我们听听用 Mimi 重建的示例音频：

Original:

重建：

就我们的目的而言，层级较少的变体可能更容易建模，因为它压缩程度更高。让我们用 8 层和 32 层的 Mimi 来训练模型，并比较结果。

我训练了和之前完全相同的模型架构，唯一改变的是分词器。数据集仍然是来自 Libri-Light 的 10000 小时音频，就像我们使用简单 codec 时一样。Mimi 的采样率是 24 kHz，但 Libri-Light 使用的是 16 kHz，这限制了声音的最高品质，因为我们丢失了音频的更高频率部分。

Mimi 对音频的降采样（downsample）也更激进：它的帧率是每秒 12.5 帧，而我们的 codec 是每秒 125 帧——高了 10 倍！这意味着数据集在磁盘上的体积也更小。用我们的 codec，它占了 134 GB，但用 Mimi，“仅仅”是 54 GB。

这是一首用在 Mimi 标记化数据上训练的模型生成的诗。我和之前一样，用诗中的两行来提示它：

这是我尽力尝试的转录：

When the grass is gone
And corn still grassy;
Illness worried in the fur
this and pelan in stones
during the turan’s ciscerey
headforths nepet Paul Twain.
He sees zin in them.

对我来说有点太超现实主义了，但也许刘易斯·卡罗尔会喜欢。

语义 token (Semantic tokens)

我得坦白一件事：我刚才对你撒谎了。但只是一点点，而且是为了教学目的。实际上，上面的模型是在一个 31 层的 Mimi 音频上训练的，我省略了第一层，也就是包含 “semantic token” 的那一层。

这个 token 的作用是表示音频的语义信息，而不一定有助于重建。我不会深入探讨它们的工作原理，但简单来说，Mimi 的 semantic tokens 是从 WavLM 中提炼出来的，你可以把它看作是语音领域的 BERT。

为了感受 semantic tokens 编码了什么信息，让我们以这个示例音频为例，将其通过 Mimi 处理：

现在，让我们训练一个基于完整 Mimi（包括 semantic tokens）的语言模型。我们将以一种特殊的方式运行模型：保留原始音频的 semantic tokens，但丢弃其他所有 token，然后让模型来预测它们。这意味着来自 semantic tokens 的信息是固定的（“teacher-forced”），但模型可以根据它认为合理的延续自由决定其他 token。

听听我们用这种方式得到的两个不同的重建版本：

声音完全不同，但说的内容是一样的！这意味着 semantic tokens 编码了说话者在说什么，但与嗓音无关。这很有用，因为它帮助模型专注于 说什么，而不是 怎么说。在这方面，它们更接近于文本 token，因为文本 token 也不包含关于嗓音、语调、时间或情感的信息。

让诗歌更具语义

现在，让我们用在包含语义的 Mimi 上训练的模型来完成这首诗：

When grass is gone
and corn still grassy;
from the man was nothing moan.
The low death and heart
She came fyde wood.
A finteriest, a fall,
all them.

它仍然会编造词汇，句子也不太连贯，但很明显，真实单词的比例高了很多；模型变得“更具语义”了。声音质量和之前一样，这也符合我们的预期。

让我们听第二首诗：

When grass is gone
and corn still grassy;
hope won and she
who is just a night in Tatan
in doe ock-ohm?
the whom?

确实，the whom?

语义与声学的权衡 (Semantic–acoustic tradeoff)

我们可以 牺牲一些声学质量 来提升语义效果，通过 减少 RVQ 级别的数量。我们选择 8 级。这样一来，我们获得了 更高的音频压缩率，同时损失中 语义 token 占比也相应提高，因为现在是 1/8 的 token，而不是之前的 1/32。

我对这个模型的第一印象之一是，它学会了 记忆 Librivox 的版权声明，所以有时它会生成类似这样的内容：

Chapter 6 of The Founday, by R. Auclair.
This is a Librivox recording. All Librivox recordings are in the public domain. For information, or to volunteer, please visit librivox.org.
Reading by: Kelvert

重复训练数据通常不是你想要的，但在我们的案例中，这是一个极好的生命迹象，因为之前的模型甚至连这个都做不到。它还编造了书名、作者和朗读者，所以这里仍然有创新性。

现在，让我们尝试创作更多的诗：

When grass is gone
and corn still grassy;
When so we could say
that in fairy interesting wife
who lay there and gone
that save the rosy light of life
Jay Dien, the antique mollity
and a mollity the beast of gray failed summon

end of poem.

This recording is in the public domain.

[different voice]
So we have formed a float that sent in would rattle down. The piece of opportunity reading and assimila—

这太棒了。有几个迹象表明这个模型比之前的更好。我喜欢它编造了“mollity”这个词，然后在下一行重复它。而且，它意识到自己正在背诵一首诗，并在该部分结尾加上了 “end of poem”。然后它认为这是章节/部分的结尾，并以“This recording is in the public domain.”的声明结束。之后，它换了个声音继续说话。这是合理的，因为在训练过程中，来自不同有声读物的片段只是被随机打乱并连接在一起，所以在这里模型模拟了一个片段边界。

如果我们给 semantic tokens 的损失赋予比声学 tokens 更高的权重，可能会得到更好的结果，让模型更关注意义而非声音——事实上，Moshi 使用了高达 100 倍的 semantic loss ！但我们总得有个终点。

Conclusion

我们成功地使用神经音频编解码器制作了一个能生成某种程度上连贯语音的音频语言模型。显然，这还不是 2025 年的顶尖水平（我们在这里也并非追求于此），但请记住，使用完全相同的模型，若不采用神经音频编解码器，我们得到的是类似于开头的音频。

当然，要赶上文本模型还有很长的路要走！目前，语音理解和推理能力之间似乎存在一种权衡。在文章开头我提到，那些原生支持语音的模型（Gemini、ChatGPT 的高级语音模式、Qwen、Moshi）都无法判断你是在用高音还是低音说话，尽管它们被训练来原生理解音频。这可能是因为它们在大量使用文本到语音技术合成的数据上进行训练，或因为理解声音的音调（显然）并不能帮助模型做出更准确的预测。

Kyutai 曾尝试用 Moshi（demo，论文）创建一个基于音频语言模型的语音聊天应用，并于 2024 年 7 月发布。Moshi 可能不是你会选择帮你做作业的 AI，但请对它宽容一些：它是第一个端到端的语音 AI，甚至比 OpenAI 的高级语音模式发布得还要早。

Moshi 为自己和用户并行地模拟了一个“内心独白”的文本流和音频流。文本流帮助它规划要说什么，而消融研究（ablations）表明，文本流对模型的帮助巨大。同时，这也有点可悲：大部分的推理似乎都被委托给了文本流，而音频流只是用来提供集成的语音到文本和文本到语音功能。

这不仅仅是 Moshi 的问题：正如“我是在用高音说话吗”的实验所示，这种对文本而非音频的过度依赖是所有音频 LLM 的一个问题。尽管主流的建模方法与 Moshi 有所不同：它们是交错处理文本和音频 token，而不是在并行流中建模。

在 Moshi 发布一年多后，音频模型仍然落后于文本 LLM。但为什么呢？对我来说，这个神秘且未解的“模态鸿沟”（modality gap）使得音频机器学习成为一个令人兴奋的研究领域。

• PAL: Probing Audio Encoders via LLMs — A Study of Information Transfer from Audio Encoders to LLMs
• https://ta012.github.io/PAL/
• https://github.com/ta012/PAL-AudioLLM

如何设计音频编码器与 LLM 的集成架构，使得 LLM 能够高效、准确地从音频编码中“探测”出与文本查询相关的信息？

如何将丰富的音频语义高效地从音频编码器传递到 LLM 中，仍然缺乏系统性的研究。目前最常用的集成范式，是将音频编码器输出的 token 映射到 LLM 的输入 token 空间（例如通过 MLP 或 Q-Former），并将其前置或插入到文本 token 序列中。将这一通用方案称为 PLITS（Prepend to the LLM’s Input Token Space）集成方式。

论文提出了一种高效的替代方案——轻量级音频 LLM 集成方法（Lightweight Audio LLM Integration，LAL）。LAL 仅通过 LLM 不同层中的注意力机制引入音频表示，而绕过其前馈网络模块。该方法能够在合适的抽象层级上对丰富的音频语义进行编码，从而有效地将其集成到 LLM 的不同模块中。与现有的集成方式相比，该设计显著降低了计算开销。

在完全相同的训练流程下，LAL 在多种基础 LLM 和任务上均能够保持与现有集成方法相当的性能，甚至取得更优表现。对于通用音频任务，LAL 相较于强 PLITS 基线模型的性能提升最高可达 30%，同时内存占用最多降低 64.1%，吞吐量最高提升 247.5%。此外，在通用音频-音乐-语音 LLM 场景下，PAL 的性能与完全基于 PLITS 集成的系统相当，但在计算效率和内存效率方面具有显著优势。

LLM 中内在的两类知识：（1）参数化知识，主要源于大规模语言预训练并嵌入于 FFN 层中；（2）上下文知识，通过注意力机制动态地引入和调制。 音频输入作为一种上下文信息，可以仅通过基于注意力的调制，在文本 token 表征中激活所需的概念，而无需对音频表示进行直接的 FFN 处理。由此，音频信息得以间接访问 LLM 的参数化知识：音频上下文“搭载”在文本 token 之上，注意力机制对其表征进行重构，进而在 FFN 处理中触发与相关概念对应的路径。该策略不仅在架构效率上具有优势，也为多模态信息融合机制提供了更为深入的理解。

Introduction

两种主流的架构范式：

• PLITS（Prepend to the LLM’s Input Token Space）集成方式。将一个或多个音频编码器的输出映射到 LLM 的输入空间（例如通过 MLP、Q-Former），随后将这些音频 token 前置或插入到文本 token 序列中，并将整个序列作为统一输入。
• Flamingo 风格的架构。在相邻的 LLM 层之间插入交叉注意力（cross-attention）和前馈网络（FFN）模块。在每一次插入中，文本 token 首先对一组潜在的音频 token 进行注意力计算，随后通过该模块中的 FFN，最后再进入下一层 LLM。缺点：交叉注意力与 FFN 模块的交错堆叠会增加模型的顺序深度以及单层计算量，从而可能减慢前向传播速度。

本文提出了 LAL，一种轻量级的集成方式，其仅将音频 token 作为 Key和值Value 注入到 LLM 的注意力模块中（不构造音频查询 Query），并且使音频 token 绕过 LLM 的前馈网络（FFN）。这种设计将注意力计算复杂度从

O((N_a​+N_t​)²)

降低至 O((N_a​+N_t​)N_t​),

其中 N_a​ 和 N_t分别表示音频 token 与文本 token 的数量。由于在实际场景中通常满足 N_a ≫ N_t ​，该设计能够带来显著的计算效率提升。LAL 在内存占用和计算量方面均实现了显著降低。与 LoRA 等参数高效训练方法不同，LAL 属于一种核心架构层面的改动，因此其带来的效率优势不仅体现在训练阶段，同样适用于推理阶段。

PLITS 与 Flamingo 类集成方法代表了从音频编码器中提取信息的两种互补策略。LAL 通过限制音频 token 与 LLM 的交互方式，提供了一种计算与内存高效的机制；而在 PLITS 风格的集成下，某些音频编码器则可以从 LLM 内部更丰富的解码过程中获益。具体而言，采用语言对比学习或自监督目标训练的编码器（如 CLAP、SSLAM）更适合使用 LAL 集成方式；而 Whisper 由于其采用自回归语音到文本转写及下一 token 预测目标进行预训练，则能够从 PLITS 风格集成所提供的额外解码能力中获得更多收益。

基于上述观察，本文提出了一种 LAL 与 PLITS 相结合的混合集成框架——PAL，用于构建通用的音频、音乐和语音 LLM。该框架实现了一种面向音频编码器感知的融合策略，在效率与性能之间取得平衡。与单独采用 PLITS 集成方式相比，该设计在显著降低计算与内存开销的同时，仍能获得强劲的性能表现。实验系统地探索了性能与效率之间的权衡关系，揭示了面向编码器感知的融合策略如何在最小参数开销的前提下，实现音频编码器向 LLM 的高效信息传递。

Methodology

以当前最先进的集成方式 PLITS 作为基线方法，LAL 为本文提出的方法，PAL 为二者的混合方案。需要说明的是，文中使用 LAL 和 PAL 同时指代集成策略本身以及相应的音频-LLM 模型。

在音频编码器方面，采用 SSLAM 和 CLAP，并使用一种高效的、基于 Q-Former 的连接器来融合二者的信息，在不增加 token 数量的情况下完成融合，称为 LFST。若未使用 LFST，则音频编码器默认为 SSLAM；当使用 LFST 时，则表示 SSLAM 与 CLAP 的组合。

关于 LFST 的 连接器：

用于融合语言对齐的编码器（如 CLAP）与自监督编码器（如 SSLAM）。该连接器生成一组紧凑的潜在 token，既融合了 CLAP 的语义信息，又保留了 SSLAM 的细粒度时空特征，同时保持序列长度固定，避免了简单拼接带来的计算开销。

编码器输出为：

其中 F表示频率，T表示时间，d 表示特征维度。单个潜在 token z会广播到每一个时空位置，从而得到每个 z_f,t​。

在连接器内部，该模块包含 3 层交叉注意力（cross attention）层，每个 z_f,t​ 会通过与对应局部区域的 Hsslam和 Hclap​ 的交叉注意力进行更新。

为了在跨 (F,T)扁平化时保留时间结构，我们在频率轴上插入换行符（newline token），使得每一个新的时间步以该标记开头，然后才是其频谱 token

基线音频 LLM：

将音频 token 前置到 LLM 输入空间（PLITS）：将音频 token 前置到 LLM 输入 token 空间的基线音频 LLM 作为基准。

音频编码器的输出首先通过一个 Q-Former 连接器映射到 LLM 的输入嵌入空间，生成音频 token。随后，这些音频 token 被直接拼接在文本 token 之前，形成一个联合序列，并共同经过 LLM 的所有层进行处理，从而实现音频与文本的联合解码。该范式的核心特征在于音频 token 向 LLM 提供的方式——即作为前置 token 与文本一同输入。

LAL：轻量级音频-LLM 集成方法：

有研究表明，LLM 会将语义编码为可在隐藏状态中被选择性激活的特征。基于这一观点，提出如下假设：有效的音频-LLM 集成，并不需要对 LLM 做复杂改动，而是需要音频 token 能够触发文本 token embding 中与声音相关的概念特征。

换言之，不同的听觉输入应当在文本表示中激活相应的语言概念。例如，当输入中包含狗叫声时，与“狗”这一概念相关的特征应被激活，使模型能够将听觉信号锚定到语言层面，并正确回答诸如“当前包含哪种动物的声音？”这样的问题。该假设直接指导了我们的架构设计目标：寻找一条最简单、但又能可靠地将音频线索传递到承载语义概念的文本特征中的路径。

一个标准的 LLM 层由注意力子模块和前馈网络（FFN）子模块组成。由于注意力机制负责 token 之间的信息交互，它是音频影响文本的必要通道；同时我们认为，仅通过注意力机制，文本 token 便足以从音频中获取所需信息。

基于这一原则，我们提出了 LAL（Lightweight Audio LLM integration）。与基线方法类似，首先通过一个共享的 Q-Former 生成音频 token；在 LLM 的每一层中，使用一个 MLP 将这些音频 token 投影到该层的输入空间。随后，音频信息仅以 Key 和 Value 的形式注入到注意力模块中，而 Query 仍然仅由文本 token 构成。这样，音频只会调制文本 token 的注意力上下文，而不会经过 LLM 的前馈网络，从而实现更高效的音频-文本融合。

设第 l 层的文本隐藏状态为:H_l^t​∈R^N_t​×d, Q-Former 输出的音频特征为 A∈R^Na​×da​.在每一层引入一个投影器:P_l​:R^da​→R^d,将音频特征映射到该层的表示空间：

随后，在 token 维度上将文本与音频表示进行拼接：

如图 2(B) 所示，Query 仅由文本 token 生成，而 Key 和 Value 则由拼接后的序列计算：

由此得到文本 token 的 LAL 更新形式为：

更新后的H~_l^t​随后按照标准做法进入 FFN，并结合残差连接进行处理。通过这种方式，音频信息仅通过注意力上下文影响文本 token，使由音频激活的特征与其对应的语言概念对齐，从而实现有效的跨模态信息传递。

计算与内存效率

与 PLITS 以及 Flamingo 风格架构相比，LAL 在三个方面显著提升了效率，且随着音频序列长度的增加，这些优势会进一步放大。实验中，我们观察到最高可达 64.1% 的显存占用降低，以及最高 247.5% 的训练吞吐提升（samples/sec）。

注意力复杂度

• PLITS：在 Na+Nt​ 个 token 上执行完整的因果注意力，计算复杂度为：

• LAL：仅文本 token 生成 Query，Key 和 Value 包含音频与文本，复杂度为

从而消除了 N_a²项以及所有音频—音频之间的注意力交互。

前馈网络（FFN）：

• PLITS：音频 token 在每一层中既参与注意力计算，又通过 FFN，导致浮点运算量和激活存储随 NaN_aNa​ 成比例增长。
• LAL：音频 token 不进入 FFN，仅作为 Key 和 Value 服务于文本 Query，从而减少了每层的浮点运算量以及反向传播所需的激活存储。

随音频长度的扩展性。
在多模态 LLM 中，非文本模态通常会产生远多于文本的 token，音频亦是如此。随着音频片段变长或 token 化更密集，Na增大，PLITS 的计算代价为 (Na+Nt)²，其中 Na² 项将占据主导。相比之下，LAL 的复杂度为 (Na+Nt)Nt​，对 Na​ 呈线性增长。因此，音频越长或切分越细，二者在计算与内存上的差距就越大。此外，由于更多 token 绕过了每一层中最昂贵的 FFN，LAL 在前馈阶段的节省也会随 Na​ 的增大而进一步扩大。

相比Lora：

LAL 是一种核心架构层面的修改。LoRA 等方法主要改变训练阶段参数的适配方式，而在推理阶段基本保持原有的前向计算模式；LAL 则直接改变了注意力与 FFN 的路由方式，因此其计算与内存效率的收益不仅在训练阶段成立，在推理阶段同样适用。

冻结 LLM FFN 的 LAL 集成：验证了在冻结 LLM 前馈网络（FFN）模块的情况下，LAL 集成方式仍然保持有效，且性能并未出现显著下降。这一结果对于降低训练成本、提升参数效率，以及在实现多模态对齐的同时保留 LLM 预训练知识，具有重要意义。出于表述清晰与实验一致性的考虑，本文的主要实验仍聚焦于 FFN 可训练的标准设置。

参数化知识与上下文知识的利用。

LAL 如何高效利用预训练 LLM 中内在的两类知识：（1）参数化知识，主要源于大规模语言预训练并嵌入于 FFN 层中；（2）上下文知识，通过注意力机制动态地引入和调制。

LAL 的实验成功（见表 1 和表 2）表明，音频输入作为一种上下文信息，可以仅通过基于注意力的调制，在文本 token 表征中激活所需的概念，而无需对音频表示进行直接的 FFN 处理。由此，音频信息得以间接访问 LLM 的参数化知识：音频上下文“搭载”在文本 token 之上，注意力机制对其表征进行重构，进而在 FFN 处理中触发与相关概念对应的路径。该策略不仅在架构效率上具有优势，也为多模态信息融合机制提供了更为深入的理解。

LAL 的实证评估。在多种基础 LLM 上对 LAL 进行了训练与评估，覆盖通用音频任务，包括分类、描述生成（captioning）和推理。在表 1（分类与描述生成）和表 2（推理）中，我们给出了 LAL 与 PLITS 的受控对比，结果表明 LAL 在推理速度与内存占用更优的同时，能够达到与 PLITS 相当甚至更高的准确率。其次，在表 3（分类与描述生成）和表 4（推理）中，我们将 LAL 与已有方法进行了比较。需要注意的是，不同先前方法在训练数据规模和模型规模上存在显著差异，而我们的模型实验训练在这两个维度上均处于较低水平。

这些实验结果不应被简单理解为“全面优于所有方法”，而应被解读为一个更有说服力的结论：即在使用更少训练数据、更小模型、计算资源更受限的情况下，LAL 能够达到与现有方法相当的性能水平，表现出良好的竞争力。

PAL：一种面向编码器的、在 LAL 基础上扩展语音理解能力的架构

前文已经证明：

• LAL：高效、省算力，适合通用音频（general audio）
• PLITS：计算更重，但允许音频 token 在 LLM 内部被“语言化”处理

本节提出的关键问题是：

是否所有音频编码器都适合用 LAL？还是有些情况下必须用 PLITS？

对于 Whisper 语音编码器在 情感识别、性别分类 等任务上：PLITS 明显优于 LAL，这一现象与经典神经语言学理论相符：Wernicke 区主要负责语言理解，长期以来被认为处理书面语和口语，而角回则支持跨听觉、视觉及其他感官输入的关联。类比而言，语音特征在结合语言上下文进行解释时最为有用，而通用音频则受益于模态专属的处理通路。

语音（speech）-人类声音
→ 本质上是“语言的声学形式”
→ 在 LLM 内部、结合语言上下文进行解码更有价值
→ 因此更适合 PLITS（直接进入 LLM token 流）

通用音频 / 音乐 / 事件音
→ 非语言模态
→ 更适合走 模态专属通路
→ 用 LAL 即可

基于此，我们提出了 PAL（Probing the Audio Encoders via LLM），一种面向编码器的混合集成架构，可根据不同编码器选择合适的集成方式：通用音频编码器（SSLAM 和 CLAP）采用 LAL 集成，而语音编码器 Whisper 采用 PLITS 集成.

PAL 的实验评估：我们在涵盖语音、音乐和通用音频的统一 instruction tuning 数据集上训练 PAL，并在分类与推理基准上进行评测。结果显示，在分类任务中（表 5）以及推理任务中（表 6 和表 7）：

PAL 的准确率与 PLITS 相当，同时保持了更高的计算效率。

Whisper 的“副作用”：对非语音任务也有帮助:

此外，我们观察到引入 Whisper 编码器后，通用音频（sound）和音乐任务的性能有所变化。我们推测，这是因为 Whisper 会编码背景声音，从而具备一定的事件检测能力。

在 PAL 与 PLITS 的对比中，我们严格控制实验条件，使用相同的 backbone、数据和训练超参数。除 Audio Flamingo 2 外，其他系统均基于 PLITS。表7种一些已有系统（Qwen2.5-Omni-7B）在指标上高于 PLITS，主要是因为它们使用了更大的训练数据集、更大的语言模型（LLM）以及更强的音频编码器。

PAL 采用两阶段训练流程（见表 9）。在阶段一中，我们以用于 LAL 的阶段一数据集为基础，并额外引入来自 OpenASQA的、以语音理解为重点的数据进行增强。在阶段二中，我们在一个经过精心整理的音频、语音与音乐推理指令数据集 AudioSkills上进行微调。由于部分源数据集的原始音频文件不可获取，我们使用了 AudioSkills 中的 600 万条样本子集（原始规模为 1000 万）。

实验

LAL：实验设置

训练流程（Training Protocol）
在两个目前规模最大的通用音频指令微调数据集上训练所提出的音频 LLM 变体：OpenAQA和 CompA-R。整体采用两阶段训练流程：
1）连接器预训练阶段：仅训练音频-文本connector，其余模块全部冻结；
2）联合训练阶段：同时训练connector和 LLM。
在整个训练过程中，音频编码器始终保持冻结状态。

针对推理和开放式问答任务，我们进一步增加两个训练阶段：

• 阶段 3：使用 OpenAQA中的开放式问答数据进行训练；
• 阶段 4：使用推理数据集 CompA-R进行训练。

采用 OpenAQA提出的两阶段训练设置对 LAL 进行训练，并据此获得表 1 中的实验结果。此外，我们还在 OpenAQA提供的更大规模开放式数据以及推理数据集 CompA-R上进行训练，其评测结果见表 2。

评测流程（Evaluation Protocol）
为了评估 LAL 是否能够有效地将关键音频事件信息从编码器传递到 LLM 的潜在表示空间中，我们在下游的分类、描述生成（captioning）和推理任务上进行评测。

• 分类任务：使用 gpt-text-embedding-ada 对模型输出文本和目标音频标签进行编码，并计算语义相似度；

• 描述生成任务：在标准音频描述数据集上评测，报告 CIDEr 和 SPICE 指标；
• 推理任务：采用 CompA-R-test 以及 Ghosh 的评测协议，通过一个纯文本的 GPT-4 评审模型，结合音频事件的辅助元数据，对音频-LLM 的输出在 有用性（Helpfulness）、清晰度（Clarity）、正确性（Correctness）、深度（Depth）和参与度（Engagement） 五个维度进行打分。

PAL：实验设置

训练流程：PAL 采用与 LAL 相同的两阶段训练流程。音频编码器在整个过程中同样保持冻结。

在阶段 1 中，构建了一个混合数据集：以通用音频 OpenAQA 的 Stage 1 数据为基础，并加入用于语音理解的 OpenASQA Stage 1 划分。
在阶段 2 中，使用一个精心整理的音频、语音和音乐推理指令微调语料，即 AudioSkills中的 600 万条子集。

语音理解评测：语音识别以及说话人性别分类。这些任务在阶段 1 训练完成后进行评测，用以衡量新引入的 Whisper 编码器与 LLM 的集成效果。随后，在 MMAR 和 MMAU 基准上评测通用音频、音乐以及语音推理能力，并报告细粒度的类别级性能结果。

总结：

提出了 LAL，一种仅通过注意力机制中的 Key 和 Value 注入音频信息、并跳过音频 token 的前馈网络（FFN）处理的轻量级集成方式。该方法减少了注意力交互与中间激活，在分类、描述生成和推理任务上保持与当前最先进基线 PLITS 相当的性能的同时，实现了 最高 64.1% 的显存占用降低 和 最高 247.5% 的训练吞吐提升。
此外，我们提出了 PAL，一种 编码器感知（encoder-aware） 的混合集成框架：对 SSLAM 和 CLAP 采用 LAL，而对 Whisper 采用 PLITS，因为 Whisper 能从 LLM 内部的解码过程中获益。
需要强调的是，LAL 属于核心架构层面的改动，而非参数高效微调（PEFT）方法，因此其效率收益在 训练阶段和推理阶段 均可体现。
在未来工作中，我们计划扩展到更大规模的基础模型，使用更高质量的指令数据以提升推理能力，并探索 流式处理 与 长上下文音频 场景。

PS：数据集说明：

VocalSound：VocalSound 数据集包含 21,024 条众包采集的语音录音，覆盖 6 类不同的发声表达，来自 3,365 名不同的受试者。

ESC-50：ESC-50 数据集由 2,000 条 5 秒长的环境音频片段组成，划分为 50 个类别。

DCASE2017 Task 4：DCASE 2017 Task 4 包含 17 种声音事件，分为“Warning”和“Vehicle”两大类，其评测集包含 1,350 条音频片段。

FSD50K：FSD50K 的评测集包含 10,231 条音频片段。我们在该评测集上进行评估，并报告多标签分类任务的 mAP（mean Average Precision）指标。包括人类声音 、 事物声音 、 动物声音、 自然声音和音乐 。

AudioSet：其中包含来自 YouTube 的 10 秒音频片段，这些片段按照 AudioSet 本体论被标注为一个或多个声音类别。

AudioCaps：AudioCaps 的评测集包含 901 条音频，每条音频配有 5 条文本描述，共计 4,505 对音频-描述样本。

Clotho V2：Clotho V2 的评测集包含 1,045 条音频，每条音频配有 5 条描述，共计 5,225 对音频-描述样本。

 复杂音频推理 （CompA-R）是一个合成生成的指令调优 （IT）数据集，其中包含要求模型对输入音频进行复杂推理的指令。