作者： chenpaopao

• github: https://github.com/baichuan-inc/Baichuan-Audio/
• Baichuan-Audio 🤗 | Baichuan-Audio-Base 🤗 | 技术报告 📖
• OpenAudioBench 🤗 | 训练数据 🤗 (Coming Soon)

Baichuan-Auido 是Baichuan最新的端到端训练的语音交互大模型，无缝集成了音频理解和生成功能，支持高质量可控的中英双语实时对话。

• Baichuan-Audio-Base: 为促进语音大模型发展，我们开源了使用高质量海量数据训练的端到端语音基座模型。该模型未经SFT指令微调，可塑性强。
• Baichuan-Audio: 接受文本、音频作为输入，并生成高质量文本和语音输出，能够在保持预训练 LLM 智商能力下实现无缝的高质量语音交互，和用户进行实时语音对话。

Introduction

Baichuan-Audio，这是一款为实时语音交互设计的端到端音频大语言模型。与 Moshi 和 GLM-4-Voice [输出 文本+speech token，speech token 接入cosyvoice解码器合成音频 ] 类似，Baichuan-Audio 扩展了预训练的大语言模型（LLM），以支持端到端的音频输入和输出。该模型通过集成 Baichuan-Audio-Tokenizer 和流匹配解码器来实现上述功能，前者将音频信号离散化为音频标记，后者则将音频标记解码为语音波形。

Baichuan-Audio-Tokenizer 的运行帧率为 12.5 Hz，并采用多码本离散化技术，以保留语义和声学信息，从而支持 LLM 中语音模态的有效建模。Baichuan-Audio 还引入了独立的音频头（audio head），以提升模型处理和捕捉音频特征的能力。

我们在包含约 1000 亿个标记的音频-文本数据上进行了大规模预训练。基于包含 88.7 万小时的大型音频语料库，我们采用了交错数据处理方法，以在 LLM 框架内实现高效的知识迁移。

贡献：

• 统一且卓越的语音能力：我们设计了一个 8 层 RVQ 音频分词器（Baichuan-Audio-Tokenizer），在 12.5 Hz 帧率下实现了对语义和声学信息的最佳平衡，支持高质量、可控的中英文双语实时对话。
• 端到端语音交互：Baichuan-Audio 能够处理文本和音频输入，并生成高质量的文本和语音输出，支持无缝的高质量语音交互，同时保持智能响应能力。
• 开源支持：我们已开源训练数据和基础模型，为语音交互领域的研究与创新提供了宝贵的资源与工具。

模型

该模型结构围绕三大核心组件构建：Baichuan-Audio分词器、音频大语言模型（audio LLM），以及音频解码器。

处理流程从音频分词器开始，它通过捕捉语义与声学信息，将原始音频输入转化为离散的token。这一步是通过 Whisper编码器 与 残差矢量量化（RVQ）技术相结合实现的。

随后，音频LLM以交替方式生成对齐的文本与音频token，并借助一个特殊的token实现文本与音频模态间的无缝切换。接下来，这些音频token将由一个独立的音频head进一步处理。

最后，模型通过一个基于Flow-Matching的方法的音频解码器，从这些token中重建出高质量的Mel谱图，再通过 声码器（vocoder）将其转换为音频波形。

Audio Tokenization

当前音频分词器面临的主要挑战，在于如何在捕捉语音信号中的语义信息与声学信息之间取得最佳平衡。相较于像 HuBERT 这样的自监督学习方法，Baichuan-Omni 与 Qwen-Audio 这类模型在捕捉语义特征方面提供了更直接的路径。【ASR任务】

与此同时，像 Encodec和 SpeechTokenizer这样的音频分词器则在完整重建音频特征方面表现尤为出色。【音频重建任务】

为了结合这两类方法的优点，提出了 Baichuan-Audio-Tokenizer：一个基于 残差矢量量化（RVQ） 和 多目标训练【重建音频任务以及ASR任务】 的音频分词器，如图2所示。Baichuan-Audio-Tokenizer 保留了来自 Baichuan-Omni 的音频编码器和语言模型组件，并在编码器之后新增了一个 音频解码器结构，用于重建输入的 Mel 频谱图。该音频分词器采用多目标优化方法进行训练，从而能够有效捕捉输入语音中的语义信息与声学信息。

Baichuan-Audio-Tokenizer 采用了每秒 12.5 个 token 的帧率设计。高层次的音频特征首先通过 Whisper Large 编码器从 Mel 频谱图（Mel spectrogram） 中提取，随后通过一个 残差卷积网络 进行 4× 下采样，以获得低帧率的音频特征。

由于 Whisper 编码器输出的音频特征是高维的，在量化过程中需尽可能减少信息损失，因此我们使用了 8 层残差矢量量化（RVQ）。我们设计了逐层递减的码本大小，依次为：{8K, 4K, 2K, 1K, 1K, 1K, 1K, 1K}。

音频解码器采用与 Whisper 编码器完全对称的结构，通过一个 反卷积模块（deconvolution module） 对输入进行 4× 上采样。之后，序列经过一系列 Transformer 层，并进一步进行 2× 上采样，最终得到每秒 100 个 token 的粗略 Mel 频谱表示。设计了一个 精细化网络，以提升 Mel 频谱重建的精度，最终获得高质量的精细 Mel 频谱特征。

在音频重建损失函数的设计中，我们，采用 L2 损失与 L1 损失的组合 作为重建损失。其形式定义如下：

为提升音频重建的质量，我们引入了一种 多尺度 Mel 频谱损失（multiscale Mel loss） 方法，使用了两种不同的 hop length（帧移） 和 window size（窗长）。该方法有效缓解了在从解码器输出转换为 Mel 频谱过程中，由于降维和下采样插值所导致的信息损失。通过在多个尺度上进行优化，该方法能够保留更多细粒度的音频特征，从而提升重建的保真度和训练的稳定性。

对于预训练的语言模型（LLM），其目标是在音频理解任务中最大化文本输出的 softmax 概率。为了确保语义对齐，我们在训练过程中保持预训练语言模型参数不更新（冻结），仅最大化其在音频理解任务中预测文本的 softmax 概率。这种做法有助于保持音频分词器与文本LLM之间的语义对齐关系。

在选择 LLM 的规模时，我们观察到，在音频理解模型的训练过程中，不同规模的 LLM 对于 ASR（自动语音识别）指标的影响很小。因此，我们最终选用了一个拥有 15亿参数（1.5B） 的预训练 LLM 进行持续训练。这个规模的模型与音频解码器在训练过程中表现出良好的匹配性，两者的梯度范数差距较小，有助于提升整体训练的稳定性。

在量化模块的训练中，我们采用了 指数移动平均（EMA） 策略来更新码本，并使用 直通估计器（STE, Straight-Through Estimator） 来反向传播梯度至编码器。此外，我们还使用了 向量量化承诺损失（VQ commitment loss），以确保编码器的输出能够紧密对齐至码本中的条目。

VQ 承诺损失定义如下：

总损失是多尺度重建损失、文本音频对齐损失（对于LLM）和 VQ 承诺损失的加权组合：

训练数据。 除了自动语音识别 (ASR)、音频查询回答 (AQA) 和语音到文本翻译 (S2TT) 等传统任务外，我们还将一定比例的音频文本交错数据纳入训练过程。此策略旨在增强 VQ 模块对复杂上下文场景进行建模的能力。具体来说，训练数据集包括 135k 小时的 ASR 数据、11k 小时的 AQA 数据、9k 小时的 S2TT 翻译数据和 52k 小时的音频文本交错数据。

Evaluation of Baichuan-Audio-Tokenizer. 我们使用相同的数据和基础模型训练了音频理解模型的非 VQ 版本作为基线。对于 VQ 和非 VQ 模型，LLM 的参数在训练期间保持冻结，以确保公平比较并隔离 VQ 机制对整体性能的影响。从表 1 中，我们可以看到 8 层 vq 更接近基线，并且语义内容损失最少。如表 2 所示，8 层 VQ 模型和基线在多个数据集上的 ASR 结果表明，训练后的 8 层 VQ 模型实现了具有竞争力的性能。

基于流匹配的音频解码器

为了提升合成音频的质量与保真度，我们对音频解码模块进行了增强，引入了 Flow-Matching 模型，在 24 kHz 采样率的音频数据上训练，用于生成目标 Mel 频谱图。该 Flow-Matching 解码器 包括两个主要部分：Pre-Net 和 条件解码器（Conditional Decoder），如图 3 所示。

Pre-Net 负责将中间表示映射为供声码器（vocoder）使用的先验分布，结构上由一个 多层感知机（MLP） 和一个 12 层 Transformer 组成：MLP 将输入的 1280维、50 Hz 的音频特征压缩投影至 512维；接着，Transformer 对其进行精细建模；最后通过一个线性层转换为 80维的 Mel 频谱图。

条件解码器（Flow-Matching Conditional Decoder）。该部分采用基于 U-Net 的结构，并结合 OT-CFM（Optimal Transport Conditional Flow Matching） 方法进行训练，灵感来源于 Matcha-TTS 和 CosyVoice 。

U-Net 结构包括：一个下采样模块、一个上采样模块，以及 12 个中间模块，每个模块由一个 ResNet1D 层 和一个 Transformer 层（256维）组成。最终，再通过一个线性层将特征投影为 80维 Mel 频谱图。

需要注意的是，由于模型已通过重建损失编码了声学信息（如说话人音色），因此 不需要额外的说话人嵌入（speaker embeddings）。生成的 Mel 频谱图将通过 HiFi-GAN 声码器转换为音频波形。

训练细节： 流匹配模型在约 27 万小时的音频上进行了训练，包括普通话、英语、各种方言和多语言数据。使用集成 ASR 和 MOS 过滤来改善数据质量。在训练期间，AudioEncoder、VQ 层和 AudioDecoder 是固定的，而流匹配 Pre-Net 和解码器则在 Pre-Net 中添加了先验损失进行训练。

重建性能评估：

Audio LLM

Baichuan-Audio 通过整合新推出的 Baichuan-Audio-Tokenizer（包括音频嵌入层和独立的音频头）扩展了预训练的 LLM。具体来说，来自 Baichuan-Audio-Tokenizer 的音频标记首先通过音频嵌入层转换为音频嵌入。音频 LLM 交替生成对齐的文本标记和音频标记，并通过特殊标记实现文本和音频之间的模态切换。生成的音频标记由独立的音频头处理，该头由 3 层深度转换器和 8 个分类头组成。最后，音频嵌入通过音频编码器（例如基于流匹配的音频编码器和声码器）以重建音频波形。

音频嵌入。 首先，将 8 个离散音频标记通过相应数量的嵌入层相加以获得音频嵌入。由于包含一个额外的特殊标记来表示音频标记生成的结束，因此每个嵌入层的输入维度都比相应码本的大小大一。

音频头。生成的音频标记使用独立的音频头进行处理，该音频头由 3 层深度转换器和 8 个分类头组成。深度转换器的深度为 8，可预测 8 个码本的音频嵌入。最后，分类头用于获取与音频标记相对应的每个码本的逻辑值。

与纯文本大模型相比，语音语言模型（speech language models） 往往在生成语义连贯的输出方面存在困难。研究 [36] 指出，这一问题主要源于语音中引入了 时长信息（duration） 和 副语言信息（paralinguistic information），例如语调、语气等。

为了解决这一问题，我们在预训练阶段引入了两种类型的交错数据（interleaved data）：音频-文本交错数据（INTLV, Audio-Text Interleaved）、文本到语音交错数据（ITTS, Interleaved Text-to-Speech）

这两种数据设计有助于提升模型的音频理解与生成能力。

在推理阶段，离散音频 token 会被送入 LLM，模型随后以交替的方式生成对齐的 文本 token 和 音频 token。我们引入了特殊 token，用于在文本与音频模态间切换。这种强制对齐策略（forced alignment approach）确保了模型会优先生成连贯完整的文本内容，再生成对应的音频 token，从而有效引导音频 token 的生成，缓解语义退化问题。

Pre-training details：

数据: 交错数据由交替的文本和音频模态组成，并用标点符号分隔以促进跨模态知识传输。交错对齐的生成数据由完全对齐的文本和音频内容组成，旨在增强模型在文本监督下生成音频标记的能力。音频-文本配对数据（例如，ASR 和 TTS 数据）提高了基本语音任务的性能。另一方面，纯音频数据增强了独立处理音频模态的能力。交错数据收集流程如图 4 所示，分为爬取数据和合成数据两种，共获取了 14.2 万小时的 ITTS 数据和 39.3 万小时的 INTLV 数据。交错数据采用LLM进行切分，即根据文本内容中的标点符号或自然停顿进行自然切分。对于合成数据的切分文本数据，我们还采用了大型语言模型进行文本归一化 。在预训练过程中，我们排除了音频文本交错数据中音频片段的损失计算，这一设计选择与 GLM-4-Voice 不同。 在当前约 50B 的训练音频数据规模下进行的经验观察表明，计算 INTLV 数据中音频片段的损失会导致性能下降。这一决定的合理性还在于音频和文本之间固有的模态冲突，以及推理过程中不需要文本到音频的延续。因此，我们省略了 INTLV 数据中音频片段的损失计算。对于 ITTS 数据，除了初始文本片段外，还计算了音频和文本片段的损失，以增强模型在文本引导音频生成方面的能力。

两阶段训练策略。 为了解决语音特征与文本特征的不同特征可能导致的LLM中原始文本知识的潜在破坏，我们提出了一种两阶段训练策略来缓解模态之间的训练冲突。在第一阶段，LLM的参数保持不变，只允许更新音频嵌入层和音频头的参数。在第二阶段，除文本嵌入层和 LM 头的参数外，所有参数都可训练。

监督微调细节

监督微调阶段旨在增强模型在一系列任务中遵循复杂指令的能力。音频 SFT 数据来自大量文本指令。使用基于指令类型、多样性和整体质量的过滤策略选择高质量指令。使用 10,000 种不同语音音调的精选数据集合成音频指令。在自然对话停顿处生成和分割相应的文本响应，然后使用指定的语音音调转换为音频。这些数据集涵盖多项任务，包含大约 242k 个音频数据对。

为了确保合成音频的质量，自动语音识别 (ASR) 被应用于生成的音频文件。将 ASR 输出与原始文本进行比较以验证质量。此过程可创建高质量的端到端对话数据集。有错误的合成音频文件将添加到文本转语音 (TTS) 数据集，而有 ASR 错误的案例将合并到 ASR 训练数据集中。这种合并具有挑战性的示例的迭代方法可增强 TTS 和 ASR 的性能。

需要特别注意处理文本转音频导致原始文本响应不适合作为音频回复的情况。此问题是由于文本和音频之间的语调、速度和表达方式的差异而产生的。某些文本内容在转换为音频时可能无法传达预期含义或引入歧义。因此，在生成过程中仔细检查和调整此类情况至关重要。这可确保合成数据准确反映现实世界的语音交互场景，从而提高数据可靠性并提高模型的实际适用性。

Experiment

 综合智力测评

基于语音的对话模型面临的一大挑战是，与纯文本对话模型相比，其性能往往会下降。为了评估语音模型的“智能”，我们​​以文本到文本的建模能力为基准，评估预训练的语音到文本模型的性能。评估数据集包括两种类型：故事延续能力和常识推理能力。

Performance in ASR/TTS Tasks

Performance in Audio Understanding Tasks

模型在音频理解基准测试中表现优异，超越了最新的开源模型。

两种不同的设置：1）非级联方式的语音到语音生成（表示为 S → S），其中输入是音频，输出是交错的文本和音频。然后合并输出文本并用于评估。2）语音到文本生成（表示为 S → T，其中输入是音频，输出是文本，用于评估。

总结

Baichuan-Audio，这是一种专为音频设计的端到端大型语言模型，集成了语音理解和生成功能。该模型通过预训练的 ASR 模型对 12.5 Hz 的语音信号进行多码本离散化，从而保留了语音标记中的语义和声学信息。此外，还专门设计了一个独立的音频头来高效处理这些标记。为了平衡音频建模和语言能力保留，采用了交错数据的两阶段预训练策略。所提出的框架通过文本引导的对齐语音生成来支持语音交互，从而进一步保留了模型的基础认知能力。

• 论文地址：
• https://github.com/QwenLM/Qwen2.5-Omni/blob/main/assets/Qwen2.5_Omni.pdf
• 博客地址：https://qwenlm.github.io/blog/qwen2.5-omni/
• GitHub 地址：https://github.com/QwenLM/Qwen2.5-Omni
• Hugging Face 地址：https://huggingface.co/Qwen/Qwen2.5-Omni-7B
• ModelScope：https://modelscope.cn/models/Qwen/Qwen2.5-Omni-7B

这是 Qwen 系列中全新的旗舰级多模态大模型，专为全面的多模式感知设计，可以无缝处理包括文本、图像、音频和视频的各种输入，同时支持流式的文本生成和自然语音合成输出。

主要特点

• 全能创新架构：我们提出了一种全新的Thinker-Talker架构，这是一种端到端的多模态模型，旨在支持文本/图像/音频/视频的跨模态理解，同时以流式方式生成文本和自然语音响应。我们提出了一种新的位置编码技术，称为TMRoPE（Time-aligned Multimodal RoPE），通过时间轴对齐实现视频与音频输入的精准同步。
• 实时音视频交互：架构旨在支持完全实时交互，支持分块输入和即时输出。
• 自然流畅的语音生成：在语音生成的自然性和稳定性方面超越了许多现有的流式和非流式替代方案。Qwen2.5-Omni 支持修改输出语音的音色类型，目前支持2种音色类型。
• 全模态性能优势：在同等规模的单模态模型进行基准测试时，表现出卓越的性能。Qwen2.5-Omni在音频能力上优于类似大小的Qwen2-Audio，并与Qwen2.5-VL-7B保持同等水平。
• 卓越的端到端语音指令跟随能力：Qwen2.5-Omni在端到端语音指令跟随方面表现出与文本输入处理相媲美的效果，在MMLU通用知识理解和GSM8K数学推理等基准测试中表现优异。

摘要：

Qwen2.5-Omni，这是一种端到端的多模态模型，能够感知多种模态信息，包括文本、图像、音频和视频，同时以流式方式生成文本和自然语音响应。为了实现多模态信息输入的流式处理，Qwen2.5-Omni 的音频和视觉编码器采用了 分块处理（block-wise processing） 方法。该策略有效地解耦了长序列多模态数据的处理，将感知任务交由多模态编码器，而将长序列建模任务交由大语言模型（LLM），这种分工机制通过共享注意力机制增强了不同模态的融合。

为同步视频输入的时间戳与音频，我们采用 交错（interleaved） 方式对音视频数据进行序列化，并提出了一种新颖的位置编码方法——TMRoPE（Time-aligned Multimodal RoPE，时间对齐多模态旋转位置编码）。 ps：关于旋转位置编码

在同时生成文本和语音的过程中，为了避免两种模态之间的相互干扰，我们提出了 Thinker-Talker 架构。在该框架下：

• Thinker 作为大语言模型，负责文本生成；
• Talker 是一个 双轨自回归模型（dual-track autoregressive model），它直接利用 Thinker 的隐藏表示来生成音频标记（audio tokens）作为输出。

Thinker 和 Talker 均以端到端方式进行训练和推理。此外，为了实现流式音频标记解码，我们引入了 滑动窗口 DiT（sliding-window DiT），通过限制感受野来减少初始数据包延迟。

Qwen2.5-Omni 的关键特性可总结如下：

• Qwen2.5-Omni 是一个 统一多模态模型，能够感知所有模态信息，并以流式方式同时生成文本和自然语音响应。
• 我们提出了一种新颖的位置编码算法 TMRoPE（Time-aligned Multimodal RoPE），该方法显式融入时间信息，以实现音视频的同步。
• 我们设计了 Thinker-Talker 架构，以支持 实时理解 和 语音生成。
• 在多模态基准测试中，Qwen2.5-Omni 展示了卓越的性能，相较于类似规模的单模态模型表现更优，尤其在语音指令跟随任务上，其能力可与纯文本输入任务相媲美。
• 在需要整合多种模态的信息处理任务中（如 OmniBench 评测），Qwen2.5-Omni 达到了 最先进（state-of-the-art） 的性能。
• 在语音生成方面，Qwen2.5-Omni 在 seed-tts-eval 评测中表现出色，展现出强大的语音生成能力和稳健性。

Architecture：

如 图 2 所示，Qwen2.5-Omni 采用 Thinker-Talker 架构，其中：

• Thinker 类似于大脑，负责处理和理解 文本、音频、视频 等模态输入，生成高级表示和对应的文本输出。
• Talker 类似于人类的嘴巴，以流式方式接收 Thinker 生成的高级表示和文本，并顺畅地输出离散语音标记。

架构细节

• Thinker 采用 Transformer 解码器，并配备 音频编码器 和 图像编码器，以增强信息提取能力。
• Talker 采用 双轨【同时接收文本token和语音token】自回归 Transformer 解码器 结构（受 Mini-Omni [Xie & Wu, 2024] 启发）。
• 在 训练和推理 过程中，Talker 直接接收 Thinker 的高维表示，并共享其全部历史上下文信息，使整个架构作为一个统一模型进行 端到端训练和推理。

感知：

Qwen2.5-Omni 通过 Thinker 对 文本、音频、图像和视频（无音频） 进行处理，将它们转化为一系列隐藏表示作为输入。具体步骤如下：

1. 文本输入
   • 对于文本输入，我们采用 Qwen 的分词器（Byte-level Byte-pair Encoding），词汇表包含 151,643 个常规标记。
2. 音频输入和视频中的音频
   • 音频输入（包括视频中的音频部分）首先被重采样至 16kHz 的频率，然后将原始波形转化为 128 通道的梅尔频谱图（mel-spectrogram），窗口大小为 25ms，步幅为 10ms。
   • 音频编码器采用 Qwen2-Audio 的音频编码器（Chu et al., 2024b），每一帧音频表示大约对应于 原始音频信号的 40ms 时长。
3. 图像和视频输入
   • 对于图像输入，我们采用 Qwen2.5-VL 的视觉编码器（基于 Vision Transformer（ViT） 模型，约 6.75 亿个参数），能够有效处理图像和视频输入。
   • 视觉编码器使用混合训练方法，结合图像和视频数据，确保其在图像理解和视频理解上的高效表现。
   • 为了最大程度地保留视频信息并适应音频采样率，我们采用 动态帧率（dynamic frame rate） 来进行视频采样。此外，为保持一致性，每个图像都被视为两个相同的帧。

视频与TMRoPE

我们提出了一种 音视频时间交错算法（time-interleaving），并引入了新的 位置编码方法 —— TMRoPE（Time-aligned Multimodal RoPE）。如 图 3 所示，TMRoPE 编码了多模态输入的三维位置，采用 多模态旋转位置编码（M-RoPE）【ps: Qwen2-VL多模态旋转位置编码 多模位置编码】，并结合绝对时间位置。具体方法是将原始的旋转位置编码分解为三个组件：时间、图像高度和宽度。

• 文本输入 使用相同的位置信息（位置 ID）来处理各组件，使得 M-RoPE 在文本输入中与 1D-RoPE 等效。

• 音频输入 也使用相同的位置信息，并引入绝对时间位置编码，每 40ms 对应一个时间 ID。

• 图像输入，每个视觉标记的时间 ID 保持不变，而高度和宽度组件则根据标记在图像中的位置分配不同的 ID。

• 音视频输入 情况下，音频依然使用相同的时间位置 ID 编码，每帧 40ms。视频则作为一系列图像处理，每帧对应的时间 ID 增量，同时高度和宽度组件的 ID 分配与图像一致。由于视频的帧率不是固定的，我们根据每帧实际时间动态调整时间 ID，以确保每个时间 ID 对应 40ms。

在多模态输入场景下，每种模态的位置信息初始化时会将前一模态的最大位置 ID 增加 1。

视频与音频时间交错方法

为了使模型能够同时接收视觉和听觉信息，我们采用 时间交错方法（time-interleaving） 对带有音频的视频进行特殊设计。具体做法是：

• 将视频的音频表示按 实际时间 每 2 秒 切分为块。
• 在每个 2 秒块中，先安排视频的视觉表示，再安排音频表示，从而将视频和音频的表示交错排列。

生成：

文本生成由 Thinker 直接生成，其逻辑与广泛使用的大型语言模型（LLM）相同，文本通过基于词汇表的概率分布进行自回归采样生成。生成过程中可能会采用一些技术，如 重复惩罚（repetition penalty） 和 top-p 采样，以提高文本生成的多样性。

语音生成中，Talker 接收 Thinker 生成的高维表示和采样的文本标记。高维表示和离散采样标记的结合是这个过程中的关键。作为流式算法，语音生成需要在整个文本完全生成之前预测文本的语气和态度。Thinker 提供的高维表示隐含了这些信息，使得语音生成过程更自然。此外，Thinker 的表示主要体现语义相似性而非语音相似性，因此，即使是发音上差异较大的词，其高维表示可能非常相似，这就需要输入离散的采样标记来消除这种不确定性。

我们设计了一个高效的语音编解码器 qwen-tts-tokenizer，它能够高效地表示语音的关键信息，并通过因果音频解码器流式解码成语音。接收到信息后，Talker 开始自回归地生成音频标记和文本标记。语音生成过程中不需要与文本进行逐字和逐时间戳的对齐，这大大简化了训练数据的要求和推理过程。

流式设计：

在音频和视频流式交互的背景下，初始包延迟是衡量系统流式性能的关键指标。这个延迟受到多个因素的影响：1）多模态信息输入处理引起的延迟；2）从接收到第一个文本输入到输出第一个语音标记之间的延迟；3）将第一个语音段转换为音频的延迟；4）架构本身的固有延迟，这与模型大小、计算 FLOP 数以及其他因素相关。本文将随后讨论在这四个维度上减少这些延迟的算法和架构改进。

支持预填充（Support Prefilling）

块状预填充（Chunked-prefills） 是现代推理框架中广泛使用的一种机制。为了支持模态交互中的预填充机制，我们修改了音频和视觉编码器，以支持沿时间维度的 块状注意力（block-wise attention）。具体而言，音频编码器从对整个音频的全局注意力改为对每个 2 秒 的音频块进行注意力计算。视觉编码器则使用 Flash Attention 来实现高效的训练和推理，并通过一个简单的 MLP 层 将相邻的 2×2 标记合并为一个标记。补丁大小设置为 14，允许不同分辨率的图像被打包成一个序列。

流式编解码器生成（Streaming Codec Generation）

为了促进音频的流式传输，特别是对于长序列的流式处理，我们提出了一种 滑动窗口块注意力机制（sliding window block attention），该机制限制了当前标记访问的上下文范围。具体来说，我们采用了 Flow-Matching 的 DiT 模型。输入的code通过 Flow-Matching 转换为 梅尔频谱图（mel-spectrogram），然后通过修改后的 BigVGAN 将生成的梅尔频谱图重建回波形。

预训练

Qwen2.5-Omni 由三个训练阶段组成。在第一阶段，我们锁定大型语言模型（LLM）的参数，专注于训练视觉编码器和音频编码器，利用大量的音频-文本和图像-文本对来增强 LLM 的语义理解能力。在第二阶段，我们解冻所有参数，并使用更广泛的多模态数据进行训练，以实现更全面的学习。在最后阶段，我们使用长度为 32k 的数据来提升模型理解复杂长序列数据的能力。

该模型在一个多样化的数据集上进行预训练，数据类型包括图像-文本、视频-文本、视频-音频、音频-文本和文本语料库。我们将层次标签替换为自然语言提示，遵循 Qwen2-Audio（Chu et al., 2024a）的方法，这可以提高模型的泛化能力和指令跟随能力。

在初始预训练阶段，Qwen2.5-Omni 的 LLM 组件使用 Qwen2.5（Yang et al., 2024b）中的参数初始化，视觉编码器与 Qwen2.5-VL 相同，音频编码器则使用 Whisper-large-v3（Radford et al., 2023）初始化。两个编码器分别在固定的 LLM 上进行训练，最初都专注于训练各自的适配器，然后再训练编码器。这个基础训练对装备模型具有坚实的视觉-文本和音频-文本关系和对齐的理解至关重要。

预训练的第二阶段标志着一个重要的进展，它增加了 8000 亿个图像和视频相关的数据标记，3000 亿个音频相关的数据标记，以及 1000 亿个视频带音频相关的数据标记。这一阶段引入了更多的混合多模态数据和更广泛的任务，增强了听觉、视觉和文本信息之间的互动，并加深了理解。加入多模态、多任务数据集对于培养模型同时处理多任务和多模态的能力至关重要，这是一项处理复杂现实世界数据集的关键能力。此外，纯文本数据在保持和提高语言能力方面也起着重要作用。

为了提高训练效率，我们在之前的阶段将最大标记长度限制为 8192 个标记。随后，我们引入了长音频和长视频数据，并将原始文本、音频、图像和视频数据扩展到 32,768 个标记进行训练。实验结果表明，我们的数据在支持长序列数据方面取得了显著的改进。

Post-training

数据格式：

Thinker

在后训练阶段，我们采用 ChatML 格式（OpenAI, 2022）进行指令跟随数据的微调。我们的数据集包括纯文本对话数据、视觉模态对话数据、音频模态对话数据以及混合模态对话数据。

Talker

我们为 Talker 引入了一个三阶段训练过程，使 Qwen2.5-Omni 能够同时生成文本和语音响应。在第一阶段，我们训练 Talker 学习上下文延续。在第二阶段，利用 DPO（Rafailov et al., 2023）增强语音生成的稳定性。在第三阶段，我们应用了多语者指令微调，以提高语音响应的自然性和可控性。

在 上下文学习（ICL） 训练阶段，除了像 Thinker 那样使用文本监督外，我们还通过下一标记预测执行语音延续任务，利用包含多模态上下文和语音响应的广泛对话数据集。Talker 学会了从语义表示到语音的单调映射，同时获得了根据上下文生成具有多样化属性（如韵律、情感和口音）的语音的能力。此外，我们还实施了音色解耦技术，以防止模型将特定的声音与不常见的文本模式关联。

为了扩大语者和场景的覆盖范围，预训练数据不可避免地包含标签噪声和发音错误，这可能导致模型产生幻觉。为了解决这个问题，我们引入了强化学习阶段来提高语音生成的稳定性。具体来说，对于每个请求和响应文本与参考语音配对的情况，我们构建了一个数据集 D，其中包含三元组数据 (x, yw, yl)，其中 x 是输入序列的输入文本，yw 和 yl 分别是良好和不良生成的语音序列。我们根据这些样本的奖励分数进行排名，奖励分数与 词错误率（WER） 和 标点停顿错误率 相关。

最后，我们对上述基础模型进行了语者微调，使 Talker 能够采用特定的声音并提高其自然性。

Performance  

我们对 Qwen2.5-Omni 进行了全面评估，与类似大小的单模态模型和 Qwen2.5-VL-7B、Qwen2-Audio 和 Gemini-1.5-pro 等闭源模型相比，该模型在所有模态中均表现出色。在需要集成多种模态的任务（例如 OmniBench）中，Qwen2.5-Omni 实现了最佳性能。此外，在单模态任务中，它在语音识别（Common Voice）、翻译（CoVoST2）、音频理解（MMAU）、图像推理（MMMU、MMStar）、视频理解（MVBench）和语音生成（Seed-tts-eval 和主观自然度）等领域表现出色。