分类： 音频方向

FireRedASR -小红书语音识别大模型

小红书 FireRed 团队正式发布并开源了基于大模型的语音识别模型 ——FireRedASR，在语音识别领域带来新突破。在业界广泛采用的中文普通话公开测试集上，FireRedASR 凭借卓越的性能取得了新 SOTA！FireRedASR 在字错误率（CER）这一核心技术指标上，对比此前的 SOTA Seed-ASR，错误率相对降低 8.4%，充分体现了团队在语音识别技术领域的创新能力与技术突破。

FireredAsr，旨在满足各种应用程序中出色的性能和最佳效率的各种要求。 fireredasr包括两个变体：

FireRedASR-LLM: 

采用Encoder-Adapter-LLM，结合了文本预训练 LLM 的能力，为极致的 ASR 准确率而生，适用于对准确率要求极高的应用场景。在公共普通话基准上，fireredasr-LLM （8.3b参数）达到3.05％的平均字符错误率（CER），超过了3.33％的最新SOTA，相对CER（CERR）8.4％。它显示出优于工业级基线的卓越概括能力，在多源普通话ASR方案（例如视频，现场和智能助理）中，达到24％-40％的CERR。

FireRedASR-AED: 

基于经典的 Attention-based Encoder-Decoder 架构，FireRedASR-AED 通过扩展参数至 1.1B，成功平衡了 ASR 语音识别的高准确率与推理效率。适用于资源受限的应用程序。

主要贡献：

  • High-Accuracy Models with Efficiency: ASR识别准确率优于Seed-ASR[字节跳动]，模型在保持效率的同时达到卓越精度的能力。
  • Robust Real-World Performance: 在各种实用的场景中，包括简短的视频，直播，字幕生成，语音输入和智能助手，我们的模型表现出了出色的功能，与相比的相对减少（CERR）相比实现了24％-40％流行的开源基线和领先的商业解决方案。
  • 多功能识别能力：支持方言/中文/英文/歌曲识别。而且在歌词识别中表现出色。

模型结构：

FireRedASR-AED是基于注意的编码器-解码器 ASR模型。训练数据：包括大约70,000小时的音频数据，主要是高质量的普通话语音。与Whisper中使用的弱标记数据集不同，我们的大多数数据都是由专业注释者手动转录的，从而确保了高转录精度和可靠性。该数据集还包含大约11,000小时的英语语音数据，以增强英语ASR功能。

Input Features: 输入25ms窗口的80-dimensional  log Mel filterbank (Fbank)，10ms frame shifts，然后是全局均值和方差归一化。

Encoder Structure:编码器由两个主要组件组成：一个下采样模块和Conformer  blocks堆叠。

Decoder Structure:解码器遵循Transformer 体系结构。

Tokenization：BPE编码英文文本， 1,000 English BPE tokens, 6,827 Chinese characters, and 5 special tokens.

FireRedASR-LLM: Encoder-Adapter-LLM 架构。

Input Features and Encoder: 训练数据和处理、encoder跟FireredAsr-AED相同。

Adapter Structure：一个简单但有效的线性RELU线性网络组成，该网络投射了编码器的输出维度，以匹配输入LLM。在适配器的开头合并了一个额外的框架剪接操作。此操作进一步将时间分辨率从40ms降低到每个帧的80ms，从而降低了序列长度并提高了计算效率LLM。

LLM初始化和处理：LLM用QWEN2-7B-INSTRUCT的预训练的重量初始化。训练数据格式：(prompt, speech, transcript)

Training Strategy: 编码器和适配器是完全训练的，LLM采用lora微调，保证LLM的文本能力。此策略可确保编码器和适配器经过充分训练，以将语音特征映射到LLM的语义空间中，同时保留其预训练能力。训练目标基于交叉熵损失，损失仅在输入的转录部分上计算，忽略提示和语音嵌入。

Evaluation

缩放定律的观察：

LLMs 方面的最新研究表明，模型性能通常会随着模型尺寸的增加而提高，这称为缩放定律 。如表3所示，我们研究了具有不同模型大小的模型的缩放行为。对于 FireRedASR-AED，我们将模型大小逐步从 140M、413M、732M 扩展到 1.1B 参数。随着模型尺寸的增加，性能持续提高，从 XS 扩展到 S、从 S 扩展到 M 以及从 M 扩展到 L 配置时分别实现 6.1%、5.3% 和 5.6% 的 CERR。对于 FireRedASR-LLM，专注于扩展编码器，同时保持 LLM 主干不变。编码器大小从 86M 增加到 710M 参数，适配器参数的变化很小（17M 到 22M）。这表现出相似的扩展模式并带来一致的性能改进，从 XS（3.29%）到 L（3.05%）配置的总体 CERR 为 7.3%。这些结果证明了我们的扩展策略的有效性，并表明通过更大的模型容量可以进一步改进。

下图是 FireRedASR 和其他 ASR 大模型的对比，在业界常用的中文普通话公开测试集上，FireRedASR-LLM（8.3B 参数量）取得了最优 CER 3.05%、成为新 SOTA！FireRedASR-AED （1.1B 参数量）紧随其后取得 3.18%，两者均比 Seed-ASR（12+B 参数量）的 3.33% 低、并且参数量更小。FireRedASR 也比 Qwen-Audio、SenseVoice、Whisper、Paraformer 取得了更优的 CER。

FireRedASR 不仅在公开测试集上表现优异，在多种日常场景下，也展现了卓越的语音识别效果。
如下图所示，在由短视频、直播、语音输入和智能助手等多种来源组成的 Speech 测试集上，与业内领先的 ASR 服务提供商（ProviderA）和 Paraformer-Large 相比， FireRedASR-LLM 的 CER 相对降低 23.7%~40.0%，优势十分明显。
值得一提的是，在需要歌词识别能力的场景中，FireRedASR-LLM 也表现出极强的适配能力，CER 实现了 50.2%～66.7% 的相对降低，这一成果进一步拓宽了 FireRedASR 的应用范围，使其不仅能胜任传统语音识别需求，还能在创新性的多媒体场景中大放异彩。

值得一提的是，FireRedASR 在中文方言和英语场景中同样表现不俗。在 KeSpeech（中文方言）和 LibriSpeech（英语）测试集上，FireRedASR 的 CER 显著优于此前的开源 SOTA 模型，使其在支持好普通话 ASR 的前提下，在中文方言和英语上也足够通用，进一步凸显了其鲁棒的语言适配能力。

Discussion:

FireredAsr模型优于竞争模型的原因:

高质量和多样化的训练数据：语料库主要由从现实世界情景中收集的专业转录音频组成，该音频比在受控环境中提供的传统阅读式录音相比，它提供的训练信号明显更高。该数据集包括声音条件，扬声器，重音和内容域的广泛差异，总计数万小时。这种多样性和规模使我们的模型能够学习强大的语音表征和语言模式。

实证研究表明，一千小时的高质量，人工标注的数据比一万小时的弱标记数据（例如，来自视频标题，OCR结果或其他ASR模型的输出）更好的结果，这解释了我们比Whisper的优势 。此外，在我们的语料库中包含唱歌数据为处理音乐内容时的基线模型的显着改进做出了贡献。

优化的训练策略：将FireredAsr-A的扩展为140m到1.1b参数时，我们将正则化和学习率确定为影响模型收敛的关键因素。我们制定了一种渐进式正则化训练策略：最初没有正则化技术以实现快速收敛，然后逐渐引入更强的正则化，因为出现了过度拟合的趋势。此外，较大的模型需要降低学习率，这对于调整此参数的最佳性能至关重要。

高效的ASR框架。

总结：提出了fireredasr-LLM和FireredAsr-AED，两种针对普通话优化的高性能ASR模型。通过全面的评估，我们证明了他们的体系结构，培训策略和高质量的数据集可以在保持计算效率的同时达到最先进的性能。

Baichuan-Omni-1.5 多模态语音大模型

Baichuan-Omni-1.5 🤗 | Baichuan-Omni-1.5-Base 🤗 | 技术报告 📖

OpenMM-Medical 🤗 | OpenAudioBench 🤗

Github: https://github.com/baichuan-inc/Baichuan-Omni-1.5/

Baichuan-Omni-1.5 是 Baichuan-omni 系列的最新、性能一流模型。该模型通过端到端方式训练和推理。与其他开源模型相比，Baichuan-Omni-1.5 在文本、图像、音频和视频输入的理解能力有显著提升，并支持了可控的实时语音对话和多模态实时交互的新功能。此外，Baichuan-Omni-1.5 也是目前最出色的开源医疗多模态模型。Baichuan-Omni-1.5 的主要特性包括：

  • 多模态理解和交互能力： Baichuan-Omni-1.5 接受图像、视频、文本、音频作为输入，并生成高质量文本和语音输出，能够在不损害任何模态能力的情况下实现无缝的高质量跨模态交互，并和用户进行实时语音对话。在针对全模态理解的综合评测基准 OminiBench 中，Baichuan-Omni-1.5 取得开源社区一流水平，并超过了 GPT-4o-mini。
  • 优秀的视觉能力： Baichuan-Omni-1.5 在 OpenCompass 常用的十个视觉评测集上平均得分 73.3，在7B量级的大小下，在图像理解方面超越了 GPT-4o-mini，比GPT-4o-mini平均高出6分，并且和GPT-4o的结果相近。此外，视频理解表现也优于GPT-4V。
  • 出色的语音能力： Baichuan-Omni-1.5 通过一个 8 层 RVQ 音频Tokenizer（Baichuan-Audio-Tokenizer），在 12.5 Hz 帧率下实现了语义和声学信息捕获的最佳平衡，支持高质量可控制声音的中英双语实时对话。Baichuan-Omni-1.5 在语音理解任务优于 GLM-4-Voice，并在语音对话的语义和声学评估中展现了开源模型中最高的语音生成性能。同时，我们还开源了音频理解和生成基准（OpenAudio-Bench），以评估音频的端到端能力。
  • 领先的医疗图像理解能力： 我们从开源数据集中收集了一个比较全面的医学理解基准（OpenMM-Medical）用于评估模型的医学能力。Baichuan-Omni-1.5 在 GMAI-MMBench 以及 OpenMM-Medical 上取得了最佳的表现。在 OpenMM-Medical 上，Baichuan-Omni-1.5 仅使用 7B 的 LLM 取得了 83.8% 的高分，超过 Qwen2-VL-72B 的 80.7%。
在图像、视频和音频模态上的评估。（左）Baichuan-Omni-1.5覆盖了比Qwen2 VL更多的模态，并且超越了当前领先的全模态模型VITA-1.5和MiniCPM-o 2.6。（右）各模态在所有基准测试中的平均得分。

简介

Baichuan-Omni-1.5是一款全模态模型，具备全模态理解能力，并提供端到端的音频生成能力。为了实现跨模态的流畅高质量互动，同时不妥协任何模态的能力，优先优化了三个关键方面。首先，建立了一个全面的数据清洗和合成管道，用于多模态数据处理，获得了约5000亿条高质量数据（包括文本、音频和视觉数据）。其次，设计了一种音频分词器（Baichuan-Audio-Tokenizer），能够同时捕捉音频中的语义和声学信息，从而实现无缝集成，并提升与多模态大语言模型（MLLM）的兼容性。最后设计了一个多阶段的训练策略，逐步整合多模态对齐和多任务微调，确保各模态之间的有效协同。Baichuan-Omni-1.5在全模态能力方面领先于当前的模型（包括GPT4o-mini和MiniCPM-o 2.6）。值得注意的是，在多个多模态医学基准测试中，它取得了与领先模型（如Qwen2-VL-72B）相媲美的成绩。

与开源对手相比，Baichuan-Omni-1.5在文本、图像、音频和视频输入的理解能力上表现出显著的提升。特别地，该模型在可控实时语音互动和跨模态实时协同理解方面展示了令人印象深刻的能力。除了其通用能力外，Baichuan-Omni-1.5在医疗领域作为最出色的多模态大语言模型（MLLM）脱颖而出。这为人工智能在促进人类社会福祉方面开辟了令人兴奋的新可能性。Baichuan-Omni-1.5的架构如下图所示。根据评估结果，我们总结了Baichuan-Omni-1.5的关键优势和贡献：

• 全模态互动：Baichuan-Omni-1.5旨在处理文本、图像、音频和视频输入，输出高质量的文本和语音。它能够实现无缝、高质量的跨模态互动，且不会妥协任何模态的能力。

• 卓越的视觉-语言能力：Baichuan-Omni-1.5在十个图像理解基准测试中平均得分为73.3，超越GPT-4o-mini平均6分。

• 统一且出色的语音能力：我们设计了一种8层的RVQ音频分词器（Baichuan-Audio-Tokenizer），在捕捉语义和声学信息之间达到了最佳平衡，帧率为12.5Hz，支持高质量的可控双语（中文和英文）实时对话。同时，我们还开源了音频理解和生成基准（OpenAudioBench），用于评估音频的端到端能力。

• 领先的医学图像理解能力：我们收集了一个全面的医学理解基准：OpenMM-Medical，这是多个现有数据集的整合。我们的模型在GMAI-MMBench和OpenMM-Medical上取得了最先进的表现。具体来说，在OpenMM-Medical上，Baichuan-Omni-1.5使用7B大语言模型取得了83.8%的得分，超过了Qwen2-VL-72B的80.7%。

模型架构：

Baichuan-Omni-1.5 的架构。我们的模型旨在处理纯文本/音频输入以及视频/图像与文本/音频的组合。在生成音频时，Baichuan-Omni-1.5 LLM Decoder 交替预测文本标记和音频标记。然后，音频解码器对音频令牌进行解码，以生成最终音频。

Baichuan-Omni-1.5

高质量预训练数据

Baichuan-Omni-1.5的预训练数据集展示：我们构建了一个广泛的全模态数据集，包括文本、图像-文本、视频-文本、音频-文本及它们之间的交互。我们的数据集还包含了交织的图像-音频-文本和视频-音频-文本数据。

构建了全面且高质量的跨模态数据集，包含文本、图像-文本、视频-文本、音频-文本及它们之间的交互

图像数据：我们将图像训练数据分为三种类型：交织的图像-文本数据、图像描述数据和问答数据。为了提高数据的多样性并提升模型性能，我们采用了以下两种图像数据合成策略：

1）我们利用公司内收集的书籍和论文，并解析它们生成交织的图像-文本、OCR数据和图表数据。这些数据具有高度的完整性、专业性和知识密集性。

2）我们根据[19]的方案，训练了一个专用的描述模型，能够生成所需的图像描述，如OCR提示。这些描述提供了图像内容的深入说明。

3）目前，大量的开源数据集主要是英文数据。为了避免模型的中文能力下降，我们合成了大量的中文描述和交织数据。

视频数据：视频数据集包含了广泛的公开资源，涵盖了视频分类 、动作识别 和时间定位等多种任务。视频-文本数据源可以分为视频描述数据和视频问答（QA）数据。

音频数据：音频数据可以大致分为两种主要类型：音频理解数据和音频生成数据。音频理解数据包括自动语音识别（ASR）、音频问答（AQA）、语音转文本翻译和音频-文本交织数据。音频生成数据包括文本转语音（TTS）、交织的文本转语音数据和纯音频数据。交织数据由文本和音频模态交替组成，并以标点符号分隔，以促进跨模态知识的迁移。完全对齐的生成数据由完全对齐的文本和音频内容组成，旨在增强模型在文本监督下生成音频标记的能力。音频-文本配对数据（例如ASR和TTS数据）提高了基础语音任务的表现。纯音频数据则增强了独立处理音频模态的能力。

文本数据：为了构建一个高质量的文本语料库，我们从各种来源聚合了数据，包括网页、书籍、学术论文、代码等。我们遵循之前研究中的数据处理指南，采用严格的选择方法，旨在提高文本语料库的多样性和质量。这种多样性确保训练语料库涵盖了广泛的主题和语言风格，适用于不同的应用。同时，我们的高质量处理技术旨在消除冗余和过滤噪声，从而丰富数据集的信息密度和整体效用。最终，我们获得了1.507亿条纯文本数据。

跨模态交互数据：为了增强模型的跨模态交互能力，我们合成了一系列跨模态交互数据集，涵盖了图像-音频-文本和视频-音频-文本格式。图像-文本数据来源包括两种类型：图像-文本描述数据和图像-文本交织数据。具体而言，文本数据首先在句子级别进行分割。然后，将四分之一的文本通过我们的内部文本转语音（TTS）接口转换为音频元素。随后，我们利用生成的音频元素替换原始图像-文本数据中的相应文本句子。这种方法通过将多样化的音频元素融入现有的文本内容，促进了丰富的跨模态交互框架。我们的音频数据包含44种不同的语音类型，确保了语调的多样性。此设置配有任务提示，如“请听以下音频，描述图像的内容。您的任务是在听完后结合音频和图像补充额外信息”，旨在预测剩余的三分之二文本描述。对于视频-文本数据集，音频成分直接从原始视频中提取，作为跨模态的音频元素。总计，我们生成了1000亿个用于跨模态交互的标记数据。

模型结构：

Baichuan-Omni-1.5是一个统一的全模态模型，由视觉分支、音频分支和一个预训练的大型语言模型（LLM）主干组成，支持文本、音频、视觉输入以及端到端的文本和音频输出。

视觉分支：
像当前主流的MLLM一样，视觉分支旨在将图像和视频输入处理为视觉标记，并将其与文本标记一起输入到LLM中。我们使用Qwen2-VL的NaViT作为视觉编码器，该编码器能够动态处理任意分辨率和纵横比的图像和视频。然后，我们应用一个由两层MLP组成的视觉投影器，将视觉特征压缩为2×2的因子，从而在性能和效率之间取得平衡。

音频分支
音频分支扩展了LLM，使其能够支持端到端的语音输入和输出。这通过引入Baichuan-Audio-Tokenizer和基于流匹配的解码器来实现，前者负责将音频信号转换为离散标记，后者负责将音频标记解码为语音波形。我们在下图中展示了详细信息。

Baichuan-Audio-Tokenizer基于残差向量量化（RVQ）和多目标训练，帧率为12.5 Hz。在使用Whisper Large Encoder 从Mel谱图特征中提取高级特征后，残差卷积网络执行下采样以获得低帧率序列特征。然后使用8层残差向量量化器对这些特征进行量化，生成音频标记。这些标记随后被输入到音频解码器和预训练的LLM中，分别执行Mel谱图重建和转录预测。音频解码器采用与Whisper编码器对称的结构，并使用多尺度Mel损失来增强声音重建的质量。在训练过程中，预训练LLM的参数保持不变，以确保音频标记器和文本空间之间的语义对齐。

除了传统的任务如ASR、AQA和S2TT外，我们还将一定比例的交织文本-音频数据融入其中，以提高VQ模块建模复杂上下文场景的能力。

为了进一步增强合成音频的质量和感知逼真度，音频解码器模块通过流匹配模型进行优化。借鉴Matcha-TTS 和CosyVoice 的设计，U-Net包括一个单独的下采样块、一个上采样块和12个中间块。具体而言，流匹配解码器在24 kHz音频数据上进行训练，以生成目标Mel谱图，然后使用HiFi-GAN 声码器将其转换为语音波形。

多阶段模型训练：

图像-文本预训练

图像-文本预训练阶段扩展了LLM，使其能够处理和理解视觉输入，使用3000亿图像-文本样本，该阶段可以分为两个部分。

• 第一阶段：在第一阶段，我们训练视觉投影器，利用开源图像描述数据（例如LAION-5B数据集），建立图像表示与文本之间的初步对齐。在此阶段，我们冻结LLM和视觉编码器，仅训练视觉投影器，学习率为1e−3。

• 第二阶段：在第二阶段，我们解冻视觉编码器和LLM，以促进图像和文本表示之间更好的对齐。具体来说，我们以学习率1e−5训练LLM和视觉投影器，并以更低的学习率1e−6训练视觉编码器。我们使用公共和内部图像文本数据，包含交织数据和图像描述数据，以增强视觉-语言的表现力。具体来说，我们收集并标注高质量的OCR数据和图表数据，以增强文本/图表识别和理解能力。此外，我们还使用高质量的纯文本数据，这些数据占总数据的40%，以更好地保持语言模型的原始能力。

图像-音频-文本预训练

图像-音频-文本预训练阶段扩展了一个预训练在视觉数据上的LLM，使其能够以端到端的方式理解音频数据，使用887k小时的语音-文本数据，并结合我们的Baichuan-Audio-Tokenizer、新引入的音频嵌入层和独立音频头。

具体来说，Baichuan-Audio-Tokenizer生成的音频令牌首先通过音频嵌入层转化为音频嵌入。音频LLM交替生成对齐的文本令牌和音频令牌，使用一个特殊令牌实现文本与音频之间的模态切换。生成的音频令牌由独立的音频头处理，该音频头基于先前的工作设计，包含3层深度变换器和8个分类头。

为了缓解语音和文本特征之间显著差异带来的冲突，我们参考了之前的工作，采用音频和文本数据交织的方法进行预训练。此外，采用了两阶段训练策略，以保持原始LLM的文本知识，同时有效地整合音频模态。

• 第一阶段：在第一阶段，我们冻结LLM、视觉模块和音频标记器的参数，只有音频嵌入层和音频头的参数更新，学习率为1e−4。我们在这一阶段使用包括ASR、TTS、INTLV和ITTS数据的音频数据。

• 第二阶段：在第二阶段，训练扩展到除视觉编码器和音频标记器之外的所有参数，学习率为1e−5。具体来说，我们使用音频数据、图像数据和纯文本数据，分别占比0.2、0.4和0.4，这可以更好地提升音频能力，同时保持视觉和语言能力。

全模态预训练

基于之前预训练阶段获得的视觉和音频能力，我们继续使用高质量的跨模态交互数据集进行训练，数据集涵盖图像-音频-文本和视频-音频-文本格式，并将最大序列长度扩展到64k，以支持长时间的语音和视频流。具体来说，输入的视频帧以每秒1帧的速率进行采样，每个视频最多包含32帧。每个输入帧被调整为最大分辨率560×1120像素，以保持最佳质量和细节。这一精心配置在性能和效率之间达到了平衡，促进了有效的模型训练，同时管理了计算负载。此训练过程使用4e−6的低学习率，以进一步优化与语言模态和跨模态交互的对齐。

多模态监督微调

在本节中，我们描述了全模态监督微调（SFT）阶段，旨在增强模型在各种任务中执行复杂全模态指令的能力。我们收集了包括开源、合成和内部注释数据在内的综合数据集。这些数据集涵盖了多个任务，包含大约1700万个数据对，跨越文本、音频、图像-文本、视频-文本和图像-音频组合等多种模态。关于这些数据类型和数量的详细信息见表4。

实验

如表6所示，Baichuan-Omni-1.5 在纯文本基准测试中表现出色，特别是在与仅专注于语言模态的开源LLM模型相比时。例如，在通用MMLU基准测试中，Llama3-Instruct的得分为67.1%，而Baichuan-Omni-1.5则达到了72.2%。Baichuan-Omni-1.5在语言模态上的成功，主要归功于我们在训练策略上的调整以及多模态训练数据的平衡比例，其中保持了适当比例的纯文本数据。这些结果表明，我们的数据合成与平衡方法，以及多阶段的训练策略，能够有效解决在多模态训练过程中纯语言任务性能下降的问题。此外，相较于最新的开源多模态模型MiniCPM-o 2.6，Baichuan-Omni-1.5在中文基准测试中展示了明显的优势，例如CMMLU（63.3%对75.5%）和C-Eval（61.5%对73.1%），并且在通用基准测试中也大大超过了MiniCPM-o 2.6，MMLU（65.3%对72.2%）和AGIEval（50.9%对54.4%）。这些结果表明，相较于当前的全模态模型，这些模型在训练非文本模态数据后可能会导致文本理解能力下降，而我们的模型在理解纯文本方面依然保持强大能力。

如表7和表8所示，显然，我们的模型在大多数基准测试中优于最新的开源模型VITA-1.5和MiniCPM-o 2.6。例如，与最近的MiniCPM-o 2.6相比，我们的模型在包括MMBench、SEED-IMG、MME和MMMU在内的十个基准测试中的六个上表现更好，这些基准测试要求具备专家级的感知和推理能力。这表明，我们的全模态模型已经处于开源模型的前沿。此外，与其他非全模态模型相比，Baichuan-Omni-1.5也取得了相当或更优的表现。例如，与MiniCPM-Llama3-V 2.5相比，我们的模型在大多数视觉问答（VQA）任务中表现更好。总体而言，与Qwen2-VL-7B相比，我们的模型在各类图像理解基准测试中的表现相当。我们的模型在MMBench-CN（81.9%对83.6%）、MMMU（52.7%对53.9%）、MathVista-mini（58.2%对63.6%）和ChartQA（83.0%对84.9%）等方面取得了更好的表现。此外，值得注意的是，在MMBench-EN/CN和OCRBench上，我们的模型已经超越了像GPT4o这样的闭源模型。

总结

在这项工作中，我们介绍了Baichuan-Omni-1.5，一个全模态模型，代表了朝着开发一个涵盖所有人类感官的综合框架迈出的重要一步。通过使用高质量的多模态数据以及多阶段的全模态预训练和微调策略，Baichuan-Omni-1.5在处理视频、图像、文本和音频理解方面取得了优异的表现。Baichuan-Omni-1.5的关键特点包括：(1) 强大的纯文本和多模态理解能力；(2) 全模态输入（文本、图像、视频、文本）和双模态输出（文本和音频）的端到端并行处理；(3) 在医疗场景中的卓越表现；以及(4) 高质量的可控音频生成。

尽管这些结果很有前景，但每种模态的基础能力仍有相当大的改进空间。即：(1) 增强文本理解能力；(2) 支持更长的视频帧理解；以及(3) 改进音频理解和生成，不仅能识别人类声音，还能识别自然环境中的声音，如流水声、鸟鸣声和碰撞声等。

我们的未来研究将专注于完善这些领域，以确保开发出更复杂、更通用的模型，能够理解和与复杂环境互动。我们预计，在这些领域的持续进展将对实现人工通用智能（AGI）的更广泛目标做出重要贡献。

Kokoro TTS：支持多语言的轻量级TTS模型

最近，HuggingFace模型趋势榜上有一个很火的开源模型Kokoro-82M。

开源模型：https://huggingface.co/hexgrad/Kokoro-82M

Kokoro-82M不是大模型，而是一个参数量只有82M的TTS（Text-to-Speech）模型。虽然模型不大，但是Kokoro-82M在TTS Arena榜单上排行第一！TTS Arena 是一个用于评估语音合成模型的平台，其灵感来源于 LMsys 的 Chatbot Arena。用户可以通过输入文本并对比两个模型的合成语音来投票选择更自然的结果，模型名称在投票后才会显示。该平台旨在解决语音合成领域缺乏有效质量评估方法的问题，通过公开排名使结果更透明且易于访问。虽然这个排行榜很有参考意义。

在人工智能语音合成技术快速发展的今天，Kokoro TTS 以其轻量级设计和高效性能脱颖而出。作为一个仅有82M参数的文本转语音（TTS）模型，Kokoro 在 TTS Spaces Arena 中击败了许多参数规模更大的竞争对手，成为语音合成领域的一颗新星。

模型架构与参数规模

Kokoro TTS 基于 StyleTTS 2 架构，其参数规模仅为82M，远低于许多主流 TTS 模型（如 XTTS v2 的467M 参数和 MetaVoice 的1.2B 参数），但在单声道设置下表现卓越。

支持的语音与语言

Kokoro 最新版（0.23）支持多语言支持与声音克隆，包括：中、英、法、日、韩。每种语言支持多种音色以及男、女声，每种语音包都经过专业调校，确保音质清晰自然。英语支持美国英语和英国英语，并提供了10种独特的语音包，包括男声和女声（如 af_bella、af_sarah、am_adam 等）。

不过还不支持中文或韩文中与英语混合的情况。

性能优势与创新点

Kokoro 的训练数据量不到100小时，远低于其他模型（如 XTTS v2 的10,000小时），但其在 TTS Spaces Arena 中排名第一，证明了其在参数效率上的优势。此外，Kokoro 采用 espeak-ng 进行字形到音素（g2p）转换，进一步提升了语音合成的自然度。

本地部署步骤

模型地址：https://huggingface.co/hexgrad/Kokoro-82M

以下步骤为notebook中使用

# 1️⃣ Install dependencies silently
!git lfs install
!git clone https://huggingface.co/hexgrad/Kokoro-82M
%cd Kokoro-82M
!apt-get -qq -y install espeak-ng > /dev/null 2>&1
!pip install -q phonemizer torch transformers scipy munch

# 2️⃣ Build the model and load the default voicepack
from models import build_model
import torch
device = 'cuda' if torch.cuda.is_available() else 'cpu'
MODEL = build_model('kokoro-v0_19.pth', device)
VOICE_NAME = [
    'af', # Default voice is a 50-50 mix of Bella & Sarah
    'af_bella', 'af_sarah', 'am_adam', 'am_michael',
    'bf_emma', 'bf_isabella', 'bm_george', 'bm_lewis',
    'af_nicole', 'af_sky',
][0]
VOICEPACK = torch.load(f'voices/{VOICE_NAME}.pt', weights_only=True).to(device)
print(f'Loaded voice: {VOICE_NAME}')

# 3️⃣ Call generate, which returns 24khz audio and the phonemes used
from kokoro import generate
text = "How could I know? It's an unanswerable question. Like asking an unborn child if they'll lead a good life. They haven't even been born."
audio, out_ps = generate(MODEL, text, VOICEPACK, lang=VOICE_NAME[0])
# Language is determined by the first letter of the VOICE_NAME:
#    'a' => American English => en-us
#    'b' => British English => en-gb

# 4️⃣ Display the 24khz audio and print the output phonemes
from IPython.display import display, Audio
display(Audio(data=audio, rate=24000, autoplay=True))
print(out_ps)

API 接口与 Docker 化部署

Kokoro-FastAPI 是一个基于 Docker 的 FastAPI 封装，支持 NVIDIA GPU 加速和队列处理功能。用户可以通过 API 接口发送文本转语音请求，并获取高质量的语音输出。

Kokoro-FastAPI地址：https://github.com/remsky/Kokoro-FastAPI

TangoFlux-TTA 高效的文本到音频 （TTA） 生成模型

NVIDIA发布了新模型TangoFlux，TangoFlux和Flux采用类似的MMDiT架构，但与Flux不同的是，TangoFlux是用于根据文本来生成与之匹配的音频（Text-to-Audio，TTA）。注意，TTA与文本生成语音（Text-to-Speech，TTS）是两个不同的任务，TTS是根据文本合成口语化的语音，而TTA更复杂，是根据文本内容生成相应的背景音、环境音或者情感表达的音频。TangoFlux模型参数只有515M，能够在单个A40 GPU上仅用3.7秒生成长达30秒的44.1kHz音频，而且效果上实现了SOTA，所以是一个又快又好的TTA模型。目前，TangoFlux的代码和代码均已经开源：

在对齐 TTA（文本到音频）模型时，一个关键挑战在于生成偏好对的困难，因为 TTA 缺乏像大型语言模型（LLMs）那样的结构化机制，例如可验证的奖励或黄金标准答案。为了解决这一问题，我们提出了一种新颖的框架——CLAP 排序偏好优化（CRPO），通过迭代生成和优化偏好数据来增强 TTA 的对齐性能。研究表明，使用 CRPO 生成的音频偏好数据集优于现有的替代方案。借助这一框架，TangoFlux 在客观和主观基准测试中均达到了最先进的性能。

贡献：

  • 引入了 TANGOFLUX，这是一种基于修正流的小型高效 TTA 模型，能够在完全非专有的训练数据上实现最先进的性能。
  • 提出了 CRPO，这是一种简单而有效的策略，用于生成音频偏好数据并对修正流进行对齐，其在音频偏好数据集上的表现优于其他方法。
  • 公开发布了代码和模型权重，以促进文本到音频生成领域的研究。

方法：

TangoFlux 由 FluxTransformer 块组成，这些块是基于扩散变换器（Diffusion Transformer, DiT，Peebles & Xie，2023）和多模态扩散变换器（Multimodal Diffusion Transformer, MMDiT，Esser 等，2024）的模型，通过文本提示和时长嵌入进行条件化，以生成最高 44.1kHz、时长达 30 秒的音频。TangoFlux 从通过变分自动编码器（VAE，Kingma & Welling，2022）编码的音频潜在表示中学习修正流轨迹。

TangoFlux 的训练流程包括三个阶段：预训练、微调和偏好优化。通过 CRPO 对 TangoFlux 进行对齐，CRPO 通过迭代生成新的合成数据并构建偏好对，执行偏好优化。整体训练流程如图 1 所示。

TangoFlux在模型架构上参考了Flux，也是采用混合MMDiT和DiT block的transformer，首先是6层MMDiT block，然后跟着18层DiT block，模型的特征维度是1024，总参数量为515M。类似SD和Flux，这里也是采用了一个音频VAE（来源Stable Audio Open）将音频编码成一定长度的latents，然后用DiT来生成latents。这里的文本编码器采用FLAN-T5，除了文本特征，还用一个小的网络将音频时长编码成一个embedding，并和文本特征拼接在一起，从而实现对生成音频长度的控制。训练也是采用Flow Matching。

音频编码

使用 Stable Audio Open Evans et al. 的 VAE，它能够将 44.1kHz 的立体声音频波形编码为音频潜在表示。给定一个立体声音频 X∈ℝ2×d×s⁢r ，其中 d 是 时长duration 和 s⁢r 是采样率 sampling rate，VAE 编码 X 为潜在表示 Z∈ℝL×C ，其中 L ，C 分别是潜在序列长度和通道大小。VAE 将 latent 表示 Z 解码回原始立体声音频 X 。整个 VAE 在 TangoFlux 训练期间保持冻结。

Model Conditioning

为了实现不同长度音频的可控生成，我们采用了文本调节和持续时间调节。文本调节根据提供的描述控制生成的音频的事件，而持续时间调节指定所需的音频长度，最长可达 30 秒。

文本条件。给定音频的文本描述，我们从预训练的文本编码器FLAN-T5中获取文本编码 ct⁢e⁢x⁢t 

持续时间编码。为了生成可变长度的音频，我们首先使用一个小型神经网络将音频持续时间编码成一个 duration embedding cd⁢u⁢r 。这与文本编码 ct⁢e⁢x⁢t 连接并馈送到 TangoFlux 以控制音频输出的持续时间。

模型架构

采用混合 MMDiT 和 DiT 架构作为 TangoFlux 的主干， 首先是6层MMDiT block，然后跟着18层DiT block，模型的特征维度是1024，总参数量为515M 。

Flow Matching

流匹配（Flow Matching）基于连续归一化流框架。该方法通过学习一个时间相关的向量场，将来自简单先验分布（例如高斯分布）的样本映射到复杂的目标分布，从而生成目标分布的样本。

在 TTA（文本到音频）领域的先前研究中，例如 AudioBox（Vyas 等，2023）和 Voicebox（Le 等，2023），主要采用了 Lipman 等（2023）提出的最优传输条件路径（Optimal Transport conditional path）。然而，我们的方法采用了 修正流（Rectified Flows，Liu 等，2022），这是一种从噪声到目标分布的直线路径，代表了最短路径。

整流流（Rectified Flows）。给定音频样本的潜在表示 x₁ 和服从正态分布 x₀ ∼ N(0, I) 的噪声样本，通过时间步 t ∈ [0, 1] 可以构建训练样本 xₜ。模型通过学习预测速度 vₜ = dxₜ/dt 来引导 xₜ 向 x₁ 演化。尽管存在多种构建传输路径 xₜ 的方法，我们采用了 Liu 等人（2022）提出的整流流（RFs）。该方法在目标分布与噪声分布之间构建直线路径作为前向过程，其定义如公式（1）所示。经验表明，当减少采样步数时，整流流具有更高的采样效率且性能下降更少（Esser 等人，2024）。我们用 θ 表示模型 u 的参数，该模型通过直接回归预测速度 u(xₜ, t; θ) 与真实速度 vₜ 的匹配，其损失函数如公式（2）所示。

推理。在推理过程中，我们从先验分布 x~0∼𝒩⁢(𝟎,𝐈) 中采样噪声，并使用常微分方程求解器根据模型在每个时间步 t 长预测的速度 vt 来计算 x1 。在此过程中，我们使用 Euler 求解器。

CLAP 排名偏好优化 （CRPO）

CLAP 排名偏好优化 （CRPO） 利用文本-音频联合嵌入模型作为代理奖励模型，根据与输入描述的相似性对生成的音频进行排名，然后构建偏好对。

我们首先设置了一个 Ta ngoFlux 架构的预训练检查点作为要对齐的基础模型，用 π0 表示。此后，CRPO 迭代地将 checkpoint πk≔u⁢(⋅;θk) 对齐到 checkpoint πk+1 中，从 k=0 开始。每个这样的对齐迭代都包括三个步骤：（i） 批量在线数据生成，（ii） 奖励估计和偏好数据集创建，以及 （iii） πk+1 通过直接偏好优化进行微调 πk 。

Main Results

表 1：跨各种指标的音频生成模型比较。Output length 表示生成的音频的持续时间。度量包括 FD 
openl3表示 Frechet 距离、 passt KL 表示 KL 散度和 CLAP score 表示对齐。所有推理时间都是在同一个 A40 GPU 上计算的。我们在 #Params 列中报告可训练参数。

表 1 在客观指标方面将 TangoFlux 与 AudioCaps 上先前的文本到音频生成模型进行了比较。表 2 报告了具有多个事件的提示（即多事件提示）的模型性能。

MinMo: A Multimodal Large Language Model for Seamless Voice Interaction

FunAudioLLM Team   Tongyi Lab, Alibaba Group

用于语音交互的语音-文本多模态模型的先前工作可以大致分为 原生 模型和 对齐 模型。原生多模态模型使用单个框架同时对语音和文本的端到端理解和生成进行建模，然而，他们面临着语音和文本序列长度之间巨大差异、语音预训练不足以及灾难性地忘记文本LLMs的挑战；对齐的多模态模型在保持文本LLMs，然而，现有模型通常在小规模语音数据上进行训练，在有限的语音任务集上进行研究，并且缺乏对丰富而细致的说话风格的指令跟踪能力的系统探索

MinMo，这是一种多模态大型语言模型，具有大约 8B 参数，可实现无缝语音交互。 解决了先前对齐多模态模型的主要局限性。在 140 万小时的不同语音数据和广泛的语音任务上，通过语音到文本对齐、文本到语音对齐、语音到语音对齐和双工交互对齐等多个阶段来训练 MinMo。 经过多阶段训练后，MinMo 在保持文本LLMs，并且还促进了全双工对话，即用户和系统之间的同时双向通信。 此外，还提出了一种新颖而简单的语音解码器，它在语音生成方面优于以前的模型。MinMo 增强的指令跟踪功能支持根据用户指令控制语音生成，包括各种细微差别，包括情绪、方言和语速，并模仿特定声音。对于 MinMo，语音到文本的延迟约为 100 毫秒，理论上全双工延迟约为 600 毫秒，实际约为 800 毫秒。

  • 最先进的 （SOTA） 性能：MinMo 在语音对话、多语言语音识别、多语言语音翻译、情感识别、说话人分析和音频事件分析等基准测试中实现了当前的 SOTA 性能，同时还确保了文本大型模型的功能基本保持不变。
  • 指令控制音频生成：MinMo 支持端到端语音交互，按照用户指示控制生成音频的情感、方言和说话风格，以及模仿特定的语音音调，生成效率超过 90%。
  • 低延迟双工语音交互：MinMo 支持全双工语音交互，可实现流畅的多轮对话并防止背景噪音打断。语音到文本的延迟约为 100 毫秒，全双工延迟理论上约为 600 毫秒，实际约为 800 毫秒。
基准测试的性能概览:演示了 MinMo 在自动语音识别 （ASR）、语音到文本翻译 （S2TT）、口语问答 （SQA） 方面的功能，包括语音到文本 （S2T） 和语音到语音 （S2S）、语音分类 （VSC）、语音情感识别 （SER）、语言识别 （LID）、年龄识别和性别检测。MinMo 在所有这些任务上都超越了以前的 SOTA 模型。

Introduction  

无缝语音交互表示用户与系统进行实时、自然、相关且类似人类的语音对话。促进无缝语音交互带来了巨大的挑战：

  • 系统需要准确、全面地理解音频，包括理解内容以及语音中的副语言线索（例如，情感、韵律）以及音频事件;
  • 系统应产生自然且富有表现力的语音响应;
  • 系统应向用户提供相关且合理的响应，作为智能聊天机器人;
  • 系统应支持全双工对话（同时双向通信），即系统在说话时倾听，用户在系统说话时可以自由打断，然后系统要么继续语音，要么停止响应，倾听用户，并提供对新用户查询的响应。

近年来，无缝语音交互系统获得了巨大的发展势头，尤其是随着多模态大型语言模型的进步，例如 GPT-4o和 Moshi。这些系统不仅可以产生自然而富有表现力的语音，还可以理解文字以外的线索，包括情感语气和音频事件。当前用于语音交互的多模态语言模型可分为两大类。

第一类包括原生多模态模型，例如 Moshi  和 GLM-4-Voice 。这些模型通常使用仅解码器的 Transformer 作为主干，在单个框架内同时对语音和文本模态的理解和生成进行建模;它们通常需要使用语音和文本数据进行预训练。这些模型存在两个主要限制。首先，在语音离散化之后，语音标记序列的长度通常是文本长度的两倍以上（例如，在 Moshi 中每秒 12.5 个标记）。随着模型大小的增长，序列长度的这种差异会带来挑战，例如 175B GPT-3 。其次，与文本相比，语音数据的稀缺性导致语音-文本训练数据高度不平衡，进而导致灾难性的遗忘。

第二类包括对齐的多模态模型，集成语音功能，同时旨在保持现有预训练文本LLM。这导致中间输出仍然包含文本，如 Llama-Omni  和 Freeze-Omni  等模型所示。然而，这些基于对齐的模型通常是在有限的语音数据（LLaMA-Omni 为 200K 样本，Freeze-Omni 为 120K 小时）上进行训练的，这导致了关于大型语音数据集对模型功能的影响以及原始文本LLM可能受到影响的问题。此外，尚未对这些模型进行广泛的语音任务调查，例如语音翻译、情感识别、说话人分析、语言识别和音频事件检测。此外，这些模型缺乏对丰富而细致的说话风格的指令遵循能力的系统评估，也缺乏对全双工对话能力的开发和评估，以实现无缝语音交互。

在这项工作中，我们引入了一种新的多模态大型语言模型 MinMo，以解决现有对齐多模态模型的这些局限性。MinMo 经过超过 140 万小时的语音数据训练，包括各种任务，例如语音转文本、文本转语音和语音转语音。这种广泛的培训使 MinMo 能够在各种基准上实现最先进的 （SOTA） 性能。还采用了一些方法，有效缓解了在大规模数据集训练后，模型对原始文本语言模型（text-LLM）聊天能力的灾难性遗忘问题，同时增强了语音理解和生成能力。

还提出了一种新颖的语音解码器，在保持结构简单的同时，兼具了优异的语音生成性能。LLaMA-Omni 使用一种非自回归（NAR）流式 Transformer，它将语言模型（LLM）的输出隐藏状态作为输入，并通过连接时序分类（CTC）预测响应的离散语音标记序列。然而，这种方法的性能相比自回归语音解码器较差。Freeze-Omni 使用了三种语音解码器，包括 NAR 前缀语音解码器、NAR 语音解码器和 AR（自回归）语音解码器，使模型结构更为复杂。有别于这两种策略，我们为 MinMo 设计了一种自回归（AR）流式 Transformer，其通过固定比例将 LLM 的输出隐藏状态与语音标记混合处理。

开发了一种机制，可以有效地促进与 MinMo 的全双工相互作用。具体来说，我们实现了一个全双工预测模块，该模块利用文本LLM 的语义理解功能来决定是继续系统响应，还是让步、倾听和响应新的用户查询。对于 MinMo，语音到文本的延迟约为 100 毫秒;全双工延迟理论上约为 600 毫秒，实际时约为 800 毫秒。

Related Work

Multimodal Spoken Dialogue Models:

多种语音基础模型已被开发用于通用音频理解，但尚未系统地探索其在语音交互方面的应用。例如，Qwen2-Audio 将 Whisper 语音编码器与预训练文本语言模型（LLM）集成，并通过多任务预训练和基于指令的监督微调使 LLM 具备语音理解能力。SALMONN 是另一种用于通用音频理解的语音-文本 LLM，通过 Q-Former 将单独的语音和音频编码器与预训练文本 LLM 集成，并采用 LoRA 进行模态对齐。

由于本研究旨在开发一种端到端多模态模型以实现无缝语音交互，我们将重点比较 MinMo 与用于语音交互的语音-文本模型（或称多模态语音对话模型）。同时或受到 GPT-4o 的启发，多模态语音对话模型的开发正如火如荼地进行，以实现与用户实时语音对话的能力。(Ji et al., 2024a) 对近期的语音对话模型进行了深入综述。一些研究支持传统的回合制语音聊天（即半双工通信），但无法处理全双工语音交互（即同时双向通信）。这些模型包括协作系统和端到端框架。

PSLM (Mitsui et al., 2024) 是一种协作系统，因为它依赖 ASR 处理音频输入，这会丢弃副语言信息并导致错误传播。PSLM 同时生成语音和文本标记，从而减少语音生成延迟；然而，其响应质量较低。与 PSLM 等协作系统不同，端到端框架直接接受音频输入并生成音频输出。

Llama-Omni (Fang et al., 2024) 和 Mini-Omni (Xie & Wu, 2024) 是两个近期的端到端框架，但尚未针对全双工通信进行训练。Llama-Omni 集成了 Whisper 语音编码器、语音适配器、流式语音解码器和声码器，并以预训练文本 LLM 作为基础。其语音解码器以非自回归（NAR）方式生成与生成文本前缀对应的离散单元。该模型采用两阶段训练策略：第一阶段冻结语音编码器，仅对语音适配器和 LLM 进行自回归训练；第二阶段冻结语音编码器、语音适配器和 LLM，仅使用 CTC 损失对语音解码器进行训练。Llama-Omni 被评估在语音转文本指令执行和语音转语音指令执行任务上的表现。

Mini-Omni 同样采用 Whisper 编码器，并通过适配器进行最小化训练，以保留 LLM 的能力。该模型通过模态对齐、适配器训练和多模态微调三个阶段进行训练。Mini-Omni 同时生成文本和音频标记，并填充 N 个标记以确保首先生成对应的文本标记，从而指导音频标记的生成。

MinMo 支持全双工语音对话。现有的全双工语音聊天系统同样可以分为协作系统和端到端模型两类。在协作系统中，VITA (Fu et al., 2024) 同时运行两个模型，即生成模型和监控模型，以支持全双工通信。当生成模型正在生成系统响应时，监控模型会监控环境，并在检测到有效的用户打断后结合上下文对新的用户查询提供响应，同时生成模型暂停并切换到监控角色。值得注意的是，VITA 仍然依赖外部的 TTS 模块生成语音输出。

另一种协作系统 (Wang et al., 2024a) 则通过 LLM 接入 ASR 模块和流式 TTS 模块运行。该系统不需要模态对齐，而是对预训练的文本 LLM 进行监督微调，采用以下范式：在每个时间步，LLM 要么处理一个输入标记，要么生成一个文本标记，要么输出一个特殊的控制标记，用于在 SPEAK 和 LISTEN 状态之间进行状态转换。所有这些任务都被定义为基于单一序列化流对话的下一个标记预测。全双工对话学习基于由 GPT-4 合成的数据进行，这些数据生成了包含不同类型用户打断的对话。值得注意的是，由于其级联架构，该系统面临高达 680ms 的高延迟问题。

在端到端全双工模型中，早期的 dGSLM (Nguyen et al., 2022) 提出了一个双塔架构，用于联合处理用户语音和系统语音的音频标记流。然而，该方法存在以下几个缺点：它依赖于仅基于语音的训练，未能利用预训练文本 LLM 的能力；仅使用语义标记，未充分建模语音的声学信息；不支持在线模式。LSLM (Ma et al., 2024b) 使用仅解码器的 Transformer 生成语音标记，并通过流式 SSL 编码器处理监听标记。该模型引入了一个中断标记，用于在检测到用户尝试轮流对话时停止发言。然而，模型在生成合理响应方面表现不足。

在最近的端到端全双工模型中，Moshi、GLM-4-Voice 、SyncLM 、IntrinsicVoice 和 Omni-Flatten 是原生多模态模型。这些模型在单一框架中同时建模语音和文本模态的理解和生成，基于 GPT 主干，并需要使用语音和文本数据进行自监督自回归预训练。如第 1 节所述，这些原生多模态模型需要应对语音标记与文本标记之间序列长度差异显著的问题，以及语音-文本训练数据高度不平衡及其导致的灾难性遗忘。IntrinsicVoice 使用 GroupFormer 从 LLM 的隐藏状态生成 HuBERT 标记，有效地将语音序列缩短到与文本序列相当的长度。Omni-Flatten 采用分阶段的逐步后期训练策略，通过块级的单流平铺语音和文本标记来学习全双工和无文本的语音到语音交互。

与这些原生多模态模型不同，我们的 MinMo 属于对齐多模态模型类别，该类别还包括 Llama-Omni、Mini-Omni2和 Freeze-Omni 。对齐多模态模型集成了语音功能，同时旨在保留现有预训练文本 LLM 的能力。Mini-Omni2 引入了基于命令的中断机制以支持全双工对话，但仅在 ASR 任务上进行评估，并与 Whisper、VITA 和 Mini-Omni 进行比较。Freeze-Omni是一个语音到语音模型，通过冻结预训练的文本 LLM 来保留其能力。它支持流式输入语音和生成流式输出语音，使用多任务训练，并通过块级状态预测来建模全双工语音交互。

我们的 MinMo 与这些对齐多模态模型在以下方面不同：我们探索了在更大规模的语音数据集（1.4 百万小时多样化语音数据，相较于 LLaMA-Omni 的 20 万样本和 Freeze-Omni 的 12 万小时）以及更广泛的语音任务上训练 MinMo。MinMo 还通过新颖的语音解码器、增强的指令跟随能力，以及对全双工语音对话能力的系统性训练和评估，与现有的对齐多模态模型形成了差异化。

文本风格 – 可控语音合成

多模态语音对话模型相比于基于文本的对话模型的显著特征在于其能够理解和生成超越文本内容的声学信息。语音模态不仅包含内容，还包括情感、方言和语速等声学信息。一个智能的多模态语音对话模型应该能够全面理解输入语音中的声学信息（例如情感），并且能够生成带有指定情感、方言、语速的响应，甚至模仿特定的声音，从而在沟通中实现更深层次的理解和响应。

协作系统如 ParalinGPT 、E-Chat 和 Spoken-LLM 通过整合副语言特征增强对情感等声学信息的理解。这些系统可以与可控风格的文本转语音（TTS）系统结合，以生成带有特定情感、语速和音量的响应。在文本风格可控 TTS 方面取得了显著进展，例如 TextrolSpeech 、PromptTTS 、PromptTTS2、InstructTTS 和 ControlSpeech 。

与这些协作系统相比，Moshi 使用一个具有单一演员声音和超过 70 种说话风格录音的 TTS 引擎，生成训练数据以支持在端到端模型中理解和生成声学信息。GLM-4-Voice利用高质量的多轮语音对话数据，这些数据针对特定语音风格需求（如语速、情感或方言）进行定制，从而支持风格可控的语音对话。然而，据我们所知，尚无研究表明对齐的多模态模型能够支持风格可控的语音生成。

与之前的研究声称对齐的多模态模型（如 Llama-Omni 和 Freeze-Omni）仅允许语言模型控制语音的内容而非风格和韵律相反，我们在本研究中提出了一种新型的流式语音解码器，用于对齐多模态模型 MinMo，并发现该解码器不仅增强了指令跟随能力，还使 MinMo 能够生成符合用户指定情感、方言、语速以及模仿特定声音的语音。

MinMo

模型架构

语音编码器采用预训练的 SenseVoice-large 编码模块，提供了强大的语音理解能力，支持多语言语音识别、情感识别和音频事件检测。输入投影器由一个随机初始化的两层 Transformer 和一个 CNN 层组成，用于维度对齐和降采样。我们选用预训练的 Qwen2.5-7B-instruct 模型作为预训练的文本 LLM，因为其在各种基准测试中的表现卓越（Team, 2024）。此外，我们利用 CosyVoice 2的流式音频生成机制，该机制具备低延迟并提供具有竞争力的语音合成性能。

对于每批接收的五个文本标记，我们将这些标记及其对应的最终隐藏层向量同时传递到输出投影器和语音标记语言模型（Voice Token LM）。输出投影器是一个单层线性模块，随机初始化用于维度对齐。语音标记语言模型（Voice Token LM）采用预训练的 CosyVoice 2 LM 模块，并以自回归方式生成十五个语音标记，确保高效且无缝的音频合成。这些语音标记由 Token2wav 合成器模块实时处理，生成最终的音频输出。

Token2wav 合成器包括一个预训练的流匹配模型，该模型将标记转换为梅尔频谱图，以及一个预训练的声码器，将梅尔频谱图转换为波形，两者均来源于 CosyVoice 2。MinMo 通过额外的隐藏嵌入实现端到端的完整训练，这些嵌入有助于根据用户指令控制语音风格，例如情感、方言和语速等。语音生成的详细信息详见 3.2 节。

全双工预测器模块由一个单层 Transformer 和一个线性 softmax 输出层组成，两者均为随机初始化。该模块实时预测是否响应用户指令或暂时停止当前系统播报，以处理来自用户的进一步音频输入。一旦全双工预测器决定系统响应是合适的，MinMo 会生成文本输出并同步以逐标记方式生成音频标记。

Streaming Voice Decoder

语音解码器包括三个组件：输出投影器、语音标记语言模型（Voice Token LM）和流式标记到波形（Token2wav）合成器。

输出投影器对齐 LLM 的维度与语音解码器的维度。LLM 的隐藏状态包含丰富的上下文信息，但语义上可能不够明确；而采样得到的文本标记更加精确，与生成的文本一致。同时，当前用户输入的隐藏状态包含显式的指令信息。在每轮对话中，用户输入的嵌入与 LLM 最后一层输出的隐藏状态将沿特征维度拼接，形成查询嵌入。查询嵌入与五个采样文本标记的嵌入，以及 LLM 最后一层输出的隐藏状态，将沿序列维度拼接并输入到投影器中。投影器的输出被称为语义向量，这些向量代表了丰富且准确的语义信息。

在输出投影器之后，使用语音标记语言模型（Voice Token LM）以自回归方式生成语音标记。该语言模型在交替的文本和语音标记序列上运行。具体而言，我们以 5:15 的固定比例混合语义向量和语音标记，即每五个语义向量后跟随十五个语音标记。

在训练过程中，采用教师强制策略，并引入一个特殊标记，用于指示下一个语义向量应被连接。当 LLM 的文本响应完成且语义向量耗尽时，我们插入一个“语音轮次”（turn of speech）标记，提示语音标记语言模型接下来的标记应完全为语音标记。当生成“语音结束”（end of speech）标记时，语音合成过程结束。

为了从语音令牌重建波形，我们使用现成的流式 token2wav 合成器。token2wav 合成器包含一个数据块感知流匹配模型和一个 mel 到 wave 声码器，能够以 15 个令牌为块合成波形。

语音解码器的理论延迟可以按以下方式计算：

其中 dl⁢l⁢m 表示 LLM 生成一个文本令牌的计算时间， dl⁢m 表示 LM 生成一个语音令牌的时间， ds⁢y⁢n 表示 token2wav 合成器生成每个语音令牌对应的波形的时间。

Tasks and Training Data

MinMo 的训练任务包括四类，包括 Speech-to-Text、Text-to-Speech、Speech-to-Speech 和 Speech-to-ControlToken 任务。表 2 列出了每个类别中的具体任务及其相应的数据量表。

Speech-to-Text 任务。此类别包含大约 120 万小时的语音-文本配对数据，包括自动语音识别 （ASR）、语音到文本翻译 （S2TT）、语言识别 （LID）、上下文偏差语音识别、语音情感识别 （SER）、音频事件检测 （AED）、说话人分析、口语平滑等任务。这些任务的训练数据以 ChatML 格式组织，如以下示例所示：

Text-to-Speech tasks。该类别的数据主要由基础语音合成数据组成，与训练 CosyVoice 2 的数据相同。它包括 170000 小时的文本语音配对数据，并支持四种语言：中文、英文、韩文和日文。此外，还有大约 1000 小时的音频生成数据由指令控制。这些说明扩展为包括由 Qwen-Max 生成的自然语言描述，利用人类标记的属性，例如情感、语速、方言和角色扮演。

Speech-to-Speech 任务。 Speech-to-Speech 数据主要通过模拟获取，包括大约 10000 小时的多轮对话语音和 100 小时的风格可控多轮对话语音。模拟 Speech-to-Speech 聊天数据的方法如下：

对于主要来源于 Alpaca 和 ShareGPT3 的文本聊天数据，我们利用 CosyVoice 的零样本上下文生成方法 将用户文本转换为用户语音。我们使用来自选定说话人的 2 小时数据对 CosyVoice 的基本模型进行微调，为目标说话人创建一个语音合成模型，称为 CosyVoice-SFT。该模型合成了助手的语音（即系统语音）。使用zero-shot上下文生成进行用户语音合成的优势在于它能够确保生成的用户语音的多样性，从而增强 MinMo 的泛化性。

为了解决合成音频和真实音频之间的差异，我们从 ASR 数据中选择合适的真实语音作为用户语音查询，并使用相应的文本作为 Qwen-Max 的输入生成响应文本，然后使用 CosyVoice-SFT 模型将其合成为辅助语音。这种方法进一步增强了模型对真实用户音频输入的鲁棒性。

为了生成涵盖不同说话风格的对话语音，我们最初使用 Qwen-Max 来创建丰富的风格可控、多轮次文本对话集合。用户查询通过 Cosyvoice 的 zero-shot generation 转换为语音。随后，我们使用 Cosyvoice 2 来生成助手的富有表现力的语音。具体来说，我们将助手的响应内容和指导提示输入到 Cosyvoice 2 中，以合成特定风格的语音。此外，使用小型、多样化和初步录制的语音语料库作为提示语音，通过零镜头生成合成表达性响应语音。前一种方法增强了模拟语音的多样性，而后者更有效地构建了各种风格的表现力。

Speech-to-ControlToken 任务。Speech-to-ControlToken 数据主要由两部分组成。第一部分是从现有的真实语音交互数据中提取的，而第二部分是使用文本对话数据进行模拟的。具体来说，现有的真实语音交互数据包括 Alimeeting 、Fisher 等资源，以及我们内部的语音交互数据，总共大约 3000 小时。模拟数据主要包括开源 MOSS 数据集 和通过合成我们内部文本对话数据的口语对话，产生了大约 1000 小时的语音聊天数据。当使用这些语音交互数据构建双工训练数据时，我们应用启发式规则在样本上自动注释双工标签，如下所示:

  • 对于助手的轮流，将用户轮到的终点作为助手轮次的起点。
  • 对于用户的轮次，将助手轮次结束后的时间间隔 T 作为用户轮次的起点，其中 T∼𝒩⁢(0.6,0.42) 。
  • 对于用户的 Back-Channel，当用户（以对话中的一个说话者为用户）无法打断另一个说话者时，我们从语音交互数据中选择实例，并将其视为用户 Back-channel 的训练样本。

模型训练

MinMo 通过四个对齐阶段逐步训练：（1） 语音到文本对齐，（2） 文本到语音对齐，（3） 语音到语音对齐，以及 （4） 双工交互对齐。通过四个对齐阶段，MinMo 获得了端到端的音频理解和生成能力，同时保留了主干文本LLM，实现了低延迟并为用户提供了无缝的语音聊天体验，类似于 GPT-4o。这四个阶段详细说明如下。

语音到文本对齐： Pre-align > Full-Align > SFT[LoRA]

第一阶段使用表 2 所示的语音转文本数据，将音频模态的输入潜在空间与预训练文本LLM。此阶段包括对图 3 中的输入投影和语音编码器的逐步更新，以及使用 LoRA 更新文本 LLM。考虑到语音编码器和LLM （Qwen2.5-7B） 是预先训练的，而输入投影的参数是随机初始化的，我们使用表 2 所示的语音转文本数据子集执行预对齐训练 （Pre-align），仅更新输入投影器。这个 Pre-align 阶段有效地防止了随机初始化的参数在初始训练阶段对预训练的 Voice Encoder 产生大的梯度影响。在预对齐之后，我们使用完整的语音转文本数据来训练输入投影器和语音编码器，同时保持 LLM 参数冻结，这个过程称为完全对齐。在 Full-Align 之后，使用涵盖各种任务的大约 130 万个样本进行指令微调 （SFT）。在此阶段，LLM 使用 LoRA 进行更新，从而增强模型遵循指令的能力。Full-Align 和 SFT 阶段中使用的特定数据比例如图 4 所示。Pre-Align 阶段使用大约 1/10 的 Full-Align 数据。

文本到语音对齐

第二阶段使用文本转语音数据将文本LLM音频模态的输出潜在空间对齐。此阶段首先训练 Output Projector，然后联合训练 Output Projector 和 Voice Token LM，同时保持其他 MinMo 参数冻结。除了基本的文本转语音功能外，我们还利用端到端框架使 MinMo 能够在语音交互中遵循用户指示，从而提供更富有表现力和娱乐性的音频响应。例如，用户可以通过指令控制音频输出的情感、语速、方言口音或说话人风格。构建了大约 1000 小时的 Instruct 语音合成数据，格式如表 3 所示。

语音到语音对齐。

第三阶段使用大约 10,000 小时的配对音频数据继续训练 MinMo。与文本到语音对齐阶段一致，我们继续仅更新 Output Projector 和语音令牌 LM。语音到语音对齐的训练数据不仅包括一般的语音到语音对话，还包括具有各种设置的音频生成指令，例如采用特定的方言、语速和口语对话的情感。我们发现，即使不更新 LLM，仅通过利用与小规模指令数据集对齐的嵌入（150 小时），大型模型仍然可以学习相当有效的音频生成控制能力。

双工交互对齐。

在完成前三个训练阶段后，MinMo 获得了音频理解、音频生成和半双工语音对话的能力。在此基础上，我们进一步添加了一个全双工模块，该模块经过 4000 小时的长篇人际口语对话训练。Full Duplex Predictor 模块在此阶段专门进行训练。Full Duplex Predictor 采用 全双工预测器将LLM的隐藏嵌入作为输入，用于预测模型是否需要生成响应。全双工预测器利用LLM固有的语义理解能力来判断：1）模型是否应该回应当前用户查询，2）模型是否应该停止正在进行的语音输出以聆听用户查询并提供适当的响应。来预测模型是否需要生成响应。

Experiments

根据多个基准评估 MinMo:

语音识别和翻译

在普通话、英语、日语、韩语和其他六种语言的公共测试集上评估了 MinMo 的语音到文本转录功能。

对于普通话 （ZH）、日语 （JA）、韩语 （KO） 和粤语 （YUE），我们采用字符错误率 （CER） 来评估转录性能。对于英语 （EN）、德语 （DE）、法语 （FR）、俄语 （RU）、西班牙语 （ES） 和意大利语 （IT），单词错误率 （WER） 用作评估指标。

与 Whisper Large v3 和 Qwen2-Audio相比，MinMo 在各种语言的大多数测试集上都实现了卓越的 ASR 性能。

在提示符显示或不带有 LID【语言ID】 信息的 Common Voice 上进行测试时，Whisper Large v3 和 Qwen2-Audio 的平均错误率存在显著差距，这表明这两个模型强烈依赖 LID 信息。相比之下，无论是否存在语言识别，MinMo 都表现出稳健且一致的 ASR 性能。

多语言语音翻译

在 Fleurs  和 CoVoST2  测试集上评估了语音到文本的翻译能力。

与其他端到端基线相比，MinMo 在中 ↔ 英和日 ↔ 英翻译上实现了 SOTA 性能，在其他语言对上实现了顶级性能。我们将这种强劲的性能归功于广泛的语音翻译训练数据（表 2 中 451K 小时的 S2TT 训练数据）和强大的音频编码器。 值得注意的是，尽管我们只用 CoVoST2 集（不包括 Fleurs 集）来增强我们的训练数据，但我们的模型在两个测试集上保持一致的性能，表明具有高鲁棒性。

Language Identification  语言识别

使用 Fleurs 数据集，该数据集涵盖 102 种语言。MinMo 实现了 85.3% 的语言识别准确率，优于表 7 所示的所有先前模型。具体来说，零样本 Whisper-V3 经常将粤语错误地归类为中文，而 MinMo 可以准确地识别粤语。

上下文偏见语音识别

上下文偏见，或称为热词定制，允许用户根据特定的上下文或热词获得定制化的ASR（自动语音识别）结果。MinMo通过集成用于上下文偏见的高级提示增强了ASR功能。我们为对齐和SFT阶段准备了相应的训练数据，通过将热词组织到语音处理指令之前的提示中，从而实现有效的定制。评估包括热词偏见测试和一般偏见测试，如表8所示。

热词偏见测试涉及使用SeACo-Paraformer（Shi et al., 2024）提供的三个数据集，这些数据集包含用于偏见评估的热词。一般偏见测试则使用包含较少热词的数据集，用于评估对无关热词的抗干扰能力。

MinMo 在 ASR 准确性（带和不带热词）以及硬质热词的召回率方面优于竞争性基线 SeACo-Paraformer。

Speech Analysis and Understanding

Speech Emotion Recognition

使用来自 EmoBox 的七个广泛使用的情绪识别数据集评估了 MinMo 的语音情感识别 （SER） 能力，包括 CREMA-D （Cao et al.， 2014）、MELD （Poria et al.， 2019）、IEMOCAP （Busso et al.， 2008）、MSP-Podcast （Martinez-Lucas et al.， 2020）、CASIA （Zhang & Jia， 2008）、MER2023 （Lian et al.， 2023） 和 ESD （周 et al.， 2021）。这些数据集包括中英文语言和场景，例如表演、电视剧和日常对话。我们采用未加权平均准确率 （UA）、加权平均准确率 （WA） 和宏观 F1 分数 （F1） 作为评价指标。引用了来自最近的 SER 工具包 EmoBox（马 et al.， 2024a）的这些测试集的结果。我们还使用其发布的模型检查点评估了基线音频LLM 模型 SALMONN 和 Qwen-Audio。

MinMo 在该基准测试的所有任务上都优于所有基线模型，包括语言 ID、性别、年龄、情感、发声分类任务，除了在声音问题分类任务上表现优于 Qwen-Audio。

Audio Event Understanding

使用 Air-Bench 基准测试，将 MinMo 的语音和音频事件理解能力与其他 Audio-LLM。结果如表 12 所示。在语音声音分类任务 （Vocal Sound） 上，MinMo 超越了所有基线模型。然而，我们发现，在更复杂的声音问答任务中，MinMo 的表现比 Qwen-Audio 差，尽管性能仍然优于其他模型。这可以归因于两个因素：首先，在语音编码器和训练范式中，MinMo 主要是为语音交互而设计的，因此一些声音问题可能会超出其范围;其次，在评估过程中，MinMo 会预测音频中发生的情况，而不是严格选择 Air-Bench 提供的选项，因此 MinMo 生成的一些正确或相似的正确响应与后处理脚本的错误选择保持一致。

Speaker Analysis  

说话人分析涉及几项对于理解音频数据并与之交互至关重要的任务，包括性别检测、年龄估计、说话人计数、说话人识别、多说话人识别和目标说话人识别。结果表明，MinMo 在性别检测和年龄估计任务上优于所有基线模型。

Speech-to-Text Enhancement

Spoken Language Smoothing【口语平滑】

口语语言平滑任务以口语ASR（自动语音识别）转录文本为输入，输出正式风格的书面文本。表14展示了口语语言平滑的一些示例。为该任务，我们通过扩展为ASR转录文本的口语到书面转换而创建的SWAB数据集（Liu et al., 2025），构建了一个多领域数据集用于训练和评估。SWAB数据集源自中文和英文的会议、播客及讲座。

在为原始视频和音频生成ASR转录文本后，大约十位注释人员根据ASR转录文本创建正式风格的书面文本，同时保留原始内容。SWAB的训练集包含20,000段文本，测试集包括100段中文和英文的随机抽样段落。我们对SWAB测试集进行全面微调，并将MinMo与基于Qwen2.5-7B的模型进行比较，结果如表15所示。

在客观指标评估中，我们使用BLEU（Papineni et al., 2002）、ROUGE（Lin, 2004）和BLEURT（Sellam et al., 2020），以人工目标为参考。然而，我们注意到口语语言平滑任务具有显著的主观性和多样性，因此基于词汇匹配的客观指标可能无法充分反映模型性能。因此，我们采用人工和LLM注释来提供信实性（S-Faithful，即对原始内容的信实性）和正式性（S-Formal）的排名评估。自动化LLM评分的提示见附录A.1。

表15显示，我们的模型与Qwen2.5-7B的性能相当，表明MinMo在平滑口语语言方面具有较好的能力。

标点插入和反向文本规范化

对于标点插入 （PUNC） 和反向文本归一化 （ITN） 任务，我们使用来自 Fleurs 数据集的中文和英文数据。我们将 MinMo 与 SenseVoice-L 和 whisper-large-v3 进行比较，如表 16 所示。鉴于标点符号插入和 ITN 任务的主观性，我们使用 GPT-4 Turbo 对三个结果进行排序进行评估。附录 A.2 中提供了自动评分的任务提示。第一名获得 3 分，第二名获得 2 分，第三名获得 1 分。最终分数是所有分数的平均值。在准备测试数据时，我们使用随机选项洗牌和多轮评分，以减少使用 ChatGPT 进行评估时的不确定性。最终结果表明，MinMo 在标点插入和 ITN 的主观评价中表现更好。

Voice Generation

文本到语音（TTS）

为了评估我们语音解码器的合成准确性，我们将最新的SEED测试集（Anastassiou et al., 2024）转换为ChatLM格式。在该格式中，文本以用户内容的形式呈现，并以“Copy:”命令为前缀，LLM预计会复制该文本。测试集包括2,020个中文案例和1,088个英文案例。对于中文案例，我们使用了Paraformer-zh模型（Gao et al., 2022），而英文案例则使用了Whisper-large V3（Radford et al., 2023）。鉴于LLM存在的指令跟随问题，我们在推理过程中应用了教师强制方案，以最小化输入和输出文本之间的差异。语音解码器的内容一致性通过中文的CER（字符错误率）和英文的WER（词错误率）进行评估。

我们的发现表明，即使在应用了教师强制方案的情况下，只有大约20%的测试案例的输入和输出文本与LLM完全一致。由于不一致的输入和输出可能导致语音解码器的隐藏状态混乱，因此仅包括输入和输出文本一致的测试案例来计算错误率。结果如表17所示。我们观察到，与TTS基线模型CosyVoice 2.0-SFT（Du et al., 2024b）相比，MinMo在中文测试集上表现出稍微较低的内容一致性和语音质量。在英文测试集上，MinMo在内容一致性上表现相似，但NMOS（语音质量评分）稍低。这个下降可以归因于微调的说话人不同的声学特性，这影响了识别模型和NMOS评分器。然而，这种下降不会显著影响人类的理解。因此，主观评估可能更适合语音到语音的语音聊天模型，我们将在未来的工作中进一步探讨这一点。

指令跟随语音生成

为了评估指令跟随语音生成的性能，我们开发了一个包含30个会话和122个回合的多轮中文语音到语音测试集，涉及12种指令控制类型。这些控制类型包括情感（高兴、悲伤、惊讶、愤怒、恐惧）、方言（粤语、四川话）、语速（快、慢）、角色扮演（机器人、佩佩）以及默认风格。

为了评估指令跟随语音生成的准确性，听众根据指令类型对生成的音频进行分类。如表18所示，MinMo在指令控制准确性方面优于基线模型GLM-4-Voice，特别是在方言和角色扮演方面。

Voice Chat

为了将基础模型的对话功能转移到语音模态，我们为语音转文本 （speech2text） 和语音转语音 （speech2speech） 场景构建了多轮次对话数据。speech2text 数据主要分为两部分。首先，它源自开源多轮次纯文本数据，我们使用零样本文本转语音 （TTS） 技术合成用户轮次。其次，我们使用真实的自动语音识别 （ASR） 训练数据作为聊天查询，从大型模型获取文本响应，从而为 speech2text 生成交互式训练数据。

MinMo 模型在语音转语音 （S2S） 模式下与现有基线相比具有显著优势，实现了新的最先进的 （SOTA） 结果。在语音转文本 （S2T） 模式下，它还在 Llama Question 和 Web Question 数据集上实现了 SOTA 性能。但是，MinMo 的测试结果仍然表明，与 S2T 模式相比，S2S 模式的性能明显下降。我们将其归因于这样一个事实，即测试集中的许多答案都具有丰富的文本结构和专业词汇，这对模型的文本转语音 （TTS） 功能提出了更高的要求。此外，在 S2S 评估中用于获取答案文本换语音的自动语音识别 （ASR） 模型也会在一定程度上影响 S2S 指标。

从表 20 中可以观察到，通过将额外的 speech2text 任务数据整合到 MinMo 训练中，我们能够有效地保持基础模型的对话能力。与 ASR 与纯文本基本模型相结合的性能相比，MinMo 的对话能力在很大程度上保持一致。但是，MinMo 的响应分数略低于 Ground Truth 响应的质量。我们认为这种差异可以归因于两个主要原因。首先，多个语音任务的集成和在基础模型上实现 LoRA 训练，在一定程度上削弱了原始大型语言模型 （LLM。该表显示，与 ChitChat 测试集相比，MinMo 在 Alpaca 测试集上表现出更大的性能变化。其次，MinMo 的音频理解能力还有进一步改进的空间，并且仍有可能降低 ASR 任务中的字符错误率 （CER）。

Full Duplex Spoken Dialogue

为了评估 MinMo 在全双工语音交互中的能力，我们构建了三个测试集：中文 Alimeeting 数据集、英文 Fisher 数据集和一个模拟测试集，旨在更接近真实的人机对话场景。我们从两个角度评估 MinMo 的全双工能力：预测性能和预测效率。关于预测性能，评估分为三个任务：辅助轮流、用户轮流和用户反向引导。对于轮流任务，我们采用正 F1 分数作为分析指标，并引入了偏移距离 （ K ） 来更好地分析模型的性能。对于用户反向通道任务，我们利用准确性来评估 MinMo 识别反向通道话语的能力。

MinMo 模型在人机对话数据集上表现出值得称道的结果，无论是用户轮流还是助手轮流。当 K=10 时，预测性能接近 99%。在实际人机对话的测试集中，与人机对话测试集相比，MinMo 模型在辅助轮流上的表现表现出一定程度的下降。我们认为这主要是由于真实人类对话中背景噪音、语速、停顿和其他因素的高度可变性，这可能导致模型在助理轮流任务中出现一定程度的误判。但是，对于人与人对话中的用户轮流预测，MinMo 模型仍然保持了高水平的灵敏度和预测性能，确保在用户说话时系统及时停止说话，从而避免与用户重叠语音。这种敏感性和对用户语音的尊重也解释了为什么 MinMo 模型对用户反向通道评论保持 70%-80% 的预测准确性，如表所示。这与 user turn-taking model 的调优是一致的，表明两者之间存在一定的权衡。

为了对 MinMo 双工模式进行效率分析，我们还分别对人机对话和人机对话测试集进行了测试。如表 23 所示，MinMo 在用户轮流中的平均响应延迟为 250ms。在人机测试集中观察到最快的响应速度，为 88.8 毫秒，而最具挑战性的 Alimeeting 测试集显示延迟为 448.8 毫秒。在辅助轮流方面，MinMo 的平均响应延迟在 660ms 左右，与用户轮流预测所需的响应时间相比，这要长。我们将其归因于以下事实：用户轮流涉及用户语音的开始部分，而助手轮流涉及用户轮到即将结束的部分。因此，助理轮流的上下文语义信息更加全面，从而缩短了决策所需的时间滞后。

Full Duplex System Latency

MinMo 的双工交互由四个模块组成：全双工预测器，负责双工控制，语音转文本模块（语音编码器+输入投影仪+LLM）、文本转语音标记模块（输出投影仪+语音标记 LM）和 Token2Wav 模块。表 21 显示了每个模块的延迟。以 Assistant Turn-taking 为例，当用户的实际语音结束时，双工模型通常需要 250 ms 的延迟进行评估。在 Speech-to-Text 过程中，对前 5 个文本标记的预测大约需要 150 毫秒。预测最初的 15 个语音令牌大约需要 70 毫秒，从语音令牌转换到第一个音频数据包需要额外的 130 毫秒。因此，在开发基于 MinMo 的全双工语音对话系统时，助理轮流的标准体验延迟约为 250 + 150 + 70 + 130 = 600 毫秒。上述数值估计值是在使用 L20 GPU 和 BF16 模型格式进行测试期间得出的。

总结/局限性

MinMo 在超过 140 万小时语音的广泛数据集上进行了训练，展示了各种基准（包括口语对话、多语言语音识别和情感识别）的最新性能。通过利用多阶段对齐策略，MinMo 巧妙地平衡了音频理解和生成，同时最大限度地减少了基于文本的 LLMs。一项关键创新是 MinMo 用于流式端到端音频生成的新颖对齐方法。通过利用文本模型的隐藏层表示，MinMo 的语音解码器实现了结构简单性和有竞争力的性能以及低延迟。这种方法显著增强了模型的指令遵循能力，能够生成细致入微的语音，准确反映用户指定的情感、方言和说话风格。此外，MinMo 支持全双工交互，以大约 600 毫秒的延迟提供无缝的对话体验。总之，MinMo 代表了语音交互系统领域的重大进步。它不仅解决了序列长度差异和数据不平衡的固有挑战，还为自然和富有表现力的语音交互设定了新标准，为多模态语言模型的未来发展铺平了道路。

MinMo 有一些需要解决的局限性。首先，MinMo 基于预训练的文本大模型，使用对齐方式集成音频理解和音频生成能力;文本大型模型仅参与 LoRA 更新，其遵循各种指令（例如语言和任务遵循）的能力需要改进。需要进一步探索以确定使用更多高质量的文本数据对文本大型模型进行更全面的更新是否可以增强其指令跟踪能力。其次，MinMo 的端到端音频生成存在一些长尾发音错误问题。这个问题部分是由于保留了 LLM，部分原因是端到端建模输出文本中的一些特殊符号无法有效地转换为语音。可以探索数据扩展来解决这些长尾问题。此外，由 MinMo 中的指令控制的音频生成的整体效率需要提高。这部分是由于当前指令数据的整体大小较小，并且仅使用隐藏嵌入进行端到端对齐的限制，这限制了历史信息的传输。最后，虽然 MinMo 实现了基于语义的双工模块，但它仍然需要单独的 AEC 【AEC模块用于消除语音通信中由于麦克风拾取扬声器输出信号而产生的回声。】和 VAD 模块。将来，将探索完全端到端的双工模型。

SLAM-Omni: 单阶段训练下支持可控音色的语音对话模型

近几个月来，许多端到端的语音对话系统涌现，旨在解决级联系统中交互延迟过高以及基于文本交互下副语言信息丢失的问题。然而，目前大多数语音对话模型依赖于大量的语音对话数据以及高昂的训练代价，且存在响应音色单一的弊端。

近日，上海交通大学计算机系X-LANCE实验室联合微软亚洲研究院推出了面向低资源场景下支持可控音色的语音对话模型——SLAM-Omni。该模型只需要在4张GPU上单阶段训练15小时，即可获得远超此前同等规模模型的对话能力，并且具有优越的语音质量以及生成语音-文本一致性。在更大规模数据集上的实验表明SLAM-Omni在中文对话以及多轮对话上都有不俗的表现。

语音对话系统建模

本文首先探索了主流的语音对话系统建模方案，现有端到端系统主要通过将文本作为中间输出或隐藏状态来利用预训练的大语言模型（LLM）。这些方法可以分为文本驱动建模和音频-文本联合建模两类。

文本驱动建模保留了LLM原始架构，将文本隐状态传递给语音解码器生成音频，能够有效保留LLM的知识，使用其隐藏状态作为语音解码器的输入用于音频生成，但由于只使用文本tokens进行自回归建模，难以捕捉音频的情感和语调等副语言特征。音频-文本联合建模分为交替和并行两种范式，均将音频 tokens加入自回归建模，理论上提升对非语言信息的建模能力。交替范式通过交替使用文本和音频tokens进行生成，需要大量的语音-文本交替数据并重新训练LLM。而并行范式则并行地对文本和音频tokens自回归生成。SLAM-Omni在此基础上，通过预测单层语义tokens并结合语义分组建模的方式来加速音频生成，显著降低了训练成本。

主要贡献：

  • 提出了第一个针对具有说话者解耦语义token的语音交互系统的零样本音色控制解决方案。
  • 提出语义组建模方法来加速单层语义语音标记生成和模型训练。
  • 历史文本提示是为了在SDM【Existing spoken dialogue models】 中进行高效的多轮历史建模而提出的。
  • SLAM-Omni 是第一个实现单阶段训练的语音助手，需要最少的数据和计算资源。
  • 实验表明，SLAM-Omni 在文本相关任务上优于类似规模的先前模型，并且在所有现有 SDM 中在声学质量和语音文本对齐方面表现出卓越的性能。更大数据集上的结果证明了其多语言和多轮对话能力。

方法

模型概述

SLAM-Omni通过将系统提示、历史文本提示和用户语音嵌入拼接作为输入，并在Vocoder中通过语者提示来控制音色【 借鉴TTS模型 cosyvoice： 条件流匹配模型 +HifiGAN】；同时，采用语义分组建模加速自回归过程中的语音token生成。

输入语音建模

SLAM-Omni使用Whisper编码器从用户语音指令中提取音频特征（50 Hz）。Whisper作为在大规模跨语言语音数据上训练的语音识别模型，提供了精准的转录和强大的多语言支持，是SLAM-Omni实现多轮多语言对话能力的基础。我们通过降采样处理音频特征，将多个连续帧合并，并通过线性投影将其转换为与LLM嵌入维度对齐的形式。这些处理后的音频特征与文本提示嵌入一起，作为输入传递给LLM。

输出语音建模

在语音输出方面，SLAM-Omni采用并行的音频-文本联合建模，并行地自回归预测文本和音频的语义tokens。为此，我们扩展了LLM的词表，新增了音频tokens的码本，并将原始的词嵌入矩阵与新嵌入合并。在每个生成步骤中，LLM输出的logits包含了文本和音频tokens的预测分布。然而，由于文本tokens（约为3Hz）和音频语义tokens（50Hz）的频率差异，直接以相同速率生成这两种tokens会导致语音对话模型的训练和推理成本大幅增加，同时增加了实时语音生成的延迟。

为了解决这一问题，本文提出了“语义分组建模”方法，每步生成多个音频tokens，从而缓解频率不匹配带来的挑战。该方法通过线性层将音频logits投影到分组logits中，并对应的在训练过程中将原语义token序列按组进行划分。通过这种方式，模型能够在自回归过程的每步中同时处理多个音频tokens，从而加速语音生成并极大地降低训练和推理的成本。模型的训练目标可以表示为文本层和音频层交叉熵损失的加权和。

可控音色建模

SLAM-Omni通过将语音内容建模为语义tokens，天然地实现了音色与语言信息的解耦，将zero-shot音色控制从TTS扩展到了语音对话系统上。借鉴TTS模型（Cosyvoice）中的技术，SLAM-Omni使用条件流匹配模型将语义tokens和语者提示信息转换为mel频谱图，并通过HiFi-GAN合成波形。此外，为了支持实时语音生成，SLAM-Omni在流匹配的Transformer架构中采用了块因果注意力机制。

多轮对话

过去的语音对话模型在多轮对话建模上通常将文本和音频tokens交替作为历史，但较长的音频token序列显著提高了训练成本，限制了对话轮次。此外，较长的历史也会影响模型的上下文学习能力，并可能导致早期对话内容的遗忘。为了解决这些问题，SLAM-Omni引入“历史文本提示”（Historical Text Prompting）的方案，仅使用文本模态来表示对话历史。在多轮对话交互中，SLAM-Omni采用模板：<系统提示> <历史文本> <输入> <响应>。其中，系统提示指定模型角色和任务，历史提示则以文本形式存储过去的对话内容。这种方式与LLM的训练模式高度契合，同时避免了长音频序列建模的负担，使得模型能够在受限的上下文窗口内处理更多的对话轮次。在推理过程中，通过Whisper提取的语音特征可以解码成输入语音的转录文本，模型输出的文本tokens则通过分词器转换为文本。每轮对话中，由此得到的问题-响应文本对会被追加到历史对话中，以便下一轮使用。如图所示，第一轮语音对话的转录被纳入历史提示中，第二轮推理时计算得到的KV键值缓存可以在第三轮及以后的对话中复用，从而提高多轮推理的效率。

单阶段训练

此前的端到端语音对话模型通常需要进行模态适配、模态对齐和有监督微调等多阶段训练，这不仅需要精细的训练策略，还涉及多个超参数的调整，带来了显著的时间和计算成本。而SLAM-Omni通过简化为单阶段微调训练，能够在较小的数据集上快速收敛，展现了高效的训练效果。在我们的实验探索中，TTS和ASR的预训练都展示了快速的损失收敛，表明我们的方法无需大规模的模态对齐预训练。同时，进一步的实验还揭示，预训练实际上可能对模型的指令跟随能力和预训练知识保留产生负面影响。

实验设置

由于大多数开源的对话数据集仅为文本格式，我们通过zero-shot TTS系统合成语音对话语料。具体而言，我们使用CosyVoice模型生成用户输入的语音，同时随机从音色库中抽取语者提示，以控制音色。对于语音响应，我们使用CosyVoice模型生成语义tokens，它们在SLAM-Omni训练过程中作为目标音频tokens使用。我们使用的训练数据集包括VoiceAssistant-400K、英语多轮数据集UltraChat和中文对话数据集Belle_train_3.5M_CN。为了确保数据质量，我们清理了数据中的书面体（如表情符号、URL等），并限制了语音问题和响应的时长，以更好地模拟自然对话场景。在SLAM-Omni的主要实验中，仅使用VoiceAssistant-400K数据集，其他数据集则用于补充实验，评估模型在多轮和多语言对话任务中的表现。

对于用户输入，采用CosyVoice-300M模型来产生相应的语音。声音音色是通过从音色库中随机采样扬声器提示来控制的，该音色库包含来自seed-tts-eval3的1007个英语和1010个中文人类音频提示。对于助理响应，我们使用 CosyVoice-300M-SFT 的文本到令牌 LLM 来生成语义令牌，这些令牌在 SLAM-Omni 训练期间用作目标音频令牌

在训练和推理过程中，为确保在低资源环境下的公平比较，我们使用Qwen2-0.5B作为LLM骨干，并选择Whisper-small作为语音编解码器。在主要实验中，SLAM-Omni采用的语义分组大小为G = 3。在单阶段训练中，SLAM-Omni进行全量微调，只有Whisper编码器保持冻结。整个训练过程大约需要在4个A100 GPU上进行15小时。

为了全面评估语音对话模型的语音交互能力，本文提出了一个新的评测框架，涵盖理解、推理和口语对话三个关键环节。通过设计八个测试集，我们分别从这三方面考察模型的表现。在“理解”部分，评估模型是否能够理解并跟随用户指令；在“推理”部分，通过逻辑、数学和常识问题测试模型的推理能力；而在“口语对话”部分，我们测试模型在开放式对话场景下的交互能力。评估指标包括内容质量（通过ChatGPT评分）、语音质量（通过UTMOS评分）以及语音与文本的一致性（通过WER评分）。

实验结果

实验结果表明，SLAM-Omni在低资源场景下的表现超越了同规模的语音对话模型，在语音内容、音频质量和语音-文本一致性上显著提升，特别是在UTMOS和ASR-WER评分上表现突出，显示出其在音频建模方面的优势。在ChatGPT评测中，尽管和更大规模的模型相比仍存在差距，SLAM-Omni在理解、推理和口语对话能力上显著超越了同规模的Mini-Omni系列，表明其保留了更多的预训练LLM知识和指令跟随能力。

在音频质量和语音-文本一致性上，SLAM-Omni的表现优于所有其他语音对话模型，特别是在ASR-WER指标上，表明其语音-文本对齐更加紧密。而其他模型在生成过程中容易出现生成音频与文本不对齐的情况，尤其在长内容生成时，容易出现音频中断或长时间的静默，导致其UTMOS和ASR-WER评分较低。

消融实验表明，语义分组建模显著提高了生成语音与文本的对齐度，尤其当组大小G≥3时，ASR-WER低于5%，相比之下，没有执行分组算法的模型（G=1）的ASR-WER高达18.23%。这一差距主要来源于音频和文本token之间的频率不匹配。通过减少音频序列长度，语义分组建模有效缓解了这一问题，同时减少了训练和推理成本，并加速了音频生成，提供了更流畅的用户体验。

关于训练策略的消融实验表明，传统的多阶段训练方法虽然能略微提高模型的音频-文本对齐度，但在语音交互任务上的整体表现并未显著改善。相比之下，SLAM-Omni采用单阶段训练策略，显著提高了ChatGPT评分，并保持了相当的音频质量。通过直接在语音到语音数据上进行单阶段微调，SLAM-Omni能够更好地保留预训练LLM的知识，避免了传统预训练任务带来的知识流失问题，提高了训练效率。

附录：

Pre-training Details

对于ASR和TTS预训练，专门使用VoiceAssistant-400K数据集来确保一致性并避免引入外部数据。在 ASR 预训练期间，提供语音指令作为输入，其相应的转录文本作为目标输出。相反，对于 TTS 预训练，语音响应的转录被用作输入文本，而相应的语义token被设置为预测目标。优化和学习策略与微调期间采用的策略一致，值得注意的是，在 ASR 预训练期间仅计算文本层损失，而 TTS 预训练专门关注多层音频损失作为训练目标。

曲线显示，ASR 和 TTS 任务都实现了快速收敛，证明了模型在短时间内有效“理解”和“生成”语音的能力。这一观察表明，理解和生成任务中的模态对齐本质上是简单的，需要最少的预训练工作。此外，如表 6 所强调的，直接对语音到语音任务进行训练可以产生卓越的性能，同时减轻通常与预训练相关的知识退化。

总结 

本文提出了SLAM-Omni，一种单阶段训练下支持可控音色的端到端语音对话模型。通过语义分组建模，SLAM-Omni有效地对齐了音频和文本模态，同时加速了训练和推理过程。采用有监督的语义tokens解耦说话人信息，使得SLAM-Omni实现zero-shot音色控制。为了解决长音频历史带来的问题，我们引入了历史文本提示技术，将对话历史存储为文本，并通过键值缓存提高多轮推理效率。在少量数据训练仅仅60个GPU小时下，SLAM-Omni在文本相关能力上超越了同规模的语音对话模型，并在音质和语音-文本对齐方面表现优越。

MiniCPM-o 2.6: 端侧可用的 GPT-4o 级视觉、语音、多模态实时流式大模型

➤ 项目网站 🔗https://github.com/OpenBMB/MiniCPM-o

➤ 模型权重 🔗https://huggingface.co/openbmb/MiniCPM-o-2_6

🔗https://modelscope.cn/models/OpenBMB/MiniCPM-o-2_6

➤ Demo https://minicpm-omni-webdemo-us.modelbest.cn/

MiniCPM-o 2.6部署教程 详细的部署教程请参考文档。

简介

多模态大模型的蓬勃发展始于视觉和语言，其中开源社区在图像理解能力方面实现了越来越强的性能表现。然而，我们的物理世界本质上是一个并行的连续多模态信息流，而当前大多数多模态大模型缺乏处理这样信息流的能力。最近的 GPT-4o 和 Gemini 2.0 等突破性工作迈出了朝这个目标的第一步，为领域的未来发展建立了雄心勃勃且充满希望的方向。

为了促进开源社区的探索，我们推出了 MiniCPM-o 2.6，一个从 MiniCPM-V 系列升级而来的最新性能最佳的端侧多模态大模型。该模型接受图像、视频、文本和音频输入，并以端到端方式生成高质量的文本和语音输出。虽然总参数量仅有 8B，MiniCPM-o 2.6 的视觉、语音和多模态流式能力达到了 GPT-4o-202405 级别，是开源社区中模态支持最丰富、性能最佳的模型之一。其主要特性包括：

  • 领先的视觉能力。 MiniCPM-o 2.6 在 OpenCompass 榜单上（综合 8 个主流多模态评测基准）平均得分 70.2，以 8B 量级的大小在单图理解方面超越了 GPT-4o-202405、Gemini 1.5 Pro 和 Claude 3.5 Sonnet 等主流商用闭源多模态大模型。此外，它的多图和视频理解表现也优于 GPT-4V 和 Claude 3.5 Sonnet，并展现出了优秀的上下文学习能力。
  • 出色的语音能力。 MiniCPM-o 2.6 支持可配置声音的中英双语实时语音对话。MiniCPM-o 2.6 在语音理解任务（如 ASR 和 STT 等）优于 GPT-4o-realtime，并在语音对话的语义和声学评估中展现了开源社区最佳的语音生成性能。它还支持情绪/语速/风格控制、语音克隆、角色扮演等进阶能力。
  • 强大的多模态流式交互能力。 作为一项新功能，MiniCPM-o 2.6 能够接受连续的视频和音频流，并和用户进行实时语音交互。在综合评测基准 StreamingBench 中（包含实时视频理解、全模态视音频理解、多模态上下文理解三大类评测），MiniCPM-o 2.6 取得开源社区最佳水平，并超过了 GPT-4o-202408 和 Claude 3.5 Sonnet。
  • 强大的 OCR 能力及其他功能。 MiniCPM-o 2.6 进一步优化了 MiniCPM-V 2.6 的众多视觉理解能力，可以处理任意长宽比的高清图像，像素数可达 180 万（如 1344×1344像素）。在 OCRBench 上取得 25B 以下最佳水平，超过 GPT-4o-202405 等商用闭源模型。基于最新的 RLHF-V、RLAIF-V 和 VisCPM 技术，该模型具备了可信的多模态行为，在 MMHal-Bench 上超过了 GPT-4o 和 Claude 3.5，并支持英语、中文、德语、法语、意大利语、韩语等30多种语言的多模态交互。
  • 卓越的效率。  除了对个人用户友好的模型大小，MiniCPM-o 2.6 还表现出最先进的视觉 token 密度（即每个视觉 token 编码的像素数量）。它仅需 640 个 token 即可编码 180 万像素图像，比大多数模型少 75%。这一特性显著优化了模型的推理速度、首 token 延迟、内存占用和功耗。因此，MiniCPM-o 2.6 可以首次支持 iPad 等终端设备上的高效多模态实时流式交互。
多模态大模型发展趋势。多模态大模型的性能持续增强，并在真实世界的流式场景中支持越来越多的模态能力。与传统视觉语言模型的线性发展不同，这种发展趋势更加多维，就像攀登深处的山峰一样，可能蕴含更多变革性的宝藏。

我们将介绍 MiniCPM-o 2.6 中所面临的主要挑战及其相应的解决方案。

🤔 如何实现多模态流式交互？

人类能够持续感知来自环境的视觉、音频和文本信息流，并以较低延迟生成语音和文本回复，但这对当前的多模态大模型来说是一个重大挑战。

💡 1. 我们将各模态的离线编码/解码器改造为支持在线模式，从而支持流式输入/输出处理。

大多数模态的编码器和解码器都是离线的，大语言模型必须等待完整的视觉/音频输入的编码完成后才能进行处理，用户也必须等待语音完整生成后才能收听。我们在时间维度上将不同模态的输入/输出流分割成小块，并以块为单位进行编码/解码以实现更低的延迟。对于语音生成来说，我们设计了一种新颖的流式注意力策略使解码器能够在接收到第一个文本块时就开始生成音频。

💡 2. 我们提出了一种全模态时分复用机制来处理并行多模态流。

借鉴通信领域的时分复用技术，我们将每个模态的信息流分割成小块（每秒一块），并将同一秒内的所有模态信息组合成一个紧凑的序列单元输入给大语言模型主干。基于这个策略，主干模型可以高效地在线处理多模态信息流。

🤔 如何实现高效的端到端声音、情感、口音和语速可控的语音对话？

大多数传统语音对话模型都是基于 ASR-LLM-TTS 流水线实现的，会丢失大量用户复杂情感和环境声音等细粒度信息。而直接使用大语言模型生成音频 token 的端到端模型在训练和推理过程中都存在计算效率低的问题，且训练时数据效率也较低。

💡 我们基于混合的端到端架构在自然语音上进行了大规模预训练。

我们同时通过连续特征和文本将大语言模型和一个轻量级语音解码器连接起来。大语言模型产生的连续特征确保语音监督信号能够以端到端方式反向传播到全部模型参数，从而支持更高的能力上限。文本连接则提供了强大的语义控制并减少了训练数据需求。为了学习丰富的细粒度语音知识，我们在自然语音数据进行了大规模预训练，然后将模型与用户指令对齐。

端到端全模态架构

我们首先介绍 MiniCPM-o 2.6 的端到端全模态整体架构。该模型基于SigLip-400M、Whisper-medium-300M、ChatTTS-200M 和 Qwen2.5-7B-Instruct，总共有 8B 参数。整体架构如下所示。

端到端语音建模

大多数现有的多模态模型依赖 ASR 和 TTS 工具搭建流水线来理解和生成语音，导致了明显的语音信息损失和比较有限的语音控制能力。我们提出一种混合连接的端到端语音建模架构，在保证模型能力上限的同时具备优秀的训练和推理效率。

音频编码

我们首先使用 Whisper 编码音频输入，然后进一步压缩其特征表示来减小后续的计算开销。默认情况下，Whisper 编码器会为每秒音频生成 50 个 token。受 LLaVA-UHD 的启发，我们在将音频 token 输入到大语言模型主干之前会进一步压缩音频 token，以提高 token 信息密度和计算效率。实验结果表明从 50 token/秒压缩到 25 token/秒时，造成的信息损失几乎可以忽略，并可提高近一倍的计算效率。

语音解码

为了实现对语音输出的精细控制，我们首先从大语言模型主干中获得连续特征作为 speech embedding，然后通过大语言模型继续生成文本。speech embedding 和生成的文本同时会输入给解码器作为生成语音梅尔谱的控制条件。MiniCPM-o 2.6 使用了初始化自 ChatTTS 的轻量级自回归语音解码器来联合建模输入的 speech embedding、文本和输出的音频 token。

语音到语音架构

我们直接通过编码后的音频特征（不使用 ASR）将音频编码器与大语言模型连接起来。大语言模型和语音解码器则以混合方式连接：（1）speech embedding 连续特征控制语音、情感、口音及其他细粒度语音特征。在训练过程中，来自语音解码器的梯度会反向传播到包含大语言模型主干和音频编码器的整个模型参数。模型通过端到端方式训练，没有使用任何中间损失和监督。（2）我们还将来自大语言模型的文本输入到语音解码器，来提供更好的语义控制和训练数据效率。

得益于端到端的架构设计，MiniCPM-o 2.6 成为首个支持端到端语音克隆的通用语音对话模型。我们发现 MiniCPM-o 2.6 在语音克隆任务中可以达到与一些专业 TTS 工具相近的性能。

端到端视觉理解

MiniCPM-o 2.6 采用 LLaVA-UHD 的自适应视觉编码方案以实现高清视觉理解，支持处理最高 180 万像素（例如 1344×1344）的任意长宽比图像。具体而言，我们先将图像划分为多个切片，使得每个切片在分辨率和长宽比方面接近 ViT 的预训练设置。为了提高计算效率，我们支持每张图像最多 9 个切片。然后我们将每个切片及原始完整图像输入给 SigLIP 以获取视觉特征。最后，我们应用 perceiver resampler 将每个图像切片的特征序列压缩为 64 个视觉 token。更多细节参见 LLaVA-UHD 和MiniCPM-V 原始论文。

全模态流式机制

本章我们介绍 MiniCPM-o 2.6 的全模态流式机制，包括：（1）改造语音编码器和解码器以支持在线流式处理，（2）使大语言模型主干能够处理并行的多模态流信息。

流式音频编码

大多数现有模型只能在整个音频输入信号完整后才开始进行音频编码，从而引入了显著的延迟。为了解决这个问题，我们将输入音频分割成多个片段，每个片段是表示一秒钟的音频的固定数量音频 token。在音频编码过程中，每个片段都采用因果注意力机制进行编码，仅关注自身及之前的片段，从而满足在线流式编码的需求，同时与离线整体编码相比保持了最小的信息损失。

每个小方块表示1s的音频片段

流式语音解码

大多数语音生成模型要求在开始生成音频之前，所有文本 token 都已经完整就位，如图 A 所示。虽然这种方式在离线任务中表现良好，但无法满足流式场景的需求。对于流式模型而言，我们需要在部分文本生成时就开始生成（和播放）相应音频。

为了实现流式语音生成，我们每次输入固定数量的文本 token（一个大小为 n 的片段），而解码器立即输出固定数量的音频 token（一个大小为 m 的片段）。这个过程会对下一个文本 token 和音频 token 片段重复进行，以此类推。值得注意的是，文本片段与其对应音频片段之间的并不是精确对齐的。因此在实际应用中，我们为文本 token 片段的大小保留了更大的空余以避免意外情况。

为了实现上述流式策略并尽可能减小对当前最佳语音解码器的改动，我们主要引入了两个改变：

  1. 为文本预留前 N 个位置： 我们使用语音解码器上下文中的前 N 个位置来放置 speech embedding 和生成中的文本。
  2. 引入流式因果注意力掩码： 每个新生成的音频片段只能关注到已经生成的前几个文本 token 片段和其之前的所有音频 token。

在图 A-E 中，我们展示了每当引入新文本 token 和音频 token 时，注意力掩码是如何一步一步变化的。通过控制文本和音频 token 之间的片段注意力掩码，我们使得音频能以流式方式生成和播放。

  1. （文本和音频生成的开始） 在图 B 中，大语言模型主干生成 speech embedding 和前 n 个文本 token（此处 n=2）。然后，我们将 <Text BOS>（1 个位置）、speech embedding（1个位置）和文本 token（n个位置）输入到语音解码器中（总共输入了 2+n 个位置），基于此，模型可以生成最多 m 个音频 token（此处 m=4），但仅关注前 2+n 个位置以及所有之前的音频 token 位置。
  2. （步骤 1 的重复） 在图 C 中，大语言模型生成下一段 n 个文本 token。我们将这些新文本 token 输入到语音解码器中。然后，解码器生成下一段 m 个音频 token。
  3. （文本生成结束） 在图 D 中，大语言模型完成所有文本 token 的生成，产生了最后的 k 个文本 token（k<=n，此处 k=2）。剩余的 k 个文本 token 被输入到语音解码器中。然后，语音解码器生成下一个m个音频 token。
  4. （音频生成结束） 在图 E 中，语音解码器继续生成音频 token，直到生成 <Audio EOS> token。

这里的 N、n 和 m 是超参数。在实际应用中，我们使用 N=300、n=10、m=50，以实现性能与推理速度之间的平衡。

流式视觉理解

我们将视频流表示为以 1 帧每秒（1 fps）的帧序列。我们每秒钟从输入的视觉流中采样一帧，并使用自适应高分辨率编码策略对其进行编码，然后将编码后的特征输入给大语言模型主干。

为了在效率和性能之间取得平衡，我们设计了一种简单的混合分辨率策略。具体而言，我们只对用户请求结束时的最后一帧进行高分辨率编码（例如 1344 x 896），而其他帧则使用中等分辨率（例如 448 x 448）。

全模态时分复用

为了实现对不同模态的时间对齐的流式理解，我们提出了一种全模态时分复用机制。如整体框架图所示，我们首先使用共享的时间线对齐来自多个模态的信息流。受到通信领域时分复用技术的启发，我们将每个模态的流分成小块（每秒一块），并将同一秒块内的所有模态信息聚集成一个紧凑的序列单元。大语言模型则按时间顺序处理这些多模态序列单元。

需要注意的是，MiniCPM-o 2.6 可以独立于用户提问持续感知多模态输入流，这与现有的多模态流式模型只在用户提问期间获取单帧或少数几帧图像信息是不同的。通过这种方式，MiniCPM-o 2.6 能够处理需要时序记忆和推理的任务（例如，“球在哪个杯子里？”、“我刚才擦掉了哪些字？”）并原生支持多轮流式对话。

延迟分析

我们提供了纯音频模式下首次响应延迟的具体拆解分析。首次响应延迟指从用户请求结束到模型语音开始播放的延迟。作为参考，GPT-4o 在纯语音模式下的初始响应延迟约为 1.8 秒。MiniCPM-o 2.6 在iPad Pro（M4 芯片）上的初始响应延迟分解如下表所示：

多模态系统提示词

社区在使用文本提示词方面已经积累了丰富的经验，一个好的系统提示可以定义模型的角色、增强其准确性、优化细节表现和令模型聚焦重点。

生成语音回复的端到端全模态模型则面临新的挑战。模型输出的音频特征——如声音、语调、口音和其他细微特征至关重要，但无法仅通过文本传达。为了应对这一挑战，我们提出了多模态系统提示词的概念，允许用户通过声学特征控制模型的声音使其与用户意图相符。

具体来说，多模态系统提示词包括传统的文本系统提示词和用于确定模型声音的音频部分。这一设计使得用户在推理时可以灵活配置声音。用户可以通过提供一段语音样例作为音频系统提示，来完成端到端的声音克隆；还可以通过将音频系统提示留空，基于语言描述要求模型创建一种新声音（例如 “请使用低沉有磁性的声音和我说话”）。

模型训练

MiniCPM-o 2.6 采用多阶段训练以逐步学习新模态的知识，从而避免模态冲突并将各种模态能力整合到一个模型中。整体的训练阶段可以分为预训练、指令微调和偏好对齐阶段。

预训练

我们首先分别对视觉和音频进行预训练以学习每种模态，然后进行全模态预训练以对齐这些模态。

视觉预训练。 我们利用大规模图像-文本对来对齐视觉和语言模块。在此阶段，我们仅更新视觉编码模块，让模型具备基本的图像理解和 OCR 能力。然后，我们在图文交替数据上训练视觉编码器和大语言模型，使模型具备多图理解和多模态上下文学习能力。

音频预训练。 我们使用音频-文本对数据来训练连接部分的权重，以实现音频模态和主干的对齐。为了学习丰富的细粒度语音知识，我们在自然语音数据上进行大规模端到端的预训练，然后根据用户指令对模型进行对齐。

全模态预训练。 在这一阶段，我们结合来自大规模网络视频的视频和音频流，使用 OTDM 机制使模型能够从不同模态中获取和对齐丰富的知识。

全模态指令微调

该阶段使用高质量的多模态数据进行监督微调，包括视觉问答、语音理解、语音生成和多模态流式视频（带音频）理解数据。我们对模型进行全参数微调以统一模型的视觉能力、语音理解和生成能力，以及流式多模态能力，同时增强模型的指令遵循能力。

偏好对齐

最后，MiniCPM-o 2.6 采用 RLAIF-V 技术以进一步提高模型的可信度和综合能力。在这个阶段，模型使用分而治之的策略对不同的回复进行评分以构建偏好数据集，并进行直接偏好优化训练（DPO）。同时，我们还特别将相比图像幻觉更常见的视频幻觉比例降低了63%。我们也使用了 MMPR 等开源偏好数据集来多样化训练数据。

评测

我们充分评估了 MiniCPM-o 2.6 的视觉理解、语音对话和多模态流式交互能力。实验结果表明，该模型在视觉、语音和多模态流式交互能力上的整体表现与 GPT-4o-202405 相当。

MiniCPM-o 2.6 的 iPad Pro 实机演示和 web demo 演示样例：

局限性

  1. 可能不稳定的语音输出。 多模态系统提示词使得更灵活的语音控制和许多有趣的功能成为可能，但也给语音输出的稳定性带来了更多挑战。传统的语音对话模型通过全参数记忆单一输出声音，与之相比，MiniCPM-o 2.6 需要从多模态系统提示词中提取和复制声音。受到该问题影响，语音生成结果可能会存在背景噪音和无意义声音等。
  2. 长语音生成。MiniCPM-o 2.6 原生支持最长 45 秒的单次语音生成，我们通过滑动窗口技术来支持生成更长的语音。模型训练与滑动窗口推理之间的差距可能导致长语音生成过程中的不稳定现象。
  3. 多模态流式交互能力。 作为一项实验性能力，模型的多模态流式交互能力在感知、理解和推理能力上仍然有限。我们期待社区的共同努力构建更优秀和可靠的性能效果。
  4. 网页 demo 高延迟。 用户在使用托管在海外服务器上的网页 demo 时可能会遇到异常的高延迟情况。我们建议在本地部署 demo（例如 4090 GPU 可以流畅运行）或使用合适的网络连接。

参考文献

  1. MiniCPM-V: A GPT-4V Level MLLM on Your Phone. 2024.
  2. RLHF-V: Towards Trustworthy MLLMs via Behavior Alignment from Fine-grained Correctional Human Feedback. CVPR 2024.
  3. RLAIF-V: Aligning MLLMs through Open-Source AI Feedback for Super GPT-4V Trustworthiness. 2024.
  4. LLaVA-UHD: an LMM Perceiving Any Aspect Ratio and High-Resolution Images. ECCV 2024.
  5. Large Multilingual Models Pivot Zero-Shot Multimodal Learning across Languages. ICLR 2024.

Speech Datasets Collection-语音数据集汇总

来源：https://github.com/RevoSpeechTech/speech-datasets-collection

文本翻译数据集：https://opus.nlpl.eu/

openslr 下载：

1）修改为国内地址

例如 aishell，默认的run.sh里写的是www.openslr.org/resources/33，需要改为国内站点，http://openslr.magicdatatech.com/resources/33。

其他目录可以看： http://openslr.magicdatatech.com/resources.php

在使用 wget 下载文件时，如果遇到下载速度慢的问题，可以通过以下几种方法加速下载：

1. 使用多个连接

wget 默认只使用单个连接进行下载，但是你可以使用 aria2 这种工具，它支持多线程下载，显著加速下载速度。aria2 可以通过以下命令安装：

sudo apt install aria2  # For Ubuntu/Debian
brew install aria2  # For macOS

然后你可以使用 aria2 下载文件：

aria2c -x 16 -s 16 <URL>

-x 16 表示使用 16 个连接来下载文件，-s 16 表示将下载源分为 16 个部分。

2. 使用 --limit-rate 限制下载速度

虽然这并不会直接加速下载，但如果下载的速度不稳定，设置一个合理的速率限制可以避免带宽波动影响速度。在命令中加上 --limit-rate 参数：

wget --limit-rate=1m <URL>

这将限制下载速度为每秒 1 MB。

3. 启用断点续传

如果下载过程中断，可以使用 -c 或 --continue 参数来启用断点续传，从中断的地方继续下载：

wget -c <URL>

This is a curated list of open speech datasets for speech-related research (mainly for Automatic Speech Recognition).

Over 110 speech datasets are collected in this repository, and more than 70 datasets can be downloaded directly without further application or registration.

Notice:

  1. This repository does not show corresponding License of each dataset. Basically it’s OK to use these datasets for research purpose only. Please make sure the License is suitable before using for commercial purpose.
  2. Some small-scale speech corpora are not shown here for concision.

1. Data Overview

Dataset AcquisitionSup/UnsupAll Languages (Hours)Mandarin (Hours)English (Hours)
download directlysupervised199k +2110 +34k +
download directlyunsupervised530k +1360 +68k +
download directlytotal729k +3470 +102k +
need applicationsupervised53k +16740 +50k +
need applicationunsupervised60k +12400 +57k +
need applicationtotal113k +29140 +107k +
totalsupervised252k +18850 +84k +
totalunsupervised590k +13760 +125k +
totaltotal842k +32610 +209k +
  • Mandarin here includes Mandarin-English CS corpora.
  • Sup means supervised speech corpus with high-quality transcription.
  • Unsup means unsupervised or weakly-supervised speech corpus.

2. List of ASR corpora

a. datasets can be downloaded directly

idNameLanguageType/DomainPaper LinkData LinkSize (Hours)
1LibrispeechEnglishReading[paper][dataset]960
2TED_LIUM v1EnglishTalks[paper][dataset]118
3TED_LIUM v2EnglishTalks[paper][dataset]207
4TED_LIUM v3EnglishTalks[paper][dataset]452
5MLSMultilingualReading[paper][dataset]50k +
6thchs30MandarinReading[paper][dataset]35
7ST-CMDSMandarinCommands–[dataset]100
8aishellMandarinRecording[paper][dataset]178
9aishell-3MandarinRecording[paper][dataset]85
10aishell-4MandarinMeeting[paper][dataset]120
11aishell-evalMandarinMisc–[dataset]80 +
12PrimewordsMandarinRecording–[dataset]100
13aidatatang_200zhMandarinRecord–[dataset]200
14MagicDataMandarinRecording–[dataset]755
15MagicData-RAMCMandarinConversational[paper][dataset]180
16Heavy Accent CorpusMandarinConversational–[dataset]58 +
17AliMeetingMandarinMeeting[paper][dataset]120
18CN-CelebMandarinMisc[paper][dataset]unsup(274)
19CN-Celeb2MandarinMisc[paper][dataset]unsup(1090)
20The People’s SpeechEnglishMisc[paper][dataset]30k +
21Multilingual TEDxMultilingualTalks[paper][dataset]760 +
22VoxPopuliMultilingualMisc[paper][dataset]sup(1.8k)
unsup(400k)
23Libri-LightEnglishReading[paper][dataset]unsup(60k)
24Common Voice (Multilingual)MultilingualRecording[paper][dataset]sup(15k)
unsup(5k)
25Common Voice (English)EnglishRecording[paper][dataset]sup(2200)
unsup(700)
26JTubeSpeechJapaneseMisc[paper][dataset]1300
27ai4bharat NPTEL2020English(Indian)Lectures–[dataset]weaksup(15.7k)
28open_sttRussianMisc–[dataset]20k +
29ASCENDMandarin-English CSConversational[paper][dataset]10 +
30Crowd-Sourced SpeechMultilingualRecording[paper][dataset]1200 +
31Spoken WikipediaMultilingualRecording[paper][dataset]1000 +
32MuST-CMultilingualTalks[paper][dataset]6000 +
33M-AILABSMultilingualReading–[dataset]1000
34CMU WildernessMultilingualMisc[paper][dataset]unsup(14k)
35Gram_VaaniHindiRecording[paper] [code][dataset]sup(100)
unsup(1k)
36VoxLingua107MultilingualMisc[paper][dataset]unsup(6600 +)
37Kazakh CorpusKazakhRecording[paper] [code][dataset]335
38VoxforgeEnglishRecording–[dataset]130
39TatoebaEnglishRecording–[dataset]200
40IndicWav2VecMultilingualMisc[paper][dataset]unsup(17k +)
41VoxCelebEnglishMisc[paper][dataset]unsup(352)
42VoxCeleb2EnglishMisc[paper][dataset]unsup(2442)
43RuLibrispeechRussianRead–[dataset]98
44MediaSpeechMultilingualMisc[paper][dataset]40
45MUCS 2021 task1MultilingualMisc–[dataset]300
46MUCS 2021 task2MultilingualMisc–[dataset]150
47nicolingua-west-africanMultilingualMisc[paper][dataset]140 +
48Samromur 21.05SamromurMisc[code][dataset] [dataset][dataset]145
49Puebla-NahuatlPuebla-NahuatlMisc[paper][dataset]150 +
50GolosRussianMisc[paper][dataset]1240
51ParlaSpeech-HRCroatianParliament[paper][dataset]1816
52Lyon CorpusFrenchRecording[paper][dataset]185
53Providence CorpusEnglishRecording[paper][dataset]364
54CLARIN Spoken CorporaCzechRecording–[dataset]1120 +
55Czech Parliament PlenaryCzechRecording–[dataset]444
56(Youtube) Regional American CorpusEnglish (Accented)Misc[paper][dataset]29k +
57NISP DatasetMultilingualRecording[paper][dataset]56 +
58Regional African AmericanEnglish (Accented)Recording[paper][dataset]130 +
59Indonesian UnsupIndonesianMisc–[dataset]unsup (3000+)
60Librivox-SpanishSpanishRecording–[dataset]120
61AVSpeechEnglishAudio-Visual[paper][dataset]unsup(4700)
62CMLRMandarinAudio-Visual[paper][dataset]100 +
63Speech Accent ArchiveEnglishAccented[paper][dataset]TBC
64BibleTTSMultilingualTTS[paper][dataset]86
65NST-NorwegianNorwegianRecording–[dataset]540
66NST-DanishDanishRecording–[dataset]500 +
67NST-SwedishSwedishRecording–[dataset]300 +
68NPSCNorwegianParliament[paper][dataset]140
69CI-AVSRCantoneseAudio-Visual[paper][dataset]8 +
70Aalto Finnish ParliamentFinnishParliament[paper][dataset]3100 +
71UserLibriEnglishReading[paper][dataset]–
72Ukrainian SpeechUkrainianMisc–[dataset]1300+
73UCLA-ASR-corpusMultilingualMisc–[dataset]unsup(15k)
sup(9k)
74ReazonSpeechJapaneseMisc[paper] [code][dataset]15k
75BundestagGermanDebate[paper][dataset]sup(610)
unsup(1038)

b. datasets can be downloaded after application

idNameLanguageType/DomainPaper LinkData LinkSize (Hours)
1FisherEnglishConversational[paper][dataset]2000
2WenetSpeechMandarinMisc[paper][dataset]sup(10k)
weaksup(2.4k)
unsup(10k)
3aishell-2MandarinRecording[paper][dataset]1000
4aidatatang_1505zhMandarinRecording–[dataset]1505
5SLT 2021 CSRCMandarinMisc[paper][dataset]400
6GigaSpeechEnglishMisc[paper][dataset]sup(10k)
unsup(23k)
7SPGISpeechEnglishMisc[paper][dataset]5000
8AESRC 2020English (accented)Misc[paper][dataset]160
9LaboroTVSpeechJapaneseMisc[paper][dataset]2000 +
10TAL_CSASRMandarin-English CSLectures–[dataset]587
11ASRU 2019 ASRMandarin-English CSReading–[dataset]700 +
12SEAMEMandarin-English CSRecording[paper][dataset]196
13Fearless StepsEnglishMisc–[dataset]unsup(19k)
14FTSpeechDanishMeeting[paper][dataset]1800 +
15KeSpeechMandarinRecording[paper][dataset]1542
16KsponSpeechKoreanConversational[paper][dataset]969
17RVTE databaseSpanishTV[paper][dataset]800 +
18DiDiSpeechMandarinRecording[paper][dataset]800
19BabelMultilingualTelephone[paper][dataset]1000 +
20National Speech CorpusEnglish (Singapore)Misc[paper][dataset]3000 +
21MyST Children’s SpeechEnglishRecording–[dataset]393
22L2-ARCTICL2 EnglishRecording[paper][dataset]20 +
23JSpeechMultilingualRecording[paper][dataset]1332 +
24LRS2-BBCEnglishAudio-Visual[paper][dataset]220 +
25LRS3-TEDEnglishAudio-Visual[paper][dataset]470 +
26LRS3-LangMultilingualAudio-Visual–[dataset]1300 +
27QASRArabicDialects[paper][dataset]2000 +
28ADI (MGB-5)ArabicDialects[paper][dataset]unsup (3000 +)
29MGB-2ArabicTV[paper][dataset]1200 +
303MASSIVMultilingualAudio-Visual[paper][dataset]sup(310)
unsup(600)
31MDCCCantoneseMisc[paper][dataset]73 +
32Lahjoita PuhettaFinnishMisc[paper][dataset]sup(1600)
unsup(2000)
33SDS-200Swiss GermanDialects[paper][dataset]200
34Modality CorpusMultilingualAudio-Visual[paper][dataset]30 +
35Hindi-Tamil-EnglishMultilingualMisc–[dataset]690
36English-Vietnamese CorpusEnglish, VietnameseMisc[paper][dataset]500+
37OLKAVSKoreanAudio-Visual[paper] [code][dataset]1150

3. References

InternLM-XComposer2.5-OmniLive：用于长期流媒体视频和音频交互的综合多模态人工智能系统

随着人工智能的发展，构建能够实时感知环境、进行复杂推理并记忆的系统，已成为研究者们追求的目标。这不仅要求 AI 系统能处理音频、视频和文本等多模态数据，还需在动态环境中模拟人类感知、推理与记忆的协同能力。然而，现有多模态大语言模型（MLLMs）在这方面仍存在诸多限制，尤其是在同时处理任务时的效率和可扩展性。

为解决这些问题，来自上海人工智能实验室、中国香港中文大学、复旦大学、中国科技大学、清华大学、北京航空航天大学和商汤集团的研究团队推出了一款创新框架——InternLM-XComposer2.5-OmniLive (IXC2.5-OL)。通过模块化设计，该系统将感知、记忆与推理功能解耦，实现了高效的实时多模态交互，为模拟人类认知提供了全新范式。

1.输入：流式的视频数据、流式的音频数据。
2.流式感知：感知模块对输入进行感知理解。
3.记忆：将感知到的数据作为记忆，写入到记忆池。
4.检索生成：从记忆池里检索到相关记忆，进行推理，得到输出。

(1) 一个流式感知模块支持流式视频和音频输入；(2) 一个多模态长时记忆模块，将短期记忆压缩成长期记忆；以及 (3) 一个推理模块，根据检索到的记忆回答查询。

现有系统的局限性

1） 感知与推理的割裂 大部分主流模型采用序列到序列的架构，这种设计导致系统在处理多模态数据时，需要在感知和推理间频繁切换。例如，模型在分析视频流时可能会停顿以处理文本任务，类似于“人在观察时无法思考”的状态。

2） 数据存储的低效 当前模型依赖扩展上下文窗口存储历史数据，但多模态数据（如视频流和音频流）会在短时间内生成海量信息，这种方法难以支撑长时间的数据积累。例如，一个小时的视频可能转化为数百万个标记，这对存储和检索都是巨大的挑战。

3） 模型架构的单一性 现有方法如 Mini-Omni 和 VideoLLM-Online，虽然尝试填补文本与视频理解之间的鸿沟，但因过度依赖顺序处理和有限的记忆整合能力，难以达到人类级别的认知效果。

InternLM-XComposer2.5-OmniLive 的创新设计

IXC2.5-OL 通过模块化架构模拟人脑，将感知、记忆和推理分解为三个独立但协同工作的模块：

  • 流式感知模块（Streaming Perception Module）
  • 多模态长时记忆模块（Multimodal Long Memory Module）
  • 推理模块（Reasoning Module）

1） 流式感知模块：实时数据捕获与编码

该模块处理实时音频和视频流，使用先进模型如 Whisper（音频编码）和 OpenAI CLIP-L/14（视频感知）提取高维特征。负责处理视频和音频数据，因此包含了对应的视频感知模块和音频转换模块。

视频感知模块：使用的OpenAI的CLIP-L/14，用于将每一帧视频，也就是图片，编码为语义特征。向多模态长时记忆模块提供粗粒度的视觉信息。 它处理实时视频输入流，并将每一帧编码成语义特征。 为了提高效率，我们在实践中使用了 OpenAI CLIP-L/14
然后直接将语义特征送给记忆模块。

音频感知模块：万物都能token。类似VLM的处理，包含音频编码器(Whisper)、音频投影器、小型语言模型(Qwen2-1.8B)

语言模型的输出有两个：音频类别；音频转文本。

  • 任务：捕获并编码关键信息，如语音内容、环境音等，直接存入记忆模块。
  • 应用：音视频会议的实时字幕生成、智能监控中异常事件识别。

包含一个音频编码器、一个音频投影器和一个小语言模型 (SLM)。 音频编码器将输入音频样本编码成高维特征，音频投影器进一步将特征映射到 SLM 的输入空间。 SLM 输出音频的类别（例如，笑声、鼓掌声或雨声）以及音频中的自然语言（即自动语音识别结果）。 在实践中，我们使用 Whisper模型作为音频编码器，并使用 Qwen2-1.8B  作为 SLM。

2） 多模态长时记忆模块：高效存储与检索

多模态长时记忆模块是处理极长视频输入的核心设计，它帮助推理模块摆脱其上下文窗口中数百万个符元。 它与 VideoStreaming 的思想类似，即将视频片段编码成短期记忆，并将其整合到长期记忆中。 给定问题后，它会为推理模块检索最相关的视频片段。

此模块的核心功能是将短期记忆压缩为高效的长期表示。

  • 方法：通过算法优化，能够将数百万帧视频浓缩成紧凑的记忆单元，有效减少存储成本并提升检索准确性。
  • 优势：大幅降低计算资源的占用，为实时交互提供支持。

多模态推理所占用的token是非常多的，因为要对一张图片进行动态切分。所以必须考虑记忆的存储。依赖长上下文来存储历史信息对于长期使用而言是不切实际的。这里采用了类似Mem0的方法，压缩-检索方法。能够仅保留与查询相关的token，去掉冗余的token。

方法：将视频片段编码为短期记忆，整合为长期记忆。检索到最相关的视频片段作为上下文。

1.视频片段压缩：对视频片段做空间下采样编码为短期记忆和全局记忆。
2.记忆整合：短期记忆是视频片段的详细信息。为了得到长期记忆，对短期和全局记忆整合。
3.视频片段检索：接收到query后，将其编码到记忆的特征空间，具体编码过程是将长期记忆和query作为压缩器的输入，取最后的token的隐藏状态作为query特征。使用query特征计算与每个视频片段的全局特征的相似性，得到最相关的视频片段和记忆信息。

视频片段检索。 当用户提出问题时，多模态长期记忆模块检索与问题相关的视频片段，并将视频片段及其短期记忆提供给推理模块。 在实践中，我们首先将问题编码到记忆的特征空间。 我们将长期记忆与标记化的提问连接起来作为压缩器的输入，并将输出特征的最后一个符元视为与记忆空间对齐的问题特征。 然后，我们计算问题特征与每个视频的全局记忆之间的相似度，并为推理模块选择最相关的片段。

3） 推理模块：信息检索与复杂任务执行

推理模块通过检索记忆模块中的相关信息，快速完成复杂任务，如回答用户问题或执行指令。

  • 特点：实现感知、推理与记忆的同步协作，避免传统系统中各模块割裂运行的效率低下问题。
  • 应用：智能问答系统、实时决策支持。

系统流程

系统包括前端、SRS服务器和后端服务器。

前端。 前端应用程序使用JavaScript开发，能够启用摄像头和麦克风来捕获视频和音频流输入，然后将其推送到SRS服务器。 同时，它与后端建立WebSocket连接，以监听音频输出和中断信号。 接收到音频数据后，前端会播放音频。 接收到中断信号后，前端会暂停音频播放并丢弃待处理的音频。

SRS 服务器。 SRS（Simple Realtime Server）是一个简单高效的实时视频服务器，能够支持多种实时流协议，例如RTMP、WebRTC、HLS、HTTP-FLV、SRT等。 它以其可靠接收和传输音频和视频流的能力而闻名。

后端服务器。 与前端建立WebSocket连接后，后端将从SRS服务器拉取流，并启动单独的线程来读取音频和视频。

音频读取线程将音频流分割成4096位的块，并将它们放入音频队列中。 语音活动检测（VAD）[40]线程持续从音频队列读取数据，并检测语音活动的开始和结束。 检测到语音活动开始时，后端会向前端发送中断信号以暂停当前正在播放的音频，同时向视频处理过程发送备份信号，指示其保存当前内存状态。 检测到语音活动结束时，整个语音片段将被放入ASR待处理队列中。 自动语音识别 (ASR) 线程持续从ASR 任务队列读取音频片段，对其进行背景噪声分类和语音识别，然后将结果入队到大语言模型 (LLM) 任务队列供 LLM 使用。

视频读取线程以每秒 1 帧的速度读取视频帧，并将它们入队到帧队列。 压缩器进程从队列中读取视频帧，识别它们，提取相关内存并存储。 接收到来自语音活动检测 (VAD) 线程的备份信号后，压缩器进程将保存当前内存状态以备将来检索。

LLM 进程从LLM 任务队列读取文本，并确定它是否是需要模型响应的指令。 对于识别为指令的文本，压缩器进程将使用当前指令和备份的内存执行内存接地，以检索与指令相关的内存。 然后，LLM 进程将根据检索到的内存和指令生成响应，并将生成的输出入队到文本转语音 (TTS) 任务队列。 一个额外的 TTS 线程（例如，F5-TTS [20]，MeloTTS [154]）将把来自TTS 任务队列的文本转换成音频并发送到前端。

未来的改进点：
1.编码器优化：选择垂直领域的编码器，提升视频和音频理解能力。
2.多模态的长期记忆模块：这方面是核心。可以参考mem0将视频和音频记忆存储到多模态知识图谱中，还有针对每个用户的键值数据库，向量数据库，图形数据库等。这样才能更为个性化，增强可用性。

性能测试与研究成果

1） 卓越的基准测试成绩IXC2.5-OL 在多项国际权威测试中表现出色：

  • 音频处理
    • 在 Wenetspeech 中文测试集上，语音识别的词错误率（WER）为 7.8%，远超 VITA 和 Mini-Omni。
    • 在 LibriSpeech 英文基准上，“清晰”环境下的 WER 为 2.5%，而在噪声环境中也达到了 9.2% 的优秀成绩。
  • 视频处理
    • 在 MLVU 和 StreamingBench 的视频推理与异常识别测试中，分别取得了 66.2% 和 73.79% 的评分，创下行业新高。

2） 高效的多模态处理能力流式感知模块通过压缩和记忆机制，实现了对多模态数据的实时处理。系统能够同时处理数百万标记，检索速度快且数据损失率低，适合需要长期交互的动态环境。

3） 开放性与易用性研究团队已将全部代码、模型及推理框架公开，开发者可以快速集成并根据实际需求进行优化。

实际应用场景

1） 智能监控与异常检测 IXC2.5-OL 的实时视频处理能力，适用于智能监控系统中异常事件的自动识别，如公共场所的行为异常分析。

2） 智能会议助手 通过实时感知音频与视频流，该框架可为企业提供智能会议助手服务，包括实时记录、摘要生成以及任务提醒。

3） 教育与学习 在在线教育中，IXC2.5-OL 可作为虚拟导师，实时分析学习者的行为反馈并调整教学策略，同时记录学习数据以优化课程内容。

4） 医疗辅助诊断 长时记忆模块能够存储并快速检索患者的历史病历数据，结合实时感知与推理功能，辅助医生做出准确诊断。

结语

IXC2.5-OL 的模块化设计从本质上解决了传统系统的诸多局限：

  • 感知、记忆与推理的分工协作：模拟人脑的处理方式，确保了系统的高效性与可扩展性。
  • 实时多模态交互：实现了音频、视频和文本的同步处理，为动态环境中的复杂应用提供了解决方案。
  • 高效存储与检索：通过记忆压缩机制，将长期多模态交互的计算与存储成本降至最低。

随着 AI 技术的进一步发展，IXC2.5-OL 不仅将继续推动人机交互的革新，还为构建更接近人类认知的 AI 系统提供了重要参考。

CosyVoice-2.0 语音生成大模型升级

CosyVoice 2: Scalable Streaming Speech Synthesis with Large Language Models

[Paper] [Code] [Studio] [HuggingFace] [ModelScope]

CosyVoice是阿里巴巴通义实验室语音团队于今年7月份开源的语音生成大模型，依托大模型技术，实现自然流畅的语音生成体验。与传统语音生成技术相比，CosyVoice具有韵律自然、音色逼真等特点。自开源以来，CosyVoice凭借高品质的多语言语音生成、零样本语音生成、跨语言语音生成、富文本和自然语言的细粒度控制能力获得了广大社区开发者们的喜爱和支持。

CosyVoice迎来全面升级2.0版本，提供更准、更稳、更快、 更好的语音生成能力。

超低延迟：CosyVoice 2.0提出了离线和流式一体化建模的语音生成大模型技术，支持双向流式语音合成，在基本不损失效果的情况下首包合成延迟可以达到150ms。

高准确度：CosyVoice 2.0合成音频的发音错误相比于CosyVoice 1.0相对下降30%～50%，在Seed-TTS测试集的hard测试集上取得当前最低的字错误率。合成绕口令、多音字、生僻字上具有明显的提升。

强稳定性：CosyVoice 2.0在零样本语音生成和跨语言语音合成上能够出色地保证音色一致性，特别是跨语言语音合成相比于1.0版本具有明显提升。

自然体验：CosyVoice 2.0合成音频的韵律、音质、情感匹配相比于1.0具有明显提升。MOS评测分从5.4提升到5.53(相同评测某商业化语音合成大模型为5.52)。同时, CosyVoice 2.0对于指令可控的音频生成也进行了升级，支持更多细粒度的情感控制，以及方言口音控制。

▎核心模型与算法亮点

CosyVoice 2.0采用和CosyVoice 1一致的LLM+FM的建模框架，但是在具体实现上进行了如下几个要点的算法优化：

1）LLM backbone：CosyVoice 2.0采用预训练好的文本基座大模型（Qwen2.5-0.5B）替换了原来的Text Encoder + random Transformer的结构。采用LLM进行初始化能够更好的进行文本的语义建模，使得在可控生成，音频和文本的情感匹配，多音字发音上会有明显的收益。

2）FSQ Speech Tokenizer：CosyVoice 1.0采用VQ来提取Supervised semantic codec，码本大小为4096，但是有效码本只有963。CosyVoice 2.0采用了FSQ替换VQ，训练了6561的码本，并且码本100%激活。FSQ-Speech Tokenizer的使用使得CosyVoice 2.0在发音准确性上有明显提升。

3）离线和流式一体化建模方案：目前主流的语音生成大模型(CosyVoice， F5-TTS，MaskGCT，GPT-SoViTs等)均不支持流式语音生成。CosyVoice 2.0提出了如图2所示的离线和流式一体化建模方案，使得LLM和FM均支持流式推理，接收5个文字就可以合成首包音频，延迟大致在150ms。同时合成音质相比于离线合成基本无损。

4）指令可控的音频生成能力升级：优化后的 CosyVoice 2.0 在基模型和指令模型的整合上取得了重要进展，不仅延续了对情感、说话风格和细粒度控制指令的支持，还新增了中文指令的处理能力。其指令控制功能的扩展尤为显著，现已支持多种主要方言，包括粤语、四川话、郑州话、天津话和长沙话等，为用户提供了更丰富的语言选择。此外，CosyVoice 2.0 也引入了角色扮演的功能，如能够模仿机器人、小猪佩奇的风格讲话等。这些功能的提升还伴随着发音准确性和音色一致性的显著改善，为用户带来了更自然和生动的语音体验。

▎支持的功能：

🎧 音色复刻：语音克隆/Zero-shot In-context Generation（语音续写）

🎧 多语言合成：一个文本，分别用中文，英文，日语，韩语多个语言来说

🎧 混合语种合成：支持 文本中同时出现 中文/英文/日语/韩语等。

🎧 多情感合成：#厌恶# 今天又是打工人的一天；#恐惧#啊已经9点了，怎么办，我要迟到了！#愤怒#都怪昨晚他非要拉我看电影，害我睡晚了！#平静#今年的年假都用光了，#开心#不过没关系，马上要放假啦！

🎧 不同指令合成：

（神秘<|endofprompt|>古老城堡笼罩在神秘的雾气中，吸引着无数冒险者前去探索奥秘。

小猪佩奇<|endofprompt|>在忙碌之余，我和朋友像小猪佩奇一样，常去公园享受简单的快乐。

四川话<|endofprompt|>而这些幽默的瞬间仿佛让我置身于四川的宽窄巷子，享受那份安逸。

用伤心的语气说<|endofprompt|>收到拒信的那一刻，我感到无比伤心。虽然知道失败是成长的一部分，但仍然难以掩饰心中的失落。

慢速<|endofprompt|>听着轻柔的音乐，我在画布上慢慢地涂抹色彩，让每一笔都充满灵感和思考。

追求卓越不是终点，它需要你每天都<strong>付出</strong>和<strong>精进</strong>，最终才能达到巅峰。）

🎧 绕口令：黑化肥发灰，灰化肥发黑，黑化肥挥发会发黑，灰化肥挥发会发灰。

🎧 生僻字：煢煢孑立 沆瀣一氣 踽踽獨行 醍醐灌頂 綿綿瓜瓞 奉為圭臬 龍行龘龘

🎧 多音字：天气暖和，小王在家和泥抹墙；

Demo体验：

>>>创空间地址：https://www.modelscope.cn/studios/iic/CosyVoice2-0.5B

可以支持用户上传音频文件或录音方式进行语音复刻。同时支持流式推理，用户无需等待全部音频合成完毕即可体验效果。

CosyVoice 2支持音色克隆以及自然语言控制的音频生成，可以选择相应的推理模式。

1）3s极速复刻

  • 输入待合成文案
  • 选择是否流式推理，流式推理具有更低的延迟，离线推理具有更好的上限效果
  • 上传prompt音频，或者录制prompt音频
  • 点击生成音频，等待一会儿就会听到合成的音频。

2）自然语言控制

  • 输入待合成文案
  • 上传prompt音频，或者录制prompt音频
  • 输入instruct文本：例如“用粤语说这句话”，“用开心的语气说”，“模仿机器人的声音”等
  • 点击生成音频，等待一会儿就会听到合成的音频。

补充：v1版本

CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens

CosyVoice 1.0: Demos; Paper; Modelscope

V1版本cosyvoice

论文解读：

摘要

 CosyVoice，这是一种基于监督离散语音标记的多语言语音合成模型。通过使用两种流行的生成模型：语言模型 （LM） 和流匹配进行渐进式语义解码，CosyVoice 在语音上下文学习中实现了高韵律自然度、内容一致性和说话人相似性。最近，多模态大型语言模型 （LLMs，其中响应延迟和语音合成的实时因子在交互体验中起着至关重要的作用。因此，在这项工作中，我们引入了一种改进的流式语音合成模型 CosyVoice 2，并进行了全面和系统的优化。首先，我们引入有限标量量化来提高语音标记的码本利用率。其次，我们简化了文本-语音 LM 的模型架构，以便可以直接使用预训练的 LLMs 作为主干。此外，我们还设计了一个 chunk-aware 【数据块感知】因果流匹配模型，以适应不同的 synthesis 场景。因此，我们可以在单个模型中执行 streaming 和非 streaming 合成。通过在大规模多语言数据集上进行训练，CosyVoice 2 实现了与人类相当的合成质量，具有非常低的响应延迟和实时系数。

CosyVoice 2，这是一种流式零样本 TTS 模型，具有改进的韵律自然度、内容一致性和说话人相似性。我们的贡献包括：

  • 将流式和非流式合成统一在一个框架中，并提出统一的文本语音语言模型和块感知因果流匹配模型，与离线模式相比，实现了无损流式合成
  • 通过移除文本编码器和说话人嵌入来简化 LM 架构，允许预先训练的文本大型语言模型 （LLMs） 作为主干，增强上下文理解。
  • 用有限标量量化 （FSQ） 替换语音分词器中的矢量量化 （VQ），提高码本利用率并捕获更多语音信息。
  • 升级指示式 TTS 容量以支持更多指令，包括情感、口音、角色风格和精细控制。在 CosyVoice 2 中，指令和零镜头容量集成到一个模型中，实现更通用、更生动的合成。

通过以上系统性的修改和优化，CosyVoice 2 实现了人偶校验的合成质量，并且在 streaming 模式下几乎无损。统一框架放宽了部署要求，使单个模型能够同时支持流式和非流式合成。升级后的 instructed TTS 容量为用户生成各种语音提供了更强大、更轻松的方法。此外，块感知流匹配设计也可以应用于 NAR TTS 模型，这表明了流式 NAR 模型的潜力。

CosyVoice 2

图 1：CosyVoice 2 概述。（a） 演示了监督式语音分词器，其中虚线模块仅在训练阶段使用。（b） 是用于流式处理和非流式处理合成的统一文本-语音语言模型。虚线表示推理阶段的自回归解码。（c） 说明了在概率密度路径上时间步t对说话人嵌入 𝐯、语义标记 μ、掩蔽语音特征 X~和中间状态 Xt的因果流匹配模型条件。

CosyVoice 2 建立在与前代 类似的设计理念之上，将语音信号的语义和声学信息分离出来，并独立建模。语音生成过程被重新定义为一个渐进的语义解码过程，其中条件信息逐渐被纳入。具体来说，文本-语音语言模型 （LM） 只关注语义信息，将高级文本标记解码为监督式语义语音标记。在 Flow Matching 模型中，通过说话人嵌入和参考语音引入声学细节（例如音色），将语音令牌转换为给定说话人的 Mel 频谱。最后，预先训练的声码器模型恢复了相位，将 Mel 频谱转换回原始音频信号。下面将从文本分词器、监督语义语音分词器、流式/非流式合成的统一文本语音 LM 和分块感知流式匹配模型五个方面介绍 CosyVoice 2 的细节和流式合成的修改。

Text Tokenizer

CosyVoice 2 直接使用原始文本作为输入，并使用基于 BPE 的文本分词器进行分词。这消除了对通过字素到音素 （g2p） 转换获取音素的前端模型的需求。这种方法不仅简化了数据预处理工作流程，还使模型能够以端到端的方式学习各种上下文中单词的发音。与文本 LLMs，CosyVoice 2 屏蔽了一对多的分词。这可以防止令牌的发音变得过长，并减少由数据稀疏引起的极端情况。具体来说，如果 BPE 令牌编码多个中文字符，它将被屏蔽掉，并且每个字符将在分词化过程中单独编码。其他语言（如英语、日语和韩语）不受特殊处理。

Supervised Semantic Speech Tokenizer

将有限标量量化 （FSQ） 模块插入 SenseVoice-Large ASR 模型的编码器中。在训练阶段，输入语音 X 通过 获得 Encoder1 中间表示，其中 Encoder1 由六个带有旋转位置嵌入 的 Transformer 块组成。然后，将中间表示馈送到 FSQ 模块进行量化，并将量化表示传递给 SenseVoice-Large 模块的其余部分，包括 Encoder2 和 ASR⁢Decoder ，以预测相应文本标记的后验概率。

补充FSQ：FINITE SCALAR QUANTIZATION: VQ-VAE MADE SIMPLE

2023 年 google 发表的文章，可以用于文本、视频生成领域中。提出一种称为有限标量量化（FSQ）的简单方案来替换 VQ-VAEs 中的向量量化（VQ）。解决传统 VQ 中的两个主要问题：需要避免 codebook collapse （码码本坍塌：就是大部分codebook elements都没有被用到，多个码字可能会变得非常相似，甚至完全相同。）的辅助损失【在损失函数中添加一个辅助损失项，迫使码字之间保持一定的距离，或者保持其多样性】、大 codebook size 情况下码本利用率低。FSQ 作用：消除辅助损失、提高码本利用率、作为 VQ 的可替换组件。

传统的编码器所得到的表征向量z中的每一个元素(标量)的值并没有一个明确的边界，也就是说z在特征空间中不受任何约束。那么，作者就想到了为z中的每个标量都设定好取值的范围和能够取值的个数。假设有一个d维特征向量z，将每个标量zi​都限制只能取L个值，将zi​→⌊L/2⌋tanh(zi​)然后四舍五入为一个整数值。例如图中所示，取d=3，L=3，代表C={(−1,−1,−1),(−1,−1,0),…,(1,1,1)}，一共有27种组合，即一个3维向量的每个标量都有三种值的取法。值得一提的是，FSQ中的codebook不像VQ-VAE那样是显式存在的，而是隐式的，编码器直接输出量化后的特征向量z^。因此，FSQ也就没有了VQ-VAE损失的后两项了。

FSQ 的优点是不会遭受码本坍塌（codebook collapse），并且不需要 VQ 中为了避免码本坍塌而使用的复杂机制（承诺损失、码本重新播种、码分割、熵惩罚等）

在 FSQ 模块中，首先 H 将中间表示投影到 D 维低秩空间中，并且每个维度的值通过有界四舍五入操作ROUND 量化到区间[−K,K]。然后，量化后的低秩表示 Hˉ 被投影回原始维度 H~，以供后续模块使用。

在训练阶段， straight-through estimation用于近似 FSQ 模块 和 Encoder1 的梯度。 语音标记 μi 可以通过计算 (2⁢K+1) -ary 系统中量化的低秩表示 h¯i 的索引来获得：

语音分词器以 25 Hz 的令牌速率工作，即每秒 25 个语音令牌。

Unified Text-Speech Language Model

CosyVoice 2 中，使用预训练的文本Qwen2.5-0.5B 作为文本-语音语言模型，以输入文本作为提示自动回归生成语音标记。与其他 LM 类似，文本语音 LM 也采用下一个标记预测方案进行训练，如图 1（b） 所示。与之前的 CosyVoice 不同，我们去除了说话人嵌入，以避免信息泄漏。更重要的是，我们发现这种话语级别的向量不仅包含说话人身份信息，还包含语言和副语言信息，这会影响文本-语音语言模型的韵律自然性和跨语言能力。此外，我们还放弃了之前 CosyVoice 的文本编码器，因为我们发现 Qwen2.5-0.5B 模型已经足够强大，可以对齐文本和语音标记，因此不再需要文本编码器。

受益于文本语音 LM 的简单性，我们可以为流式和非流式合成构建一个统一的模型。在这里，“流模式”意味着输入文本以连续流的形式接收，而不是提前被称为完整的句子。在 CosyVoice 2 中，推流模式和非推流模式的区别只是 LM 的序列构建方式：

  • 对于非流模式，“序列开始”S、所有文本标记、“语音转换”T标记、所有语音标记和“序列结束”E按顺序连接，如图 2 底部所示。Ignore 标记表示忽略它们的损失，同时最小化交叉熵目标函数。
  • 在流式模式下，我们将文本和语音标记按预定义的比例 N:M 混合，即每 N 个文本标记后跟着 M 个语音标记，如图 2 的顶部所示。如果下一个标记是文本标记，模型会预测一个填充标记（而不是文本标记），该填充标记表示接下来的 N个文本标记应该在推理阶段进行连接。【方便推理时候获取输出的语义token】，当文本标记用尽时，“语音轮次”标记 T和剩余的语音标记会被顺序连接，形成流式模式下的混合文本-语音标记序列。

通过同时在上述两个序列上训练文本-语音 LM，我们可以在单个统一模型中执行流式和非流式语音生成。在实际场景中，例如说话人微调 （SFT） 和上下文学习 （ICL），推理序列有所不同，如下所示：

 ICL，非流式：在 ICL 中，LM 需要来自参考音频的提示文本和语音标记，以模仿重音、韵律、情感和风格。在非流式处理模式下，提示和要合成的文本标记连接为整个实体，提示语音标记被视为预先生成的结果并固定：“S 、 prompt_text、 text 、T、 prompt_speech”。LM 的自回归生成从此类序列开始，直到检测到 “End of sequence” 标记。

 ICL，流式处理：在此方案中，我们假设要生成的文本是已知的，并且语音令牌应以流式处理方式生成。同样，我们将 prompt 和 to-generate 文本视为一个整体。然后，我们将其与提示语音标记混合，比例为 N ： M ： “S， mixed_text_speech，T，remaining_speech”。如果文本长度大于提示语音 Token 的长度，LM 将生成 “filling token”。在这种情况下，我们手动填充 N个文本标记。如果文本令牌用完，将添加“Turn of speech” T 令牌。在流式处理模式下，我们为每个 M 令牌返回生成结果，直到检测到 E为止。

SFT，非流式：在 SFT 场景中，LM 针对特定说话人进行微调，不再需要提示文本和语音。因此，初始序列非常简单：“ S， 文本 ，T ”。从此开始，文本-语音 LM 可以自动回归生成语音标记，直到 E结束。

SFT, Streaming: 在 SFT 的流模式下，我们从以下序列开始语音生成：“ S,first_N_text”。然后，LM 将生成 M 语音令牌，我们手动填充下一N个 文本令牌。我们重复上述过程，直到所有文本标记都用完，然后添加 T 。注意，speech-to-speech多模态大语言模型也可以采用这种模式，以获得极低的延迟。

Chunk-aware Flow Matching

采用梅尔频谱图作为声学特征，帧率为 50 Hz，采样率为 24000。由于语音令牌和 Mel 特征之间的帧速率不匹配，我们以 2 的比率对语音令牌进行上采样，以匹配 Mel 频谱图的帧速率。在上采样操作之前，我们添加了一个额外的前瞻卷积层，以便为以下因果模块提供未来信息。前瞻层由右填充的一维卷积实现，其填充大小为  P， 卷积核大小为 P+1 。在此之后，几个chunk-aware causal Transformer blocks来对齐语音标记的表示空间以匹配声学特征。

随后，我们的目标是将语音标记进一步解码为由说话人嵌入和参考语音指定的 Mel 频谱图。 为了实现这一目标，我们采用条件流匹配 （CFM） 模型对 Mel 频谱图进行采样，给定语音标记、参考语音和说话人嵌入作为条件。 在 CFM 模型中，目标 Mel 三维频谱图的分布由来自先验分布 p0⁢(X) 和数据分布 q⁢(X) 的概率密度路径 来描述。概率密度路径可以由瞬态向量场定义。 为了提高采样效率，我们采用最佳传输 （OT） 流来匹配矢量场 。

在训练阶段，掩码 Mel 频谱图是通过随机掩码 70% 到 100% 的最终帧来获得的 X1 。至于推论，它由从参考语音中提取的 Mel 频谱图提供。 通过最小化预测 ODE 和真实 ODE 之间的 L1 损失，我们可以按如下方式优化 UNet 参数 θ ：

因果流匹配模型：当前的流匹配模型总是以离线模式工作，即只有在生成所有语音标记后，Mel谱图才能被采样，这对于流式合成并不友好。为了解决这个问题，我们将多步流估计视为一个堆叠的深度神经网络，该网络重复使用 UNet 十次。因此，通过使展开的神经网络具有因果性，我们可以将其应用于流式合成。我们构造了四个掩码，以满足不同的应用情况：

Non-causal Mask 

非因果掩码 （Non-causal Mask） 用于离线模式，通过满足所有条件帧来实现最佳性能。非因果掩码适用于对延迟不敏感的情况。

Full-causal Mask

 全因果掩码 （Full-causal Mask） 适用于需要极低延迟的场景，其中只能观看过去的帧。

Chunk-M Mask

可以通过牺牲更多延迟来实现离线模式的近似性能，这可用于级联生成 Chunk 以获得更好的性能。

Chunk-2⁢M Mask

可以通过牺牲更多延迟来实现离线模式的近似性能，这可用于级联生成 Chunk 以获得更好的性能。

对于小批量中的每个训练案例，我们从均匀分布下的上述四个掩码中随机采样一个掩码。这样，一个流匹配模型可以兼容不同的场景，降低部署复杂度。这种块感知训练的另一个优点是，具有更多上下文的掩码可以作为具有较少上下文的掩码的教师，受益于隐含的自我蒸馏方案。

流式处理模式的延迟分析

首包延迟是流式合成模型的一个重要指标，它显着影响用户体验，尤其是在基于 LLM 的语音聊天应用程序中，例如 GPT-4o 。 在 TTS 的上下文中，要合成的文本是事先已知的，延迟来自语音令牌生成、梅尔频谱图重建和波形合成等方面。 因此，CosyVoice 2 的首包延迟 LT⁢T⁢S 可以得到如下：

其中 dl⁢m ，表示 LM 生成一个语音词元的计算时间， df⁢m 表示 Flow Matching 模型生成一个语音词元的梅尔频谱图帧的计算时间， dv⁢o⁢c 表示声码器合成一个语音词元对应的波形的计算时间。 在基于 LLM 的语音聊天上下文中，还应考虑 first-package-required 文本的长度，first-package 延迟 LC⁢h⁢a⁢t 如下：

其中 dl⁢l⁢m 表示 LLM 生成一个文本 Token 的计算时间。请注意，由于多字符标记在 CosyVoice 2 的文本分词器中被屏蔽，因此文本 LLMs总是比 CosyVoice 2 使用的文本标记编码更长的原始文本。因此，第一个包的延迟 LC⁢h⁢a⁢t 必须低于 N⋅dl⁢l⁢m 和  LT⁢T⁢S的和。

Instructed Generation

为了增强 CosyVoice 2 的可控性，我们将 indirected 数据集集成到基础训练集中。我们收集了 1500 小时的定向训练数据，其中包括自然语言指令和细粒度指令，如表所示。对于自然语言指令，我们在要合成的输入文本之前预置自然语言描述和特殊结束标记“<|endofprompt|>”。这些描述涵盖情感、语速、角色扮演和方言等方面。对于细粒度的指令，我们在文本标记之间插入人声爆发，使用“[laughter]”和“[breath]”等标记。此外，我们将 vocal feature 标签应用于短语;例如，“<strong>XXX</strong>”表示强调某些词，而“<laughter>XXX</laughter>”表示笑声说话。

Multi-Speaker Fine-tuning

在特定说话人 （SFT） 上微调预训练模型可以进一步提高生成质量和说话人相似度。在本报告中，我们介绍了多扬声器微调 （mSFT），其中预训练模型同时在多扬声器上进行微调，而不是在单个扬声器上进行微调。这种方法可确保跨多个说话人的全面韵律和发音覆盖，并减少预训练模型可能出现的灾难性遗忘。为避免不同说话人之间的音色混淆，我们在特定说话人的输入文本前加上说话人提示标记“Speaker A<|endofprompt|>”。如果训练样本未标记为说话人，则使用特殊标签“unknown<|endofprompt|>”。在整个多说话人微调过程中，学习率设置为 1e-5。

Reinforcement Learning for SFT

强化学习是大型语言模型训练中常用的方法，它可以使 LM 输出与人类偏好保持一致。 在 CosyVoice 2 中，我们采用 ASR 系统的说话人相似度 （SS） 和识别词错误率 （WER） 作为奖励函数，以提高微调阶段的说话人相似度和发音准确性。我们使用 WER 和 SS 来区分首选样品 xw 和不合格样品 xl ，并通过直接偏好优化 （DPO）  优化 TTS 系统，如下所示：

Experimental

Training Data for Speech Tokenizer

一个 200000 小时的数据集用于训练语音分词器，并将规范化转录作为标签。详细的数据信息如表所示。训练数据来自三种不同的资源：开源 ASR 数据集、内部工业数据集和 TTS 生成数据集。虽然我们在训练语音分词器时只使用了中英文数据，如表 所示，但随后的实验表明，语音分词器对其他语言具有零镜头能力。它还可用于日语和韩语等语言的语音合成。

Training Data for CosyVoice 2

CosyVoice 2 与之前的版本共享相同的训练数据。我们首先使用内部语音处理工具收集纯语音数据。随后，Paraformer 和 SenseVoice分别用于生成中文和其他语言的伪文本标签。我们还采用内部力对齐模型来过滤掉低质量的数据并提高标点符号的准确性。表 3 提供了数据详细信息：

Experimental Results

Evaluations on Speech Tokenizer

理想的语音分词器应该有效地利用码本，以高保真度保留信息，并展示说话人的独立性。在这部分，我们从四个方面评估我们的监督语音分词器：1） 码本利用率;2） 整个编码器内的 ASR 错误率;3） 不同说话人的令牌可视化;4） 说话人识别培训。表 4 显示了码簿利用率和 ASR 错误率。事实证明，基于 FSQ 的分词器充分利用了码本，从 ASR 方面维护了更有效的信息，表明 FSQ 维护的语义信息更多。

Comparison Results with Baselines：

我们首先在有限的英语文本域上评估了我们的 CosyVoice 2 模型，并将其与几个开源模型进行了比较，例如 ChatTTS、GPT-SoVITs 、OpenVoice、ParlerTTS、EmotiVoice 及其前身 CosyVoice。客观结果如表 5 所示，包括内容一致性 （WER）、语音质量 （NMOS） 和说话人相似度 （SS）。从表中我们可以看到，CosyVoice 2 在 Librispeech 测试清理集上实现了最先进的性能，超越了所有基线模型和所有评估指标。值得注意的是，CosyVoice 2 甚至表现出比人类话语更高的内容一致性、语音质量和说话人相似度，这表明其人类奇偶校验的合成质量。

表 5：LibriSpeech 测试清理基线子集和 CosyVoice 2 上的内容一致性 （WER）、说话人相似度 （SS） 和语音质量 （NMOS） 结果。Whisper-Large V3 用作 ASR 模型，并且在 WER 计算之前排除标点符号。

Modular Ablation Study：

我们对文本语音语言模型进行了模块化消融研究，以评估我们的修改的影响，包括 LLM 初始化、删除说话人嵌入和利用 FSQ。表 7 展示了 CosyVoice 2 在前代产品的基础上的逐步发展。通过将随机初始化的语言模型替换为预训练的 LLM），我们在 test-zh 和 test-hard 集上的内容一致性分别实现了 18.46% 和 15.40% 的相对改进 。接下来，我们从文本转语音语言模型中删除了说话人嵌入，这有助于防止上下文学习中的信息泄露和干扰。这一变化导致内容错误显著减少，同时保持说话人相似性，表明内容信息主要由 LM 建模，说话人信息主要由流匹配模型恢复。最后，通过将 VQ 替换为 FSQ，我们实现了 CosyVoice 2 模型，注意到更高的内容一致性和不变的说话人相似度。通过充分利用码本，FSQ 可以捕获更多的内容信息和上下文变化，从而更好地协调文本和语音令牌。此外，我们通过在基于 FSQ 的语音标记器的训练过程中将音高损失作为约束条件进行了比较实验。我们发现这种方法可以提高下游 TTS 任务的性能，如表 7 的最后一行所示。在 CosyVoice 的未来版本中，我们计划进行更详细的实验和分析。

Results on Japanese and Korean Benchmarks

除了中文和英文，CosyVoice 2 还支持日语和韩语。我们在构建的日语和韩语测试集上评估了内容一致性、说话人相似度和语音质量。如表 9 所示，在所有评估指标中，CosyVoice 2 在韩语上的表现明显优于日语。这种差异主要是由于日语和中文之间的字符集重叠，这导致日语上下文中的中文发音。在未来的工作中，我们计划探索增强多语言合成的语言上下文的方法。由于韩语与其他语言没有字符重叠，因此其语音合成性能要好得多。另一个问题是数据不平衡。我们相信，增加训练数据量可以进一步提高日语和韩语的综合性能。

Results on Instructed Generation：

为了评估 instructed generation 的性能，我们创建了一个包含 290 个样本的中文测试集。这组指令包括 29 种类型的指令，如表 2.6 所示，每种指令都有 10 种不同的输入文本。我们使用来自 5 个说话人（3 个女性和 2 个男性）的 5 个音频提示和说话人嵌入作为 flow matching 模型的条件。我们的测试以离线模式进行。我们客观地评估了内容一致性 （CER）、说话人相似度 （SS） 和语音质量 （NMOS）。主观上，我们使用教学平均意见分数 （MOS-I） 评估教学的准确性和自然性，范围从 1 到 5。每个样本由 10 名以中文为母语的人进行评估，分数以 0.5 为增量分配。评估标准侧重于语音是否遵守所有指定的指令，例如情感表达、语速调整、方言使用和角色扮演。精细的控制（包括插入笑声、笑声说话、呼吸控制和强调）将评估其自然性和准确性。如表 10 所示，CosyVoice 2 表现出卓越的内容一致性 （CER）、说话人相似性 （SS） 以及指令控制 （MOS-I） 的准确性和自然性，同时保持了与 CosyVoice-Inspire 相当的语音质量。当从 CosyVoice 2 中删除输入指令时，MOS-I 明显下降;然而，在内容一致性 （CER） 、说话人相似度 （SS） 和语音质量 （NMOS） 方面观察到改善。这表明指令可控性很难从内容文本中隐式出现。

Results on Speaker Fine-tuned Models

在微调阶段，我们对同一扬声器的扬声器嵌入采用无监督聚类，以确保扬声器音色的稳定性。我们已经证明，只有 400 个音频记录的目标说话人可以实现相当好的语音合成性能，在不同说话人之间观察到的客观指标仅存在轻微差异，如图 6 所示。我们的实验表明，大多数说话人可以继承零镜头 TTS 模型的稳健上下文理解和感知，从而自然地表达各种情绪和情绪以响应输入文本。

LLM Fine-tuning with Reinforcement Learning

尽管 SFT 可以提高大多数扬声器的性能，但 Spk E 的结果仍然比基本模型差，尤其是在英语上。因为 Spk E 的声音更复杂，说话速度更快。此外，只有 Chinese 录音可用于 Spk E。因此，我们在 Spk E 上应用强化学习以进一步改进。对于 DPO，我们通过 SFT 模型合成了 10,000 个样本对，以改变 ASR 和 SS 奖励对 LM 的偏好偏差。我们还使用可微分的 ASR 奖励来优化 LM 参数。在 RL 之后，我们在 Spk E 测试集上用内容一致性 （WER）、说话人相似度 （SS） 和语音质量 （NMOS） 评估模型，并进一步评估 SeedTTS 测试集上的 WER，以探索模型是否可以保持对域外或跨语言输入文本的鲁棒性。结果如表 11 所示

与预先训练的基础模型相比，SFT 模型显示出更高的说话人相似度和语音质量，但是，WER 可能比基础模型差。我们发现，基本模型合成的音频总是比 SFT 和真实值慢，这对 ASR 系统更友好。对于目标说话人数据集，偏好偏差和可微分奖励都可以降低 WER，而对其他两个指标的有害影响很小。但对于 SEED 测试集，基于 DPO 的强化仅对中文和英文子集有益，而硬样本会更差。原因可能是硬样本包含许多重复的单词或短语，在 DPO 训练期间可以被视为被拒绝的样本。但是，可微分的 ASR 奖励不会遇到这个问题，因为它可以直接通过 ASR 后验优化 TTS 系统。这意味着可微分的 ASR 奖励在域外情况下具有更好的泛化能力。最后，我们可以将它们相互组合以进行进一步改进。

Conclusion 

在 CosyVoice 成功的基础上，本报告介绍了 CosyVoice 2，这是一种改进的流式语音合成模型，它利用了大型语言模型。通过将流式和非流式合成统一在一个框架中，CosyVoice 2 实现了人类奇偶校验的自然性、最小的响应延迟和流式模式下几乎无损的合成质量。关键创新包括用于充分利用码本的有限标量量化、包含预训练文本LLMs，以及开发块感知因果流匹配模型以支持不同的合成场景。此外，指令 TTS 能力的改进允许通过对情感、口音、角色风格和人声爆发的精细控制，生成多功能和生动的语音。通过系统的修改和优化，CosyVoice 2 不仅提供了卓越的合成质量，而且放宽了部署要求，使其适用于流式和非流式应用。我们相信 CosyVoice 2 代表了可扩展、高质量和交互式文本转语音合成的重大进步。