TangoFlux-TTA 高效的文本到音频（TTA）生成模型

NVIDIA发布了新模型TangoFlux，TangoFlux和Flux采用类似的MMDiT架构，但与Flux不同的是，TangoFlux是用于根据文本来生成与之匹配的音频（Text-to-Audio，TTA）。注意，TTA与文本生成语音（Text-to-Speech，TTS）是两个不同的任务，TTS是根据文本合成口语化的语音，而TTA更复杂，是根据文本内容生成相应的背景音、环境音或者情感表达的音频。TangoFlux模型参数只有515M，能够在单个A40 GPU上仅用3.7秒生成长达30秒的44.1kHz音频，而且效果上实现了SOTA，所以是一个又快又好的TTA模型。目前，TangoFlux的代码和代码均已经开源：

在对齐 TTA（文本到音频）模型时，一个关键挑战在于生成偏好对的困难，因为 TTA 缺乏像大型语言模型（LLMs）那样的结构化机制，例如可验证的奖励或黄金标准答案。为了解决这一问题，我们提出了一种新颖的框架——CLAP 排序偏好优化（CRPO），通过迭代生成和优化偏好数据来增强 TTA 的对齐性能。研究表明，使用 CRPO 生成的音频偏好数据集优于现有的替代方案。借助这一框架，TangoFlux 在客观和主观基准测试中均达到了最先进的性能。

代码：https://github.com/declare-lab/TangoFlux
模型：https://huggingface.co/declare-lab/TangoFlux
技术报告：https://arxiv.org/abs/2412.21037
HuggingFace demo：https://huggingface.co/spaces/declare-lab/TangoFlux

贡献：

引入了 TANGOFLUX，这是一种基于修正流的小型高效 TTA 模型，能够在完全非专有的训练数据上实现最先进的性能。
提出了 CRPO，这是一种简单而有效的策略，用于生成音频偏好数据并对修正流进行对齐，其在音频偏好数据集上的表现优于其他方法。
公开发布了代码和模型权重，以促进文本到音频生成领域的研究。

方法：

TangoFlux 由 FluxTransformer 块组成，这些块是基于扩散变换器（Diffusion Transformer, DiT，Peebles & Xie，2023）和多模态扩散变换器（Multimodal Diffusion Transformer, MMDiT，Esser 等，2024）的模型，通过文本提示和时长嵌入进行条件化，以生成最高 44.1kHz、时长达 30 秒的音频。TangoFlux 从通过变分自动编码器（VAE，Kingma & Welling，2022）编码的音频潜在表示中学习修正流轨迹。

TangoFlux 的训练流程包括三个阶段：预训练、微调和偏好优化。通过 CRPO 对 TangoFlux 进行对齐，CRPO 通过迭代生成新的合成数据并构建偏好对，执行偏好优化。整体训练流程如图 1 所示。

TangoFlux在模型架构上参考了Flux，也是采用混合MMDiT和DiT block的transformer，首先是6层MMDiT block，然后跟着18层DiT block，模型的特征维度是1024，总参数量为515M。类似SD和Flux，这里也是采用了一个音频VAE（来源Stable Audio Open）将音频编码成一定长度的latents，然后用DiT来生成latents。这里的文本编码器采用FLAN-T5，除了文本特征，还用一个小的网络将音频时长编码成一个embedding，并和文本特征拼接在一起，从而实现对生成音频长度的控制。训练也是采用Flow Matching。

音频编码

使用 Stable Audio Open Evans et al. 的 VAE，它能够将 44.1kHz 的立体声音频波形编码为音频潜在表示。给定一个立体声音频 X∈ℝ^2×d×s⁢r ，其中 d 是时长duration 和 s⁢r 是采样率 sampling rate，VAE 编码 X 为潜在表示 Z∈ℝ^L×C ，其中 L ，C 分别是潜在序列长度和通道大小。VAE 将 latent 表示 Z 解码回原始立体声音频 X 。整个 VAE 在 TangoFlux 训练期间保持冻结。

Model Conditioning

为了实现不同长度音频的可控生成，我们采用了文本调节和持续时间调节。文本调节根据提供的描述控制生成的音频的事件，而持续时间调节指定所需的音频长度，最长可达 30 秒。

文本条件。给定音频的文本描述，我们从预训练的文本编码器FLAN-T5中获取文本编码 c_{t⁢e⁢x⁢t}

持续时间编码。为了生成可变长度的音频，我们首先使用一个小型神经网络将音频持续时间编码成一个 duration embedding c_d⁢u⁢r 。这与文本编码 c_{t⁢e⁢x⁢t} 连接并馈送到 TangoFlux 以控制音频输出的持续时间。

模型架构

采用混合 MMDiT 和 DiT 架构作为 TangoFlux 的主干，首先是6层MMDiT block，然后跟着18层DiT block，模型的特征维度是1024，总参数量为515M 。

Flow Matching

流匹配（Flow Matching）基于连续归一化流框架。该方法通过学习一个时间相关的向量场，将来自简单先验分布（例如高斯分布）的样本映射到复杂的目标分布，从而生成目标分布的样本。

在 TTA（文本到音频）领域的先前研究中，例如 AudioBox（Vyas 等，2023）和 Voicebox（Le 等，2023），主要采用了 Lipman 等（2023）提出的最优传输条件路径（Optimal Transport conditional path）。然而，我们的方法采用了 修正流（Rectified Flows，Liu 等，2022），这是一种从噪声到目标分布的直线路径，代表了最短路径。

整流流（Rectified Flows）。给定音频样本的潜在表示 x₁ 和服从正态分布 x₀ ∼ N(0, I) 的噪声样本，通过时间步 t ∈ [0, 1] 可以构建训练样本 xₜ。模型通过学习预测速度 vₜ = dxₜ/dt 来引导 xₜ 向 x₁ 演化。尽管存在多种构建传输路径 xₜ 的方法，我们采用了 Liu 等人（2022）提出的整流流（RFs）。该方法在目标分布与噪声分布之间构建直线路径作为前向过程，其定义如公式（1）所示。经验表明，当减少采样步数时，整流流具有更高的采样效率且性能下降更少（Esser 等人，2024）。我们用 θ 表示模型 u 的参数，该模型通过直接回归预测速度 u(xₜ, t; θ) 与真实速度 vₜ 的匹配，其损失函数如公式（2）所示。

推理。在推理过程中，我们从先验分布 x~0∼𝒩⁢(𝟎,𝐈) 中采样噪声，并使用常微分方程求解器根据模型在每个时间步 t 长预测的速度 vt 来计算 x1 。在此过程中，我们使用 Euler 求解器。

CLAP 排名偏好优化（CRPO）

CLAP 排名偏好优化（CRPO）利用文本-音频联合嵌入模型作为代理奖励模型，根据与输入描述的相似性对生成的音频进行排名，然后构建偏好对。

我们首先设置了一个 Ta ngoFlux 架构的预训练检查点作为要对齐的基础模型，用 π0 表示。此后，CRPO 迭代地将 checkpoint πk≔u⁢(⋅;θk) 对齐到 checkpoint πk+1 中，从 k=0 开始。每个这样的对齐迭代都包括三个步骤：（i）批量在线数据生成，（ii）奖励估计和偏好数据集创建，以及（iii） πk+1 通过直接偏好优化进行微调 πk 。

Main Results

表 1：跨各种指标的音频生成模型比较。Output length 表示生成的音频的持续时间。度量包括 FD
openl3表示 Frechet 距离、 passt KL 表示 KL 散度和 CLAP score 表示对齐。所有推理时间都是在同一个 A40 GPU 上计算的。我们在 #Params 列中报告可训练参数。

表 1 在客观指标方面将 TangoFlux 与 AudioCaps 上先前的文本到音频生成模型进行了比较。表 2 报告了具有多个事件的提示（即多事件提示）的模型性能。

Qwen2 Lora LLM微调训练教程

Github：https://github.com/datawhalechina/self-llm/tree/master

本项目是一个围绕开源大模型、针对国内初学者、基于 Linux 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。

本项目的主要内容包括：

基于 Linux 平台的开源 LLM 环境配置指南，针对不同模型要求提供不同的详细环境配置步骤；
针对国内外主流开源 LLM 的部署使用教程，包括 LLaMA、ChatGLM、InternLM 等；
开源 LLM 的部署应用指导，包括命令行调用、在线 Demo 部署、LangChain 框架集成等；
开源 LLM 的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning 等。

环境配置

在完成基本环境配置和本地模型部署的情况下，你还需要安装一些第三方库，可以使用以下命令：

python -m pip install --upgrade pip
# 更换 pypi 源加速库的安装
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

pip install modelscope==1.18.0
pip install transformers==4.44.2
pip install streamlit==1.24.0
pip install sentencepiece==0.2.0
pip install accelerate==0.34.2
pip install datasets==2.20.0
pip install peft==0.11.1

模型下载

使用 modelscope 中的 snapshot_download 函数下载模型，第一个参数为模型名称，参数 cache_dir 为模型的下载路径。

在 /root/autodl-tmp 路径下新建 model_download.py 文件并在其中输入以下内容，粘贴代码后请及时保存文件，如下图所示。并运行 python /root/autodl-tmp/model_download.py 执行下载，模型大小为 15GB，下载模型大概需要 5 分钟。

import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir = snapshot_download('qwen/Qwen2.5-7B-Instruct', cache_dir='/root/autodl-tmp', revision='master')

指令集构建

LLM 的微调一般指指令微调过程。所谓指令微调，是说我们使用的微调数据形如：

{
  "instruction": "回答以下用户问题，仅输出答案。",
  "input": "1+1等于几?",
  "output": "2"
}

其中，instruction 是用户指令，告知模型其需要完成的任务；input 是用户输入，是完成用户指令所必须的输入内容；output 是模型应该给出的输出。

即我们的核心训练目标是让模型具有理解并遵循用户指令的能力。因此，在指令集构建时，我们应针对我们的目标任务，针对性构建任务指令集。例如，在本节我们使用由笔者合作开源的 Chat-甄嬛项目作为示例，我们的目标是构建一个能够模拟甄嬛对话风格的个性化 LLM，因此我们构造的指令形如：

{
  "instruction": "你是谁？",
  "input": "",
  "output": "家父是大理寺少卿甄远道。"
}

我们所构造的全部指令数据集在根目录下。

数据格式化

Lora 训练的数据是需要经过格式化、编码之后再输入给模型进行训练的，如果是熟悉 Pytorch 模型训练流程的同学会知道，我们一般需要将输入文本编码为 input_ids，将输出文本编码为 labels，编码之后的结果都是多维的向量。我们首先定义一个预处理函数，这个函数用于对每一个样本，编码其输入、输出文本并返回一个编码后的字典：

def process_func(example):
    MAX_LENGTH = 384    # Llama分词器会将一个中文字切分为多个token，因此需要放开一些最大长度，保证数据的完整性
    input_ids, attention_mask, labels = [], [], []
    instruction = tokenizer(f"<|im_start|>system\n现在你要扮演皇帝身边的女人--甄嬛<|im_end|>\n<|im_start|>user\n{example['instruction'] + example['input']}<|im_end|>\n<|im_start|>assistant\n", add_special_tokens=False)  # add_special_tokens 不在开头加 special_tokens
    response = tokenizer(f"{example['output']}", add_special_tokens=False)
    input_ids = instruction["input_ids"] + response["input_ids"] + [tokenizer.pad_token_id]
    attention_mask = instruction["attention_mask"] + response["attention_mask"] + [1]  # 因为eos token咱们也是要关注的所以 补充为1
    labels = [-100] * len(instruction["input_ids"]) + response["input_ids"] + [tokenizer.pad_token_id]
    if len(input_ids) > MAX_LENGTH:  # 做一个截断
        input_ids = input_ids[:MAX_LENGTH]
        attention_mask = attention_mask[:MAX_LENGTH]
        labels = labels[:MAX_LENGTH]
    return {
        "input_ids": input_ids,
        "attention_mask": attention_mask,
        "labels": labels
    }

Qwen2 采用的 Prompt Template格式如下：

<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
你是谁？<|im_end|>
<|im_start|>assistant
我是一个有用的助手。<|im_end|>

加载 tokenizer 和半精度模型

模型以半精度形式加载，如果你的显卡比较新的话，可以用 torch.bfolat形式加载。对于自定义的模型一定要指定 trust_remote_code参数为 True。

tokenizer = AutoTokenizer.from_pretrained('/root/autodl-tmp/qwen/Qwen2.5-7B-Instruct/', use_fast=False, trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained('/root/autodl-tmp/qwen/Qwen2.5-7B-Instruct/', device_map="auto",torch_dtype=torch.bfloat16)

定义 LoraConfig

LoraConfig这个类中可以设置很多参数，但主要的参数没多少，简单讲一讲，感兴趣的同学可以直接看源码。

task_type：模型类型
target_modules：需要训练的模型层的名字，主要就是 attention部分的层，不同的模型对应的层的名字不同，可以传入数组，也可以字符串，也可以正则表达式。
r：lora的秩，具体可以看 Lora原理
lora_alpha：Lora alaph，具体作用参见 Lora 原理

Lora的缩放是啥嘞？当然不是 r（秩），这个缩放就是 lora_alpha/r, 在这个 LoraConfig中缩放就是 4 倍。

config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"],
    inference_mode=False, # 训练模式
    r=8, # Lora 秩
    lora_alpha=32, # Lora alaph，具体作用参见 Lora 原理
    lora_dropout=0.1# Dropout 比例
)

自定义 TrainingArguments 参数

TrainingArguments这个类的源码也介绍了每个参数的具体作用，当然大家可以来自行探索，这里就简单说几个常用的。

output_dir：模型的输出路径
per_device_train_batch_size：顾名思义 batch_size
gradient_accumulation_steps: 梯度累加，如果你的显存比较小，那可以把 batch_size 设置小一点，梯度累加增大一些。
logging_steps：多少步，输出一次 log
num_train_epochs：顾名思义 epoch
gradient_checkpointing：梯度检查，这个一旦开启，模型就必须执行 model.enable_input_require_grads()，这个原理大家可以自行探索，这里就不细说了。

args = TrainingArguments(
    output_dir="./output/Qwen2.5_instruct_lora",
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    logging_steps=10,
    num_train_epochs=3,
    save_steps=100,
    learning_rate=1e-4,
    save_on_each_node=True,
    gradient_checkpointing=True
)

使用 Trainer 训练

trainer = Trainer(
    model=model,
    args=args,
    train_dataset=tokenized_id,
    data_collator=DataCollatorForSeq2Seq(tokenizer=tokenizer, padding=True),
)
trainer.train()

加载 lora 权重推理

训练好了之后可以使用如下方式加载 lora权重进行推理：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
from peft import PeftModel

model_path = '/root/autodl-tmp/qwen/Qwen2.5-7B-Instruct/'
lora_path = 'lora_path'

# 加载tokenizer
tokenizer = AutoTokenizer.from_pretrained(model_path)

# 加载模型
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto",torch_dtype=torch.bfloat16)

# 加载lora权重
model = PeftModel.from_pretrained(model, model_id=lora_path, config=config)

prompt = "你是谁？"
messages = [
    {"role": "system", "content": "现在你要扮演皇帝身边的女人--甄嬛"},
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

model_inputs = tokenizer([text], return_tensors="pt").to('cuda')

generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

print(response)

MinMo: A Multimodal Large Language Model for Seamless Voice Interaction

FunAudioLLM Team Tongyi Lab, Alibaba Group

用于语音交互的语音-文本多模态模型的先前工作可以大致分为原生模型和对齐模型。原生多模态模型使用单个框架同时对语音和文本的端到端理解和生成进行建模，然而，他们面临着语音和文本序列长度之间巨大差异、语音预训练不足以及灾难性地忘记文本LLMs的挑战；对齐的多模态模型在保持文本LLMs，然而，现有模型通常在小规模语音数据上进行训练，在有限的语音任务集上进行研究，并且缺乏对丰富而细致的说话风格的指令跟踪能力的系统探索

MinMo，这是一种多模态大型语言模型，具有大约 8B 参数，可实现无缝语音交互。解决了先前对齐多模态模型的主要局限性。在 140 万小时的不同语音数据和广泛的语音任务上，通过语音到文本对齐、文本到语音对齐、语音到语音对齐和双工交互对齐等多个阶段来训练 MinMo。经过多阶段训练后，MinMo 在保持文本LLMs，并且还促进了全双工对话，即用户和系统之间的同时双向通信。此外，还提出了一种新颖而简单的语音解码器，它在语音生成方面优于以前的模型。MinMo 增强的指令跟踪功能支持根据用户指令控制语音生成，包括各种细微差别，包括情绪、方言和语速，并模仿特定声音。对于 MinMo，语音到文本的延迟约为 100 毫秒，理论上全双工延迟约为 600 毫秒，实际约为 800 毫秒。

最先进的（SOTA）性能：MinMo 在语音对话、多语言语音识别、多语言语音翻译、情感识别、说话人分析和音频事件分析等基准测试中实现了当前的 SOTA 性能，同时还确保了文本大型模型的功能基本保持不变。
指令控制音频生成：MinMo 支持端到端语音交互，按照用户指示控制生成音频的情感、方言和说话风格，以及模仿特定的语音音调，生成效率超过 90%。
低延迟双工语音交互：MinMo 支持全双工语音交互，可实现流畅的多轮对话并防止背景噪音打断。语音到文本的延迟约为 100 毫秒，全双工延迟理论上约为 600 毫秒，实际约为 800 毫秒。

基准测试的性能概览:演示了 MinMo 在自动语音识别（ASR）、语音到文本翻译（S2TT）、口语问答（SQA）方面的功能，包括语音到文本（S2T）和语音到语音（S2S）、语音分类（VSC）、语音情感识别（SER）、语言识别（LID）、年龄识别和性别检测。**MinMo 在所有这些任务上都超越了以前的 SOTA 模型**。

Introduction

无缝语音交互表示用户与系统进行实时、自然、相关且类似人类的语音对话。促进无缝语音交互带来了巨大的挑战：

系统需要准确、全面地理解音频，包括理解内容以及语音中的副语言线索（例如，情感、韵律）以及音频事件;
系统应产生自然且富有表现力的语音响应;
系统应向用户提供相关且合理的响应，作为智能聊天机器人;
系统应支持全双工对话（同时双向通信），即系统在说话时倾听，用户在系统说话时可以自由打断，然后系统要么继续语音，要么停止响应，倾听用户，并提供对新用户查询的响应。

近年来，无缝语音交互系统获得了巨大的发展势头，尤其是随着多模态大型语言模型的进步，例如 GPT-4o和 Moshi。这些系统不仅可以产生自然而富有表现力的语音，还可以理解文字以外的线索，包括情感语气和音频事件。当前用于语音交互的多模态语言模型可分为两大类。

第一类包括原生多模态模型，例如 Moshi 和 GLM-4-Voice 。这些模型通常使用仅解码器的 Transformer 作为主干，在单个框架内同时对语音和文本模态的理解和生成进行建模;它们通常需要使用语音和文本数据进行预训练。这些模型存在两个主要限制。首先，在语音离散化之后，语音标记序列的长度通常是文本长度的两倍以上（例如，在 Moshi 中每秒 12.5 个标记）。随着模型大小的增长，序列长度的这种差异会带来挑战，例如 175B GPT-3 。其次，与文本相比，语音数据的稀缺性导致语音-文本训练数据高度不平衡，进而导致灾难性的遗忘。

第二类包括对齐的多模态模型，集成语音功能，同时旨在保持现有预训练文本LLM。这导致中间输出仍然包含文本，如 Llama-Omni 和 Freeze-Omni 等模型所示。然而，这些基于对齐的模型通常是在有限的语音数据（LLaMA-Omni 为 200K 样本，Freeze-Omni 为 120K 小时）上进行训练的，这导致了关于大型语音数据集对模型功能的影响以及原始文本LLM可能受到影响的问题。此外，尚未对这些模型进行广泛的语音任务调查，例如语音翻译、情感识别、说话人分析、语言识别和音频事件检测。此外，这些模型缺乏对丰富而细致的说话风格的指令遵循能力的系统评估，也缺乏对全双工对话能力的开发和评估，以实现无缝语音交互。

在这项工作中，我们引入了一种新的多模态大型语言模型 MinMo，以解决现有对齐多模态模型的这些局限性。MinMo 经过超过 140 万小时的语音数据训练，包括各种任务，例如语音转文本、文本转语音和语音转语音。这种广泛的培训使 MinMo 能够在各种基准上实现最先进的（SOTA）性能。还采用了一些方法，有效缓解了在大规模数据集训练后，模型对原始文本语言模型（text-LLM）聊天能力的灾难性遗忘问题，同时增强了语音理解和生成能力。

还提出了一种新颖的语音解码器，在保持结构简单的同时，兼具了优异的语音生成性能。LLaMA-Omni 使用一种非自回归（NAR）流式 Transformer，它将语言模型（LLM）的输出隐藏状态作为输入，并通过连接时序分类（CTC）预测响应的离散语音标记序列。然而，这种方法的性能相比自回归语音解码器较差。Freeze-Omni 使用了三种语音解码器，包括 NAR 前缀语音解码器、NAR 语音解码器和 AR（自回归）语音解码器，使模型结构更为复杂。有别于这两种策略，我们为 MinMo 设计了一种自回归（AR）流式 Transformer，其通过固定比例将 LLM 的输出隐藏状态与语音标记混合处理。

开发了一种机制，可以有效地促进与 MinMo 的全双工相互作用。具体来说，我们实现了一个全双工预测模块，该模块利用文本LLM 的语义理解功能来决定是继续系统响应，还是让步、倾听和响应新的用户查询。对于 MinMo，语音到文本的延迟约为 100 毫秒;全双工延迟理论上约为 600 毫秒，实际时约为 800 毫秒。

Related Work

Multimodal Spoken Dialogue Models:

多种语音基础模型已被开发用于通用音频理解，但尚未系统地探索其在语音交互方面的应用。例如，Qwen2-Audio 将 Whisper 语音编码器与预训练文本语言模型（LLM）集成，并通过多任务预训练和基于指令的监督微调使 LLM 具备语音理解能力。SALMONN 是另一种用于通用音频理解的语音-文本 LLM，通过 Q-Former 将单独的语音和音频编码器与预训练文本 LLM 集成，并采用 LoRA 进行模态对齐。

由于本研究旨在开发一种端到端多模态模型以实现无缝语音交互，我们将重点比较 MinMo 与用于语音交互的语音-文本模型（或称多模态语音对话模型）。同时或受到 GPT-4o 的启发，多模态语音对话模型的开发正如火如荼地进行，以实现与用户实时语音对话的能力。(Ji et al., 2024a) 对近期的语音对话模型进行了深入综述。一些研究支持传统的回合制语音聊天（即半双工通信），但无法处理全双工语音交互（即同时双向通信）。这些模型包括协作系统和端到端框架。

PSLM (Mitsui et al., 2024) 是一种协作系统，因为它依赖 ASR 处理音频输入，这会丢弃副语言信息并导致错误传播。PSLM 同时生成语音和文本标记，从而减少语音生成延迟；然而，其响应质量较低。与 PSLM 等协作系统不同，端到端框架直接接受音频输入并生成音频输出。

Llama-Omni (Fang et al., 2024) 和 Mini-Omni (Xie & Wu, 2024) 是两个近期的端到端框架，但尚未针对全双工通信进行训练。Llama-Omni 集成了 Whisper 语音编码器、语音适配器、流式语音解码器和声码器，并以预训练文本 LLM 作为基础。其语音解码器以非自回归（NAR）方式生成与生成文本前缀对应的离散单元。该模型采用两阶段训练策略：第一阶段冻结语音编码器，仅对语音适配器和 LLM 进行自回归训练；第二阶段冻结语音编码器、语音适配器和 LLM，仅使用 CTC 损失对语音解码器进行训练。Llama-Omni 被评估在语音转文本指令执行和语音转语音指令执行任务上的表现。

Mini-Omni 同样采用 Whisper 编码器，并通过适配器进行最小化训练，以保留 LLM 的能力。该模型通过模态对齐、适配器训练和多模态微调三个阶段进行训练。Mini-Omni 同时生成文本和音频标记，并填充 N 个标记以确保首先生成对应的文本标记，从而指导音频标记的生成。

MinMo 支持全双工语音对话。现有的全双工语音聊天系统同样可以分为协作系统和端到端模型两类。在协作系统中，VITA (Fu et al., 2024) 同时运行两个模型，即生成模型和监控模型，以支持全双工通信。当生成模型正在生成系统响应时，监控模型会监控环境，并在检测到有效的用户打断后结合上下文对新的用户查询提供响应，同时生成模型暂停并切换到监控角色。值得注意的是，VITA 仍然依赖外部的 TTS 模块生成语音输出。

另一种协作系统 (Wang et al., 2024a) 则通过 LLM 接入 ASR 模块和流式 TTS 模块运行。该系统不需要模态对齐，而是对预训练的文本 LLM 进行监督微调，采用以下范式：在每个时间步，LLM 要么处理一个输入标记，要么生成一个文本标记，要么输出一个特殊的控制标记，用于在 SPEAK 和 LISTEN 状态之间进行状态转换。所有这些任务都被定义为基于单一序列化流对话的下一个标记预测。全双工对话学习基于由 GPT-4 合成的数据进行，这些数据生成了包含不同类型用户打断的对话。值得注意的是，由于其级联架构，该系统面临高达 680ms 的高延迟问题。

在端到端全双工模型中，早期的 dGSLM (Nguyen et al., 2022) 提出了一个双塔架构，用于联合处理用户语音和系统语音的音频标记流。然而，该方法存在以下几个缺点：它依赖于仅基于语音的训练，未能利用预训练文本 LLM 的能力；仅使用语义标记，未充分建模语音的声学信息；不支持在线模式。LSLM (Ma et al., 2024b) 使用仅解码器的 Transformer 生成语音标记，并通过流式 SSL 编码器处理监听标记。该模型引入了一个中断标记，用于在检测到用户尝试轮流对话时停止发言。然而，模型在生成合理响应方面表现不足。

在最近的端到端全双工模型中，Moshi、GLM-4-Voice 、SyncLM 、IntrinsicVoice 和 Omni-Flatten 是原生多模态模型。这些模型在单一框架中同时建模语音和文本模态的理解和生成，基于 GPT 主干，并需要使用语音和文本数据进行自监督自回归预训练。如第 1 节所述，这些原生多模态模型需要应对语音标记与文本标记之间序列长度差异显著的问题，以及语音-文本训练数据高度不平衡及其导致的灾难性遗忘。IntrinsicVoice 使用 GroupFormer 从 LLM 的隐藏状态生成 HuBERT 标记，有效地将语音序列缩短到与文本序列相当的长度。Omni-Flatten 采用分阶段的逐步后期训练策略，通过块级的单流平铺语音和文本标记来学习全双工和无文本的语音到语音交互。

与这些原生多模态模型不同，我们的 MinMo 属于对齐多模态模型类别，该类别还包括 Llama-Omni、Mini-Omni2和 Freeze-Omni 。对齐多模态模型集成了语音功能，同时旨在保留现有预训练文本 LLM 的能力。Mini-Omni2 引入了基于命令的中断机制以支持全双工对话，但仅在 ASR 任务上进行评估，并与 Whisper、VITA 和 Mini-Omni 进行比较。Freeze-Omni是一个语音到语音模型，通过冻结预训练的文本 LLM 来保留其能力。它支持流式输入语音和生成流式输出语音，使用多任务训练，并通过块级状态预测来建模全双工语音交互。

我们的 MinMo 与这些对齐多模态模型在以下方面不同：我们探索了在更大规模的语音数据集（1.4 百万小时多样化语音数据，相较于 LLaMA-Omni 的 20 万样本和 Freeze-Omni 的 12 万小时）以及更广泛的语音任务上训练 MinMo。MinMo 还通过新颖的语音解码器、增强的指令跟随能力，以及对全双工语音对话能力的系统性训练和评估，与现有的对齐多模态模型形成了差异化。

文本风格 – 可控语音合成

多模态语音对话模型相比于基于文本的对话模型的显著特征在于其能够理解和生成超越文本内容的声学信息。语音模态不仅包含内容，还包括情感、方言和语速等声学信息。一个智能的多模态语音对话模型应该能够全面理解输入语音中的声学信息（例如情感），并且能够生成带有指定情感、方言、语速的响应，甚至模仿特定的声音，从而在沟通中实现更深层次的理解和响应。

协作系统如 ParalinGPT 、E-Chat 和 Spoken-LLM 通过整合副语言特征增强对情感等声学信息的理解。这些系统可以与可控风格的文本转语音（TTS）系统结合，以生成带有特定情感、语速和音量的响应。在文本风格可控 TTS 方面取得了显著进展，例如 TextrolSpeech 、PromptTTS 、PromptTTS2、InstructTTS 和 ControlSpeech 。

与这些协作系统相比，Moshi 使用一个具有单一演员声音和超过 70 种说话风格录音的 TTS 引擎，生成训练数据以支持在端到端模型中理解和生成声学信息。GLM-4-Voice利用高质量的多轮语音对话数据，这些数据针对特定语音风格需求（如语速、情感或方言）进行定制，从而支持风格可控的语音对话。然而，据我们所知，尚无研究表明对齐的多模态模型能够支持风格可控的语音生成。

与之前的研究声称对齐的多模态模型（如 Llama-Omni 和 Freeze-Omni）仅允许语言模型控制语音的内容而非风格和韵律相反，我们在本研究中提出了一种新型的流式语音解码器，用于对齐多模态模型 MinMo，并发现该解码器不仅增强了指令跟随能力，还使 MinMo 能够生成符合用户指定情感、方言、语速以及模仿特定声音的语音。

MinMo

模型架构

语音编码器采用预训练的 SenseVoice-large 编码模块，提供了强大的语音理解能力，支持多语言语音识别、情感识别和音频事件检测。输入投影器由一个随机初始化的两层 Transformer 和一个 CNN 层组成，用于维度对齐和降采样。我们选用预训练的 Qwen2.5-7B-instruct 模型作为预训练的文本 LLM，因为其在各种基准测试中的表现卓越（Team, 2024）。此外，我们利用 CosyVoice 2的流式音频生成机制，该机制具备低延迟并提供具有竞争力的语音合成性能。

对于每批接收的五个文本标记，我们将这些标记及其对应的最终隐藏层向量同时传递到输出投影器和语音标记语言模型（Voice Token LM）。输出投影器是一个单层线性模块，随机初始化用于维度对齐。语音标记语言模型（Voice Token LM）采用预训练的 CosyVoice 2 LM 模块，并以自回归方式生成十五个语音标记，确保高效且无缝的音频合成。这些语音标记由 Token2wav 合成器模块实时处理，生成最终的音频输出。

Token2wav 合成器包括一个预训练的流匹配模型，该模型将标记转换为梅尔频谱图，以及一个预训练的声码器，将梅尔频谱图转换为波形，两者均来源于 CosyVoice 2。MinMo 通过额外的隐藏嵌入实现端到端的完整训练，这些嵌入有助于根据用户指令控制语音风格，例如情感、方言和语速等。语音生成的详细信息详见 3.2 节。

全双工预测器模块由一个单层 Transformer 和一个线性 softmax 输出层组成，两者均为随机初始化。该模块实时预测是否响应用户指令或暂时停止当前系统播报，以处理来自用户的进一步音频输入。一旦全双工预测器决定系统响应是合适的，MinMo 会生成文本输出并同步以逐标记方式生成音频标记。

Streaming Voice Decoder

语音解码器包括三个组件：输出投影器、语音标记语言模型（Voice Token LM）和流式标记到波形（Token2wav）合成器。

输出投影器对齐 LLM 的维度与语音解码器的维度。LLM 的隐藏状态包含丰富的上下文信息，但语义上可能不够明确；而采样得到的文本标记更加精确，与生成的文本一致。同时，当前用户输入的隐藏状态包含显式的指令信息。在每轮对话中，用户输入的嵌入与 LLM 最后一层输出的隐藏状态将沿特征维度拼接，形成查询嵌入。查询嵌入与五个采样文本标记的嵌入，以及 LLM 最后一层输出的隐藏状态，将沿序列维度拼接并输入到投影器中。投影器的输出被称为语义向量，这些向量代表了丰富且准确的语义信息。

在输出投影器之后，使用语音标记语言模型（Voice Token LM）以自回归方式生成语音标记。该语言模型在交替的文本和语音标记序列上运行。具体而言，我们以 5:15 的固定比例混合语义向量和语音标记，即每五个语义向量后跟随十五个语音标记。

在训练过程中，采用教师强制策略，并引入一个特殊标记，用于指示下一个语义向量应被连接。当 LLM 的文本响应完成且语义向量耗尽时，我们插入一个“语音轮次”（turn of speech）标记，提示语音标记语言模型接下来的标记应完全为语音标记。当生成“语音结束”（end of speech）标记时，语音合成过程结束。

为了从语音令牌重建波形，我们使用现成的流式 token2wav 合成器。token2wav 合成器包含一个数据块感知流匹配模型和一个 mel 到 wave 声码器，能够以 15 个令牌为块合成波形。

语音解码器的理论延迟可以按以下方式计算：

其中 dl⁢l⁢m 表示 LLM 生成一个文本令牌的计算时间， dl⁢m 表示 LM 生成一个语音令牌的时间， ds⁢y⁢n 表示 token2wav 合成器生成每个语音令牌对应的波形的时间。

Tasks and Training Data

MinMo 的训练任务包括四类，包括 Speech-to-Text、Text-to-Speech、Speech-to-Speech 和 Speech-to-ControlToken 任务。表 2 列出了每个类别中的具体任务及其相应的数据量表。

Speech-to-Text 任务。此类别包含大约 120 万小时的语音-文本配对数据，包括自动语音识别（ASR）、语音到文本翻译（S2TT）、语言识别（LID）、上下文偏差语音识别、语音情感识别（SER）、音频事件检测（AED）、说话人分析、口语平滑等任务。这些任务的训练数据以 ChatML 格式组织，如以下示例所示：

Text-to-Speech tasks。该类别的数据主要由基础语音合成数据组成，与训练 CosyVoice 2 的数据相同。它包括 170000 小时的文本语音配对数据，并支持四种语言：中文、英文、韩文和日文。此外，还有大约 1000 小时的音频生成数据由指令控制。这些说明扩展为包括由 Qwen-Max 生成的自然语言描述，利用人类标记的属性，例如情感、语速、方言和角色扮演。

Speech-to-Speech 任务。 Speech-to-Speech 数据主要通过模拟获取，包括大约 10000 小时的多轮对话语音和 100 小时的风格可控多轮对话语音。模拟 Speech-to-Speech 聊天数据的方法如下：

对于主要来源于 Alpaca 和 ShareGPT3 的文本聊天数据，我们利用 CosyVoice 的零样本上下文生成方法将用户文本转换为用户语音。我们使用来自选定说话人的 2 小时数据对 CosyVoice 的基本模型进行微调，为目标说话人创建一个语音合成模型，称为 CosyVoice-SFT。该模型合成了助手的语音（即系统语音）。使用zero-shot上下文生成进行用户语音合成的优势在于它能够确保生成的用户语音的多样性，从而增强 MinMo 的泛化性。

为了解决合成音频和真实音频之间的差异，我们从 ASR 数据中选择合适的真实语音作为用户语音查询，并使用相应的文本作为 Qwen-Max 的输入生成响应文本，然后使用 CosyVoice-SFT 模型将其合成为辅助语音。这种方法进一步增强了模型对真实用户音频输入的鲁棒性。

为了生成涵盖不同说话风格的对话语音，我们最初使用 Qwen-Max 来创建丰富的风格可控、多轮次文本对话集合。用户查询通过 Cosyvoice 的 zero-shot generation 转换为语音。随后，我们使用 Cosyvoice 2 来生成助手的富有表现力的语音。具体来说，我们将助手的响应内容和指导提示输入到 Cosyvoice 2 中，以合成特定风格的语音。此外，使用小型、多样化和初步录制的语音语料库作为提示语音，通过零镜头生成合成表达性响应语音。前一种方法增强了模拟语音的多样性，而后者更有效地构建了各种风格的表现力。

Speech-to-ControlToken 任务。Speech-to-ControlToken 数据主要由两部分组成。第一部分是从现有的真实语音交互数据中提取的，而第二部分是使用文本对话数据进行模拟的。具体来说，现有的真实语音交互数据包括 Alimeeting 、Fisher 等资源，以及我们内部的语音交互数据，总共大约 3000 小时。模拟数据主要包括开源 MOSS 数据集和通过合成我们内部文本对话数据的口语对话，产生了大约 1000 小时的语音聊天数据。当使用这些语音交互数据构建双工训练数据时，我们应用启发式规则在样本上自动注释双工标签，如下所示:

对于助手的轮流，将用户轮到的终点作为助手轮次的起点。
对于用户的轮次，将助手轮次结束后的时间间隔 T 作为用户轮次的起点，其中 T∼𝒩⁢(0.6,0.42) 。
对于用户的 Back-Channel，当用户（以对话中的一个说话者为用户）无法打断另一个说话者时，我们从语音交互数据中选择实例，并将其视为用户 Back-channel 的训练样本。

模型训练

MinMo 通过四个对齐阶段逐步训练：（1）语音到文本对齐，（2）文本到语音对齐，（3）语音到语音对齐，以及（4）双工交互对齐。通过四个对齐阶段，MinMo 获得了端到端的音频理解和生成能力，同时保留了主干文本LLM，实现了低延迟并为用户提供了无缝的语音聊天体验，类似于 GPT-4o。这四个阶段详细说明如下。

语音到文本对齐： Pre-align > Full-Align > SFT[LoRA]

第一阶段使用表 2 所示的语音转文本数据，将音频模态的输入潜在空间与预训练文本LLM。此阶段包括对图 3 中的输入投影和语音编码器的逐步更新，以及使用 LoRA 更新文本 LLM。考虑到语音编码器和LLM （Qwen2.5-7B）是预先训练的，而输入投影的参数是随机初始化的，我们使用表 2 所示的语音转文本数据子集执行预对齐训练 （Pre-align），仅更新输入投影器。这个 Pre-align 阶段有效地防止了随机初始化的参数在初始训练阶段对预训练的 Voice Encoder 产生大的梯度影响。在预对齐之后，我们使用完整的语音转文本数据来训练输入投影器和语音编码器，同时保持 LLM 参数冻结，这个过程称为完全对齐。在 Full-Align 之后，使用涵盖各种任务的大约 130 万个样本进行指令微调（SFT）。在此阶段，LLM 使用 LoRA 进行更新，从而增强模型遵循指令的能力。Full-Align 和 SFT 阶段中使用的特定数据比例如图 4 所示。Pre-Align 阶段使用大约 1/10 的 Full-Align 数据。

文本到语音对齐

第二阶段使用文本转语音数据将文本LLM音频模态的输出潜在空间对齐。此阶段首先训练 Output Projector，然后联合训练 Output Projector 和 Voice Token LM，同时保持其他 MinMo 参数冻结。除了基本的文本转语音功能外，我们还利用端到端框架使 MinMo 能够在语音交互中遵循用户指示，从而提供更富有表现力和娱乐性的音频响应。例如，用户可以通过指令控制音频输出的情感、语速、方言口音或说话人风格。构建了大约 1000 小时的 Instruct 语音合成数据，格式如表 3 所示。

语音到语音对齐。

第三阶段使用大约 10,000 小时的配对音频数据继续训练 MinMo。与文本到语音对齐阶段一致，我们继续仅更新 Output Projector 和语音令牌 LM。语音到语音对齐的训练数据不仅包括一般的语音到语音对话，还包括具有各种设置的音频生成指令，例如采用特定的方言、语速和口语对话的情感。我们发现，即使不更新 LLM，仅通过利用与小规模指令数据集对齐的嵌入（150 小时），大型模型仍然可以学习相当有效的音频生成控制能力。

双工交互对齐。

在完成前三个训练阶段后，MinMo 获得了音频理解、音频生成和半双工语音对话的能力。在此基础上，我们进一步添加了一个全双工模块，该模块经过 4000 小时的长篇人际口语对话训练。Full Duplex Predictor 模块在此阶段专门进行训练。Full Duplex Predictor 采用全双工预测器将LLM的隐藏嵌入作为输入，用于预测模型是否需要生成响应。全双工预测器利用LLM固有的语义理解能力来判断：1）模型是否应该回应当前用户查询，2）模型是否应该停止正在进行的语音输出以聆听用户查询并提供适当的响应。来预测模型是否需要生成响应。

Experiments

根据多个基准评估 MinMo:

语音识别和翻译

在普通话、英语、日语、韩语和其他六种语言的公共测试集上评估了 MinMo 的语音到文本转录功能。

对于普通话（ZH）、日语（JA）、韩语（KO）和粤语（YUE），我们采用字符错误率（CER）来评估转录性能。对于英语（EN）、德语（DE）、法语（FR）、俄语（RU）、西班牙语（ES）和意大利语（IT），单词错误率（WER）用作评估指标。

与 Whisper Large v3 和 Qwen2-Audio相比，MinMo 在各种语言的大多数测试集上都实现了卓越的 ASR 性能。

在提示符显示或不带有 LID【语言ID】信息的 Common Voice 上进行测试时，Whisper Large v3 和 Qwen2-Audio 的平均错误率存在显著差距，这表明这两个模型强烈依赖 LID 信息。相比之下，无论是否存在语言识别，MinMo 都表现出稳健且一致的 ASR 性能。

多语言语音翻译

在 Fleurs 和 CoVoST2 测试集上评估了语音到文本的翻译能力。

与其他端到端基线相比，MinMo 在中 ↔ 英和日 ↔ 英翻译上实现了 SOTA 性能，在其他语言对上实现了顶级性能。我们将这种强劲的性能归功于广泛的语音翻译训练数据（表 2 中 451K 小时的 S2TT 训练数据）和强大的音频编码器。值得注意的是，尽管我们只用 CoVoST2 集（不包括 Fleurs 集）来增强我们的训练数据，但我们的模型在两个测试集上保持一致的性能，表明具有高鲁棒性。

Language Identification 语言识别

使用 Fleurs 数据集，该数据集涵盖 102 种语言。MinMo 实现了 85.3% 的语言识别准确率，优于表 7 所示的所有先前模型。具体来说，零样本 Whisper-V3 经常将粤语错误地归类为中文，而 MinMo 可以准确地识别粤语。

上下文偏见语音识别

上下文偏见，或称为热词定制，允许用户根据特定的上下文或热词获得定制化的ASR（自动语音识别）结果。MinMo通过集成用于上下文偏见的高级提示增强了ASR功能。我们为对齐和SFT阶段准备了相应的训练数据，通过将热词组织到语音处理指令之前的提示中，从而实现有效的定制。评估包括热词偏见测试和一般偏见测试，如表8所示。

热词偏见测试涉及使用SeACo-Paraformer（Shi et al., 2024）提供的三个数据集，这些数据集包含用于偏见评估的热词。一般偏见测试则使用包含较少热词的数据集，用于评估对无关热词的抗干扰能力。

MinMo 在 ASR 准确性（带和不带热词）以及硬质热词的召回率方面优于竞争性基线 SeACo-Paraformer。

Speech Analysis and Understanding

Speech Emotion Recognition

使用来自 EmoBox 的七个广泛使用的情绪识别数据集评估了 MinMo 的语音情感识别（SER）能力，包括 CREMA-D （Cao et al.， 2014）、MELD （Poria et al.， 2019）、IEMOCAP （Busso et al.， 2008）、MSP-Podcast （Martinez-Lucas et al.， 2020）、CASIA （Zhang & Jia， 2008）、MER2023 （Lian et al.， 2023）和 ESD （周 et al.， 2021）。这些数据集包括中英文语言和场景，例如表演、电视剧和日常对话。我们采用未加权平均准确率（UA）、加权平均准确率（WA）和宏观 F1 分数（F1）作为评价指标。引用了来自最近的 SER 工具包 EmoBox（马 et al.， 2024a）的这些测试集的结果。我们还使用其发布的模型检查点评估了基线音频LLM 模型 SALMONN 和 Qwen-Audio。

MinMo 在该基准测试的所有任务上都优于所有基线模型，包括语言 ID、性别、年龄、情感、发声分类任务，除了在声音问题分类任务上表现优于 Qwen-Audio。

Audio Event Understanding

使用 Air-Bench 基准测试，将 MinMo 的语音和音频事件理解能力与其他 Audio-LLM。结果如表 12 所示。在语音声音分类任务（Vocal Sound）上，MinMo 超越了所有基线模型。然而，我们发现，在更复杂的声音问答任务中，MinMo 的表现比 Qwen-Audio 差，尽管性能仍然优于其他模型。这可以归因于两个因素：首先，在语音编码器和训练范式中，MinMo 主要是为语音交互而设计的，因此一些声音问题可能会超出其范围;其次，在评估过程中，MinMo 会预测音频中发生的情况，而不是严格选择 Air-Bench 提供的选项，因此 MinMo 生成的一些正确或相似的正确响应与后处理脚本的错误选择保持一致。

Speaker Analysis

说话人分析涉及几项对于理解音频数据并与之交互至关重要的任务，包括性别检测、年龄估计、说话人计数、说话人识别、多说话人识别和目标说话人识别。结果表明，MinMo 在性别检测和年龄估计任务上优于所有基线模型。

Speech-to-Text Enhancement

Spoken Language Smoothing【口语平滑】

口语语言平滑任务以口语ASR（自动语音识别）转录文本为输入，输出正式风格的书面文本。表14展示了口语语言平滑的一些示例。为该任务，我们通过扩展为ASR转录文本的口语到书面转换而创建的SWAB数据集（Liu et al., 2025），构建了一个多领域数据集用于训练和评估。SWAB数据集源自中文和英文的会议、播客及讲座。

在为原始视频和音频生成ASR转录文本后，大约十位注释人员根据ASR转录文本创建正式风格的书面文本，同时保留原始内容。SWAB的训练集包含20,000段文本，测试集包括100段中文和英文的随机抽样段落。我们对SWAB测试集进行全面微调，并将MinMo与基于Qwen2.5-7B的模型进行比较，结果如表15所示。

在客观指标评估中，我们使用BLEU（Papineni et al., 2002）、ROUGE（Lin, 2004）和BLEURT（Sellam et al., 2020），以人工目标为参考。然而，我们注意到口语语言平滑任务具有显著的主观性和多样性，因此基于词汇匹配的客观指标可能无法充分反映模型性能。因此，我们采用人工和LLM注释来提供信实性（S-Faithful，即对原始内容的信实性）和正式性（S-Formal）的排名评估。自动化LLM评分的提示见附录A.1。

表15显示，我们的模型与Qwen2.5-7B的性能相当，表明MinMo在平滑口语语言方面具有较好的能力。

标点插入和反向文本规范化

对于标点插入（PUNC）和反向文本归一化（ITN）任务，我们使用来自 Fleurs 数据集的中文和英文数据。我们将 MinMo 与 SenseVoice-L 和 whisper-large-v3 进行比较，如表 16 所示。鉴于标点符号插入和 ITN 任务的主观性，我们使用 GPT-4 Turbo 对三个结果进行排序进行评估。附录 A.2 中提供了自动评分的任务提示。第一名获得 3 分，第二名获得 2 分，第三名获得 1 分。最终分数是所有分数的平均值。在准备测试数据时，我们使用随机选项洗牌和多轮评分，以减少使用 ChatGPT 进行评估时的不确定性。最终结果表明，MinMo 在标点插入和 ITN 的主观评价中表现更好。

Voice Generation

文本到语音（TTS）

为了评估我们语音解码器的合成准确性，我们将最新的SEED测试集（Anastassiou et al., 2024）转换为ChatLM格式。在该格式中，文本以用户内容的形式呈现，并以“Copy:”命令为前缀，LLM预计会复制该文本。测试集包括2,020个中文案例和1,088个英文案例。对于中文案例，我们使用了Paraformer-zh模型（Gao et al., 2022），而英文案例则使用了Whisper-large V3（Radford et al., 2023）。鉴于LLM存在的指令跟随问题，我们在推理过程中应用了教师强制方案，以最小化输入和输出文本之间的差异。语音解码器的内容一致性通过中文的CER（字符错误率）和英文的WER（词错误率）进行评估。

我们的发现表明，即使在应用了教师强制方案的情况下，只有大约20%的测试案例的输入和输出文本与LLM完全一致。由于不一致的输入和输出可能导致语音解码器的隐藏状态混乱，因此仅包括输入和输出文本一致的测试案例来计算错误率。结果如表17所示。我们观察到，与TTS基线模型CosyVoice 2.0-SFT（Du et al., 2024b）相比，MinMo在中文测试集上表现出稍微较低的内容一致性和语音质量。在英文测试集上，MinMo在内容一致性上表现相似，但NMOS（语音质量评分）稍低。这个下降可以归因于微调的说话人不同的声学特性，这影响了识别模型和NMOS评分器。然而，这种下降不会显著影响人类的理解。因此，主观评估可能更适合语音到语音的语音聊天模型，我们将在未来的工作中进一步探讨这一点。

指令跟随语音生成

为了评估指令跟随语音生成的性能，我们开发了一个包含30个会话和122个回合的多轮中文语音到语音测试集，涉及12种指令控制类型。这些控制类型包括情感（高兴、悲伤、惊讶、愤怒、恐惧）、方言（粤语、四川话）、语速（快、慢）、角色扮演（机器人、佩佩）以及默认风格。

为了评估指令跟随语音生成的准确性，听众根据指令类型对生成的音频进行分类。如表18所示，MinMo在指令控制准确性方面优于基线模型GLM-4-Voice，特别是在方言和角色扮演方面。

Voice Chat

为了将基础模型的对话功能转移到语音模态，我们为语音转文本（speech2text）和语音转语音（speech2speech）场景构建了多轮次对话数据。speech2text 数据主要分为两部分。首先，它源自开源多轮次纯文本数据，我们使用零样本文本转语音（TTS）技术合成用户轮次。其次，我们使用真实的自动语音识别（ASR）训练数据作为聊天查询，从大型模型获取文本响应，从而为 speech2text 生成交互式训练数据。

MinMo 模型在语音转语音（S2S）模式下与现有基线相比具有显著优势，实现了新的最先进的（SOTA）结果。在语音转文本（S2T）模式下，它还在 Llama Question 和 Web Question 数据集上实现了 SOTA 性能。但是，MinMo 的测试结果仍然表明，与 S2T 模式相比，S2S 模式的性能明显下降。我们将其归因于这样一个事实，即测试集中的许多答案都具有丰富的文本结构和专业词汇，这对模型的文本转语音（TTS）功能提出了更高的要求。此外，在 S2S 评估中用于获取答案文本换语音的自动语音识别（ASR）模型也会在一定程度上影响 S2S 指标。

从表 20 中可以观察到，通过将额外的 speech2text 任务数据整合到 MinMo 训练中，我们能够有效地保持基础模型的对话能力。与 ASR 与纯文本基本模型相结合的性能相比，MinMo 的对话能力在很大程度上保持一致。但是，MinMo 的响应分数略低于 Ground Truth 响应的质量。我们认为这种差异可以归因于两个主要原因。首先，多个语音任务的集成和在基础模型上实现 LoRA 训练，在一定程度上削弱了原始大型语言模型（LLM。该表显示，与 ChitChat 测试集相比，MinMo 在 Alpaca 测试集上表现出更大的性能变化。其次，MinMo 的音频理解能力还有进一步改进的空间，并且仍有可能降低 ASR 任务中的字符错误率（CER）。

Full Duplex Spoken Dialogue

为了评估 MinMo 在全双工语音交互中的能力，我们构建了三个测试集：中文 Alimeeting 数据集、英文 Fisher 数据集和一个模拟测试集，旨在更接近真实的人机对话场景。我们从两个角度评估 MinMo 的全双工能力：预测性能和预测效率。关于预测性能，评估分为三个任务：辅助轮流、用户轮流和用户反向引导。对于轮流任务，我们采用正 F1 分数作为分析指标，并引入了偏移距离（ K ）来更好地分析模型的性能。对于用户反向通道任务，我们利用准确性来评估 MinMo 识别反向通道话语的能力。

MinMo 模型在人机对话数据集上表现出值得称道的结果，无论是用户轮流还是助手轮流。当 K=10 时，预测性能接近 99%。在实际人机对话的测试集中，与人机对话测试集相比，MinMo 模型在辅助轮流上的表现表现出一定程度的下降。我们认为这主要是由于真实人类对话中背景噪音、语速、停顿和其他因素的高度可变性，这可能导致模型在助理轮流任务中出现一定程度的误判。但是，对于人与人对话中的用户轮流预测，MinMo 模型仍然保持了高水平的灵敏度和预测性能，确保在用户说话时系统及时停止说话，从而避免与用户重叠语音。这种敏感性和对用户语音的尊重也解释了为什么 MinMo 模型对用户反向通道评论保持 70%-80% 的预测准确性，如表所示。这与 user turn-taking model 的调优是一致的，表明两者之间存在一定的权衡。

为了对 MinMo 双工模式进行效率分析，我们还分别对人机对话和人机对话测试集进行了测试。如表 23 所示，MinMo 在用户轮流中的平均响应延迟为 250ms。在人机测试集中观察到最快的响应速度，为 88.8 毫秒，而最具挑战性的 Alimeeting 测试集显示延迟为 448.8 毫秒。在辅助轮流方面，MinMo 的平均响应延迟在 660ms 左右，与用户轮流预测所需的响应时间相比，这要长。我们将其归因于以下事实：用户轮流涉及用户语音的开始部分，而助手轮流涉及用户轮到即将结束的部分。因此，助理轮流的上下文语义信息更加全面，从而缩短了决策所需的时间滞后。

Full Duplex System Latency

MinMo 的双工交互由四个模块组成：全双工预测器，负责双工控制，语音转文本模块（语音编码器+输入投影仪+LLM）、文本转语音标记模块（输出投影仪+语音标记 LM）和 Token2Wav 模块。表 21 显示了每个模块的延迟。以 Assistant Turn-taking 为例，当用户的实际语音结束时，双工模型通常需要 250 ms 的延迟进行评估。在 Speech-to-Text 过程中，对前 5 个文本标记的预测大约需要 150 毫秒。预测最初的 15 个语音令牌大约需要 70 毫秒，从语音令牌转换到第一个音频数据包需要额外的 130 毫秒。因此，在开发基于 MinMo 的全双工语音对话系统时，助理轮流的标准体验延迟约为 250 + 150 + 70 + 130 = 600 毫秒。上述数值估计值是在使用 L20 GPU 和 BF16 模型格式进行测试期间得出的。

总结/局限性

MinMo 在超过 140 万小时语音的广泛数据集上进行了训练，展示了各种基准（包括口语对话、多语言语音识别和情感识别）的最新性能。通过利用多阶段对齐策略，MinMo 巧妙地平衡了音频理解和生成，同时最大限度地减少了基于文本的 LLMs。一项关键创新是 MinMo 用于流式端到端音频生成的新颖对齐方法。通过利用文本模型的隐藏层表示，MinMo 的语音解码器实现了结构简单性和有竞争力的性能以及低延迟。这种方法显著增强了模型的指令遵循能力，能够生成细致入微的语音，准确反映用户指定的情感、方言和说话风格。此外，MinMo 支持全双工交互，以大约 600 毫秒的延迟提供无缝的对话体验。总之，MinMo 代表了语音交互系统领域的重大进步。它不仅解决了序列长度差异和数据不平衡的固有挑战，还为自然和富有表现力的语音交互设定了新标准，为多模态语言模型的未来发展铺平了道路。

MinMo 有一些需要解决的局限性。首先，MinMo 基于预训练的文本大模型，使用对齐方式集成音频理解和音频生成能力;文本大型模型仅参与 LoRA 更新，其遵循各种指令（例如语言和任务遵循）的能力需要改进。需要进一步探索以确定使用更多高质量的文本数据对文本大型模型进行更全面的更新是否可以增强其指令跟踪能力。其次，MinMo 的端到端音频生成存在一些长尾发音错误问题。这个问题部分是由于保留了 LLM，部分原因是端到端建模输出文本中的一些特殊符号无法有效地转换为语音。可以探索数据扩展来解决这些长尾问题。此外，由 MinMo 中的指令控制的音频生成的整体效率需要提高。这部分是由于当前指令数据的整体大小较小，并且仅使用隐藏嵌入进行端到端对齐的限制，这限制了历史信息的传输。最后，虽然 MinMo 实现了基于语义的双工模块，但它仍然需要单独的 AEC 【AEC模块用于消除语音通信中由于麦克风拾取扬声器输出信号而产生的回声。】和 VAD 模块。将来，将探索完全端到端的双工模型。

SLAM-Omni: 单阶段训练下支持可控音色的语音对话模型

近几个月来，许多端到端的语音对话系统涌现，旨在解决级联系统中交互延迟过高以及基于文本交互下副语言信息丢失的问题。然而，目前大多数语音对话模型依赖于大量的语音对话数据以及高昂的训练代价，且存在响应音色单一的弊端。

近日，上海交通大学计算机系X-LANCE实验室联合微软亚洲研究院推出了面向低资源场景下支持可控音色的语音对话模型——SLAM-Omni。该模型只需要在4张GPU上单阶段训练15小时，即可获得远超此前同等规模模型的对话能力，并且具有优越的语音质量以及生成语音-文本一致性。在更大规模数据集上的实验表明SLAM-Omni在中文对话以及多轮对话上都有不俗的表现。

论文链接：https://arxiv.org/abs/2412.15649
Demo展示：https://slam-omni.github.io/

语音对话系统建模

本文首先探索了主流的语音对话系统建模方案，现有端到端系统主要通过将文本作为中间输出或隐藏状态来利用预训练的大语言模型（LLM）。这些方法可以分为文本驱动建模和音频-文本联合建模两类。

文本驱动建模保留了LLM原始架构，将文本隐状态传递给语音解码器生成音频，能够有效保留LLM的知识，使用其隐藏状态作为语音解码器的输入用于音频生成，但由于只使用文本tokens进行自回归建模，难以捕捉音频的情感和语调等副语言特征。音频-文本联合建模分为交替和并行两种范式，均将音频 tokens加入自回归建模，理论上提升对非语言信息的建模能力。交替范式通过交替使用文本和音频tokens进行生成，需要大量的语音-文本交替数据并重新训练LLM。而并行范式则并行地对文本和音频tokens自回归生成。SLAM-Omni在此基础上，通过预测单层语义tokens并结合语义分组建模的方式来加速音频生成，显著降低了训练成本。

主要贡献：

提出了第一个针对具有说话者解耦语义token的语音交互系统的零样本音色控制解决方案。
提出语义组建模方法来加速单层语义语音标记生成和模型训练。
历史文本提示是为了在SDM【Existing spoken dialogue models】中进行高效的多轮历史建模而提出的。
SLAM-Omni 是第一个实现单阶段训练的语音助手，需要最少的数据和计算资源。
实验表明，SLAM-Omni 在文本相关任务上优于类似规模的先前模型，并且在所有现有 SDM 中在声学质量和语音文本对齐方面表现出卓越的性能。更大数据集上的结果证明了其多语言和多轮对话能力。

方法

模型概述

SLAM-Omni通过将系统提示、历史文本提示和用户语音嵌入拼接作为输入，并在Vocoder中通过语者提示来控制音色【 借鉴TTS模型 cosyvoice： 条件流匹配模型 +HifiGAN】；同时，采用语义分组建模加速自回归过程中的语音token生成。

输入语音建模

SLAM-Omni使用Whisper编码器从用户语音指令中提取音频特征（50 Hz）。Whisper作为在大规模跨语言语音数据上训练的语音识别模型，提供了精准的转录和强大的多语言支持，是SLAM-Omni实现多轮多语言对话能力的基础。我们通过降采样处理音频特征，将多个连续帧合并，并通过线性投影将其转换为与LLM嵌入维度对齐的形式。这些处理后的音频特征与文本提示嵌入一起，作为输入传递给LLM。

输出语音建模

在语音输出方面，SLAM-Omni采用并行的音频-文本联合建模，并行地自回归预测文本和音频的语义tokens。为此，我们扩展了LLM的词表，新增了音频tokens的码本，并将原始的词嵌入矩阵与新嵌入合并。在每个生成步骤中，LLM输出的logits包含了文本和音频tokens的预测分布。然而，由于文本tokens（约为3Hz）和音频语义tokens（50Hz）的频率差异，直接以相同速率生成这两种tokens会导致语音对话模型的训练和推理成本大幅增加，同时增加了实时语音生成的延迟。

为了解决这一问题，本文提出了“语义分组建模”方法，每步生成多个音频tokens，从而缓解频率不匹配带来的挑战。该方法通过线性层将音频logits投影到分组logits中，并对应的在训练过程中将原语义token序列按组进行划分。通过这种方式，模型能够在自回归过程的每步中同时处理多个音频tokens，从而加速语音生成并极大地降低训练和推理的成本。模型的训练目标可以表示为文本层和音频层交叉熵损失的加权和。

可控音色建模

SLAM-Omni通过将语音内容建模为语义tokens，天然地实现了音色与语言信息的解耦，将zero-shot音色控制从TTS扩展到了语音对话系统上。借鉴TTS模型（Cosyvoice）中的技术，SLAM-Omni使用条件流匹配模型将语义tokens和语者提示信息转换为mel频谱图，并通过HiFi-GAN合成波形。此外，为了支持实时语音生成，SLAM-Omni在流匹配的Transformer架构中采用了块因果注意力机制。

过去的语音对话模型在多轮对话建模上通常将文本和音频tokens交替作为历史，但较长的音频token序列显著提高了训练成本，限制了对话轮次。此外，较长的历史也会影响模型的上下文学习能力，并可能导致早期对话内容的遗忘。为了解决这些问题，SLAM-Omni引入“历史文本提示”（Historical Text Prompting）的方案，仅使用文本模态来表示对话历史。在多轮对话交互中，SLAM-Omni采用模板：<系统提示> <历史文本> <输入> <响应>。其中，系统提示指定模型角色和任务，历史提示则以文本形式存储过去的对话内容。这种方式与LLM的训练模式高度契合，同时避免了长音频序列建模的负担，使得模型能够在受限的上下文窗口内处理更多的对话轮次。在推理过程中，通过Whisper提取的语音特征可以解码成输入语音的转录文本，模型输出的文本tokens则通过分词器转换为文本。每轮对话中，由此得到的问题-响应文本对会被追加到历史对话中，以便下一轮使用。如图所示，第一轮语音对话的转录被纳入历史提示中，第二轮推理时计算得到的KV键值缓存可以在第三轮及以后的对话中复用，从而提高多轮推理的效率。

单阶段训练

此前的端到端语音对话模型通常需要进行模态适配、模态对齐和有监督微调等多阶段训练，这不仅需要精细的训练策略，还涉及多个超参数的调整，带来了显著的时间和计算成本。而SLAM-Omni通过简化为单阶段微调训练，能够在较小的数据集上快速收敛，展现了高效的训练效果。在我们的实验探索中，TTS和ASR的预训练都展示了快速的损失收敛，表明我们的方法无需大规模的模态对齐预训练。同时，进一步的实验还揭示，预训练实际上可能对模型的指令跟随能力和预训练知识保留产生负面影响。

实验设置

由于大多数开源的对话数据集仅为文本格式，我们通过zero-shot TTS系统合成语音对话语料。具体而言，我们使用CosyVoice模型生成用户输入的语音，同时随机从音色库中抽取语者提示，以控制音色。对于语音响应，我们使用CosyVoice模型生成语义tokens，它们在SLAM-Omni训练过程中作为目标音频tokens使用。我们使用的训练数据集包括VoiceAssistant-400K、英语多轮数据集UltraChat和中文对话数据集Belle_train_3.5M_CN。为了确保数据质量，我们清理了数据中的书面体（如表情符号、URL等），并限制了语音问题和响应的时长，以更好地模拟自然对话场景。在SLAM-Omni的主要实验中，仅使用VoiceAssistant-400K数据集，其他数据集则用于补充实验，评估模型在多轮和多语言对话任务中的表现。

对于用户输入，采用CosyVoice-300M模型来产生相应的语音。声音音色是通过从音色库中随机采样扬声器提示来控制的，该音色库包含来自seed-tts-eval3的1007个英语和1010个中文人类音频提示。对于助理响应，我们使用 CosyVoice-300M-SFT 的文本到令牌 LLM 来生成语义令牌，这些令牌在 SLAM-Omni 训练期间用作目标音频令牌

在训练和推理过程中，为确保在低资源环境下的公平比较，我们使用Qwen2-0.5B作为LLM骨干，并选择Whisper-small作为语音编解码器。在主要实验中，SLAM-Omni采用的语义分组大小为G = 3。在单阶段训练中，SLAM-Omni进行全量微调，只有Whisper编码器保持冻结。整个训练过程大约需要在4个A100 GPU上进行15小时。

为了全面评估语音对话模型的语音交互能力，本文提出了一个新的评测框架，涵盖理解、推理和口语对话三个关键环节。通过设计八个测试集，我们分别从这三方面考察模型的表现。在“理解”部分，评估模型是否能够理解并跟随用户指令；在“推理”部分，通过逻辑、数学和常识问题测试模型的推理能力；而在“口语对话”部分，我们测试模型在开放式对话场景下的交互能力。评估指标包括内容质量（通过ChatGPT评分）、语音质量（通过UTMOS评分）以及语音与文本的一致性（通过WER评分）。

实验结果

实验结果表明，SLAM-Omni在低资源场景下的表现超越了同规模的语音对话模型，在语音内容、音频质量和语音-文本一致性上显著提升，特别是在UTMOS和ASR-WER评分上表现突出，显示出其在音频建模方面的优势。在ChatGPT评测中，尽管和更大规模的模型相比仍存在差距，SLAM-Omni在理解、推理和口语对话能力上显著超越了同规模的Mini-Omni系列，表明其保留了更多的预训练LLM知识和指令跟随能力。

在音频质量和语音-文本一致性上，SLAM-Omni的表现优于所有其他语音对话模型，特别是在ASR-WER指标上，表明其语音-文本对齐更加紧密。而其他模型在生成过程中容易出现生成音频与文本不对齐的情况，尤其在长内容生成时，容易出现音频中断或长时间的静默，导致其UTMOS和ASR-WER评分较低。

消融实验表明，语义分组建模显著提高了生成语音与文本的对齐度，尤其当组大小G≥3时，ASR-WER低于5%，相比之下，没有执行分组算法的模型（G=1）的ASR-WER高达18.23%。这一差距主要来源于音频和文本token之间的频率不匹配。通过减少音频序列长度，语义分组建模有效缓解了这一问题，同时减少了训练和推理成本，并加速了音频生成，提供了更流畅的用户体验。

关于训练策略的消融实验表明，传统的多阶段训练方法虽然能略微提高模型的音频-文本对齐度，但在语音交互任务上的整体表现并未显著改善。相比之下，SLAM-Omni采用单阶段训练策略，显著提高了ChatGPT评分，并保持了相当的音频质量。通过直接在语音到语音数据上进行单阶段微调，SLAM-Omni能够更好地保留预训练LLM的知识，避免了传统预训练任务带来的知识流失问题，提高了训练效率。

附录：

Pre-training Details

对于ASR和TTS预训练，专门使用VoiceAssistant-400K数据集来确保一致性并避免引入外部数据。在 ASR 预训练期间，提供语音指令作为输入，其相应的转录文本作为目标输出。相反，对于 TTS 预训练，语音响应的转录被用作输入文本，而相应的语义token被设置为预测目标。优化和学习策略与微调期间采用的策略一致，值得注意的是，在 ASR 预训练期间仅计算文本层损失，而 TTS 预训练专门关注多层音频损失作为训练目标。

曲线显示，ASR 和 TTS 任务都实现了快速收敛，证明了模型在短时间内有效“理解”和“生成”语音的能力。这一观察表明，理解和生成任务中的模态对齐本质上是简单的，需要最少的预训练工作。此外，如表 6 所强调的，直接对语音到语音任务进行训练可以产生卓越的性能，同时减轻通常与预训练相关的知识退化。

总结

本文提出了SLAM-Omni，一种单阶段训练下支持可控音色的端到端语音对话模型。通过语义分组建模，SLAM-Omni有效地对齐了音频和文本模态，同时加速了训练和推理过程。采用有监督的语义tokens解耦说话人信息，使得SLAM-Omni实现zero-shot音色控制。为了解决长音频历史带来的问题，我们引入了历史文本提示技术，将对话历史存储为文本，并通过键值缓存提高多轮推理效率。在少量数据训练仅仅60个GPU小时下，SLAM-Omni在文本相关能力上超越了同规模的语音对话模型，并在音质和语音-文本对齐方面表现优越。

MiniCPM-o 2.6: 端侧可用的 GPT-4o 级视觉、语音、多模态实时流式大模型

Github：https://github.com/OpenBMB/MiniCPM-o 【微调和推理代码开源】
Online Demo US/CN
MiniCPM-o 2.6 🤗 国内🤖 国外🤖 | MiniCPM-V 2.6 🤗 🤖 | 📄 技术报告 [中文/English]

➤ 项目网站 https://github.com/OpenBMB/MiniCPM-o

➤ 模型权重 https://huggingface.co/openbmb/MiniCPM-o-2_6

https://modelscope.cn/models/OpenBMB/MiniCPM-o-2_6

➤ Demo https://minicpm-omni-webdemo-us.modelbest.cn/

MiniCPM-o 2.6部署教程 详细的部署教程请参考文档。

简介

多模态大模型的蓬勃发展始于视觉和语言，其中开源社区在图像理解能力方面实现了越来越强的性能表现。然而，我们的物理世界本质上是一个并行的连续多模态信息流，而当前大多数多模态大模型缺乏处理这样信息流的能力。最近的 GPT-4o 和 Gemini 2.0 等突破性工作迈出了朝这个目标的第一步，为领域的未来发展建立了雄心勃勃且充满希望的方向。

为了促进开源社区的探索，我们推出了 MiniCPM-o 2.6，一个从 MiniCPM-V 系列升级而来的最新性能最佳的端侧多模态大模型。该模型接受图像、视频、文本和音频输入，并以端到端方式生成高质量的文本和语音输出。虽然总参数量仅有 8B，MiniCPM-o 2.6 的视觉、语音和多模态流式能力达到了 GPT-4o-202405 级别，是开源社区中模态支持最丰富、性能最佳的模型之一。其主要特性包括：

领先的视觉能力。 MiniCPM-o 2.6 在 OpenCompass 榜单上（综合 8 个主流多模态评测基准）平均得分 70.2，以 8B 量级的大小在单图理解方面超越了 GPT-4o-202405、Gemini 1.5 Pro 和 Claude 3.5 Sonnet 等主流商用闭源多模态大模型。此外，它的多图和视频理解表现也优于 GPT-4V 和 Claude 3.5 Sonnet，并展现出了优秀的上下文学习能力。
出色的语音能力。 MiniCPM-o 2.6 支持可配置声音的中英双语实时语音对话。MiniCPM-o 2.6 在语音理解任务（如 ASR 和 STT 等）优于 GPT-4o-realtime，并在语音对话的语义和声学评估中展现了开源社区最佳的语音生成性能。它还支持情绪/语速/风格控制、语音克隆、角色扮演等进阶能力。
强大的多模态流式交互能力。 作为一项新功能，MiniCPM-o 2.6 能够接受连续的视频和音频流，并和用户进行实时语音交互。在综合评测基准 StreamingBench 中（包含实时视频理解、全模态视音频理解、多模态上下文理解三大类评测），MiniCPM-o 2.6 取得开源社区最佳水平，并超过了 GPT-4o-202408 和 Claude 3.5 Sonnet。
强大的 OCR 能力及其他功能。 MiniCPM-o 2.6 进一步优化了 MiniCPM-V 2.6 的众多视觉理解能力，可以处理任意长宽比的高清图像，像素数可达 180 万（如 1344×1344像素）。在 OCRBench 上取得 25B 以下最佳水平，超过 GPT-4o-202405 等商用闭源模型。基于最新的 RLHF-V、RLAIF-V 和 VisCPM 技术，该模型具备了可信的多模态行为，在 MMHal-Bench 上超过了 GPT-4o 和 Claude 3.5，并支持英语、中文、德语、法语、意大利语、韩语等30多种语言的多模态交互。
卓越的效率。 除了对个人用户友好的模型大小，MiniCPM-o 2.6 还表现出最先进的视觉 token 密度（即每个视觉 token 编码的像素数量）。它仅需 640 个 token 即可编码 180 万像素图像，比大多数模型少 75%。这一特性显著优化了模型的推理速度、首 token 延迟、内存占用和功耗。因此，MiniCPM-o 2.6 可以首次支持 iPad 等终端设备上的高效多模态实时流式交互。

多模态大模型发展趋势。多模态大模型的性能持续增强，并在真实世界的流式场景中支持越来越多的模态能力。与传统视觉语言模型的线性发展不同，这种发展趋势更加多维，就像攀登深处的山峰一样，可能蕴含更多变革性的宝藏。

我们将介绍 MiniCPM-o 2.6 中所面临的主要挑战及其相应的解决方案。

🤔 如何实现多模态流式交互？

人类能够持续感知来自环境的视觉、音频和文本信息流，并以较低延迟生成语音和文本回复，但这对当前的多模态大模型来说是一个重大挑战。

💡 1. 我们将各模态的离线编码/解码器改造为支持在线模式，从而支持流式输入/输出处理。

大多数模态的编码器和解码器都是离线的，大语言模型必须等待完整的视觉/音频输入的编码完成后才能进行处理，用户也必须等待语音完整生成后才能收听。我们在时间维度上将不同模态的输入/输出流分割成小块，并以块为单位进行编码/解码以实现更低的延迟。对于语音生成来说，我们设计了一种新颖的流式注意力策略使解码器能够在接收到第一个文本块时就开始生成音频。

💡 2. 我们提出了一种全模态时分复用机制来处理并行多模态流。

借鉴通信领域的时分复用技术，我们将每个模态的信息流分割成小块（每秒一块），并将同一秒内的所有模态信息组合成一个紧凑的序列单元输入给大语言模型主干。基于这个策略，主干模型可以高效地在线处理多模态信息流。

🤔 如何实现高效的端到端声音、情感、口音和语速可控的语音对话？

大多数传统语音对话模型都是基于 ASR-LLM-TTS 流水线实现的，会丢失大量用户复杂情感和环境声音等细粒度信息。而直接使用大语言模型生成音频 token 的端到端模型在训练和推理过程中都存在计算效率低的问题，且训练时数据效率也较低。

💡 我们基于混合的端到端架构在自然语音上进行了大规模预训练。

我们同时通过连续特征和文本将大语言模型和一个轻量级语音解码器连接起来。大语言模型产生的连续特征确保语音监督信号能够以端到端方式反向传播到全部模型参数，从而支持更高的能力上限。文本连接则提供了强大的语义控制并减少了训练数据需求。为了学习丰富的细粒度语音知识，我们在自然语音数据进行了大规模预训练，然后将模型与用户指令对齐。

端到端全模态架构

我们首先介绍 MiniCPM-o 2.6 的端到端全模态整体架构。该模型基于SigLip-400M、Whisper-medium-300M、ChatTTS-200M 和 Qwen2.5-7B-Instruct，总共有 8B 参数。整体架构如下所示。

端到端语音建模

大多数现有的多模态模型依赖 ASR 和 TTS 工具搭建流水线来理解和生成语音，导致了明显的语音信息损失和比较有限的语音控制能力。我们提出一种混合连接的端到端语音建模架构，在保证模型能力上限的同时具备优秀的训练和推理效率。

音频编码

我们首先使用 Whisper 编码音频输入，然后进一步压缩其特征表示来减小后续的计算开销。默认情况下，Whisper 编码器会为每秒音频生成 50 个 token。受 LLaVA-UHD 的启发，我们在将音频 token 输入到大语言模型主干之前会进一步压缩音频 token，以提高 token 信息密度和计算效率。实验结果表明从 50 token/秒压缩到 25 token/秒时，造成的信息损失几乎可以忽略，并可提高近一倍的计算效率。

语音解码

为了实现对语音输出的精细控制，我们首先从大语言模型主干中获得连续特征作为 speech embedding，然后通过大语言模型继续生成文本。speech embedding 和生成的文本同时会输入给解码器作为生成语音梅尔谱的控制条件。MiniCPM-o 2.6 使用了初始化自 ChatTTS 的轻量级自回归语音解码器来联合建模输入的 speech embedding、文本和输出的音频 token。

语音到语音架构

我们直接通过编码后的音频特征（不使用 ASR）将音频编码器与大语言模型连接起来。大语言模型和语音解码器则以混合方式连接：（1）speech embedding 连续特征控制语音、情感、口音及其他细粒度语音特征。在训练过程中，来自语音解码器的梯度会反向传播到包含大语言模型主干和音频编码器的整个模型参数。模型通过端到端方式训练，没有使用任何中间损失和监督。（2）我们还将来自大语言模型的文本输入到语音解码器，来提供更好的语义控制和训练数据效率。

得益于端到端的架构设计，MiniCPM-o 2.6 成为首个支持端到端语音克隆的通用语音对话模型。我们发现 MiniCPM-o 2.6 在语音克隆任务中可以达到与一些专业 TTS 工具相近的性能。

端到端视觉理解

MiniCPM-o 2.6 采用 LLaVA-UHD 的自适应视觉编码方案以实现高清视觉理解，支持处理最高 180 万像素（例如 1344×1344）的任意长宽比图像。具体而言，我们先将图像划分为多个切片，使得每个切片在分辨率和长宽比方面接近 ViT 的预训练设置。为了提高计算效率，我们支持每张图像最多 9 个切片。然后我们将每个切片及原始完整图像输入给 SigLIP 以获取视觉特征。最后，我们应用 perceiver resampler 将每个图像切片的特征序列压缩为 64 个视觉 token。更多细节参见 LLaVA-UHD 和MiniCPM-V 原始论文。

全模态流式机制

本章我们介绍 MiniCPM-o 2.6 的全模态流式机制，包括：（1）改造语音编码器和解码器以支持在线流式处理，（2）使大语言模型主干能够处理并行的多模态流信息。

流式音频编码

大多数现有模型只能在整个音频输入信号完整后才开始进行音频编码，从而引入了显著的延迟。为了解决这个问题，我们将输入音频分割成多个片段，每个片段是表示一秒钟的音频的固定数量音频 token。在音频编码过程中，每个片段都采用因果注意力机制进行编码，仅关注自身及之前的片段，从而满足在线流式编码的需求，同时与离线整体编码相比保持了最小的信息损失。

流式语音解码

大多数语音生成模型要求在开始生成音频之前，所有文本 token 都已经完整就位，如图 A 所示。虽然这种方式在离线任务中表现良好，但无法满足流式场景的需求。对于流式模型而言，我们需要在部分文本生成时就开始生成（和播放）相应音频。

为了实现流式语音生成，我们每次输入固定数量的文本 token（一个大小为 n 的片段），而解码器立即输出固定数量的音频 token（一个大小为 m 的片段）。这个过程会对下一个文本 token 和音频 token 片段重复进行，以此类推。值得注意的是，文本片段与其对应音频片段之间的并不是精确对齐的。因此在实际应用中，我们为文本 token 片段的大小保留了更大的空余以避免意外情况。

为了实现上述流式策略并尽可能减小对当前最佳语音解码器的改动，我们主要引入了两个改变：

为文本预留前 N 个位置： 我们使用语音解码器上下文中的前 N 个位置来放置 speech embedding 和生成中的文本。
引入流式因果注意力掩码：每个新生成的音频片段只能关注到已经生成的前几个文本 token 片段和其之前的所有音频 token。

在图 A-E 中，我们展示了每当引入新文本 token 和音频 token 时，注意力掩码是如何一步一步变化的。通过控制文本和音频 token 之间的片段注意力掩码，我们使得音频能以流式方式生成和播放。

（文本和音频生成的开始） 在图 B 中，大语言模型主干生成 speech embedding 和前 n 个文本 token（此处 n=2）。然后，我们将 <Text BOS>（1 个位置）、speech embedding（1个位置）和文本 token（n个位置）输入到语音解码器中（总共输入了 2+n 个位置），基于此，模型可以生成最多 m 个音频 token（此处 m=4），但仅关注前 2+n 个位置以及所有之前的音频 token 位置。
（步骤 1 的重复） 在图 C 中，大语言模型生成下一段 n 个文本 token。我们将这些新文本 token 输入到语音解码器中。然后，解码器生成下一段 m 个音频 token。
（文本生成结束） 在图 D 中，大语言模型完成所有文本 token 的生成，产生了最后的 k 个文本 token（k<=n，此处 k=2）。剩余的 k 个文本 token 被输入到语音解码器中。然后，语音解码器生成下一个m个音频 token。
（音频生成结束） 在图 E 中，语音解码器继续生成音频 token，直到生成 <Audio EOS> token。

这里的 N、n 和 m 是超参数。在实际应用中，我们使用 N=300、n=10、m=50，以实现性能与推理速度之间的平衡。

流式视觉理解

我们将视频流表示为以 1 帧每秒（1 fps）的帧序列。我们每秒钟从输入的视觉流中采样一帧，并使用自适应高分辨率编码策略对其进行编码，然后将编码后的特征输入给大语言模型主干。

为了在效率和性能之间取得平衡，我们设计了一种简单的混合分辨率策略。具体而言，我们只对用户请求结束时的最后一帧进行高分辨率编码（例如 1344 x 896），而其他帧则使用中等分辨率（例如 448 x 448）。

全模态时分复用

为了实现对不同模态的时间对齐的流式理解，我们提出了一种全模态时分复用机制。如整体框架图所示，我们首先使用共享的时间线对齐来自多个模态的信息流。受到通信领域时分复用技术的启发，我们将每个模态的流分成小块（每秒一块），并将同一秒块内的所有模态信息聚集成一个紧凑的序列单元。大语言模型则按时间顺序处理这些多模态序列单元。

需要注意的是，MiniCPM-o 2.6 可以独立于用户提问持续感知多模态输入流，这与现有的多模态流式模型只在用户提问期间获取单帧或少数几帧图像信息是不同的。通过这种方式，MiniCPM-o 2.6 能够处理需要时序记忆和推理的任务（例如，“球在哪个杯子里？”、“我刚才擦掉了哪些字？”）并原生支持多轮流式对话。

延迟分析

我们提供了纯音频模式下首次响应延迟的具体拆解分析。首次响应延迟指从用户请求结束到模型语音开始播放的延迟。作为参考，GPT-4o 在纯语音模式下的初始响应延迟约为 1.8 秒。MiniCPM-o 2.6 在iPad Pro（M4 芯片）上的初始响应延迟分解如下表所示：

多模态系统提示词

社区在使用文本提示词方面已经积累了丰富的经验，一个好的系统提示可以定义模型的角色、增强其准确性、优化细节表现和令模型聚焦重点。

生成语音回复的端到端全模态模型则面临新的挑战。模型输出的音频特征——如声音、语调、口音和其他细微特征至关重要，但无法仅通过文本传达。为了应对这一挑战，我们提出了多模态系统提示词的概念，允许用户通过声学特征控制模型的声音使其与用户意图相符。

具体来说，多模态系统提示词包括传统的文本系统提示词和用于确定模型声音的音频部分。这一设计使得用户在推理时可以灵活配置声音。用户可以通过提供一段语音样例作为音频系统提示，来完成端到端的声音克隆；还可以通过将音频系统提示留空，基于语言描述要求模型创建一种新声音（例如 “请使用低沉有磁性的声音和我说话”）。

模型训练

MiniCPM-o 2.6 采用多阶段训练以逐步学习新模态的知识，从而避免模态冲突并将各种模态能力整合到一个模型中。整体的训练阶段可以分为预训练、指令微调和偏好对齐阶段。

预训练

我们首先分别对视觉和音频进行预训练以学习每种模态，然后进行全模态预训练以对齐这些模态。

视觉预训练。 我们利用大规模图像-文本对来对齐视觉和语言模块。在此阶段，我们仅更新视觉编码模块，让模型具备基本的图像理解和 OCR 能力。然后，我们在图文交替数据上训练视觉编码器和大语言模型，使模型具备多图理解和多模态上下文学习能力。

音频预训练。 我们使用音频-文本对数据来训练连接部分的权重，以实现音频模态和主干的对齐。为了学习丰富的细粒度语音知识，我们在自然语音数据上进行大规模端到端的预训练，然后根据用户指令对模型进行对齐。

全模态预训练。 在这一阶段，我们结合来自大规模网络视频的视频和音频流，使用 OTDM 机制使模型能够从不同模态中获取和对齐丰富的知识。

全模态指令微调

该阶段使用高质量的多模态数据进行监督微调，包括视觉问答、语音理解、语音生成和多模态流式视频（带音频）理解数据。我们对模型进行全参数微调以统一模型的视觉能力、语音理解和生成能力，以及流式多模态能力，同时增强模型的指令遵循能力。

偏好对齐

最后，MiniCPM-o 2.6 采用 RLAIF-V 技术以进一步提高模型的可信度和综合能力。在这个阶段，模型使用分而治之的策略对不同的回复进行评分以构建偏好数据集，并进行直接偏好优化训练（DPO）。同时，我们还特别将相比图像幻觉更常见的视频幻觉比例降低了63%。我们也使用了 MMPR 等开源偏好数据集来多样化训练数据。

评测

我们充分评估了 MiniCPM-o 2.6 的视觉理解、语音对话和多模态流式交互能力。实验结果表明，该模型在视觉、语音和多模态流式交互能力上的整体表现与 GPT-4o-202405 相当。

MiniCPM-o 2.6 的 iPad Pro 实机演示和 web demo 演示样例：

局限性

可能不稳定的语音输出。 多模态系统提示词使得更灵活的语音控制和许多有趣的功能成为可能，但也给语音输出的稳定性带来了更多挑战。传统的语音对话模型通过全参数记忆单一输出声音，与之相比，MiniCPM-o 2.6 需要从多模态系统提示词中提取和复制声音。受到该问题影响，语音生成结果可能会存在背景噪音和无意义声音等。
长语音生成。MiniCPM-o 2.6 原生支持最长 45 秒的单次语音生成，我们通过滑动窗口技术来支持生成更长的语音。模型训练与滑动窗口推理之间的差距可能导致长语音生成过程中的不稳定现象。
多模态流式交互能力。 作为一项实验性能力，模型的多模态流式交互能力在感知、理解和推理能力上仍然有限。我们期待社区的共同努力构建更优秀和可靠的性能效果。
网页 demo 高延迟。 用户在使用托管在海外服务器上的网页 demo 时可能会遇到异常的高延迟情况。我们建议在本地部署 demo（例如 4090 GPU 可以流畅运行）或使用合适的网络连接。

参考文献

Speech Datasets Collection-语音数据集汇总

来源：https://github.com/RevoSpeechTech/speech-datasets-collection

文本翻译数据集：https://opus.nlpl.eu/

openslr 下载：

1）修改为国内地址

例如 aishell，默认的run.sh里写的是www.openslr.org/resources/33，需要改为国内站点，http://openslr.magicdatatech.com/resources/33。

其他目录可以看： http://openslr.magicdatatech.com/resources.php

在使用 wget 下载文件时，如果遇到下载速度慢的问题，可以通过以下几种方法加速下载：

1. 使用多个连接

wget 默认只使用单个连接进行下载，但是你可以使用 aria2 这种工具，它支持多线程下载，显著加速下载速度。aria2 可以通过以下命令安装：

sudo apt install aria2  # For Ubuntu/Debian
brew install aria2  # For macOS

然后你可以使用 aria2 下载文件：

aria2c -x 16 -s 16 <URL>

-x 16 表示使用 16 个连接来下载文件，-s 16 表示将下载源分为 16 个部分。

2. 使用 `--limit-rate` 限制下载速度

虽然这并不会直接加速下载，但如果下载的速度不稳定，设置一个合理的速率限制可以避免带宽波动影响速度。在命令中加上 --limit-rate 参数：

wget --limit-rate=1m <URL>

这将限制下载速度为每秒 1 MB。

3. 启用断点续传

如果下载过程中断，可以使用 -c 或 --continue 参数来启用断点续传，从中断的地方继续下载：

wget -c <URL>

This is a curated list of open speech datasets for speech-related research (mainly for Automatic Speech Recognition).

Over 110 speech datasets are collected in this repository, and more than 70 datasets can be downloaded directly without further application or registration.

Notice:

This repository does not show corresponding License of each dataset. Basically it’s OK to use these datasets for research purpose only. Please make sure the License is suitable before using for commercial purpose.
Some small-scale speech corpora are not shown here for concision.

1. Data Overview

Dataset Acquisition	Sup/Unsup	All Languages (Hours)	Mandarin (Hours)	English (Hours)
download directly	supervised	199k +	2110 +	34k +
download directly	unsupervised	530k +	1360 +	68k +
download directly	total	729k +	3470 +	102k +
need application	supervised	53k +	16740 +	50k +
need application	unsupervised	60k +	12400 +	57k +
need application	total	113k +	29140 +	107k +
total	supervised	252k +	18850 +	84k +
total	unsupervised	590k +	13760 +	125k +
total	total	842k +	32610 +	209k +

Mandarin here includes Mandarin-English CS corpora.
Sup means supervised speech corpus with high-quality transcription.
Unsup means unsupervised or weakly-supervised speech corpus.

2. List of ASR corpora

a. datasets can be downloaded directly

id	Name	Language	Type/Domain	Paper Link	Data Link	Size (Hours)
1	Librispeech	English	Reading	[paper]	[dataset]	960
2	TED_LIUM v1	English	Talks	[paper]	[dataset]	118
3	TED_LIUM v2	English	Talks	[paper]	[dataset]	207
4	TED_LIUM v3	English	Talks	[paper]	[dataset]	452
5	MLS	Multilingual	Reading	[paper]	[dataset]	50k +
6	thchs30	Mandarin	Reading	[paper]	[dataset]	35
7	ST-CMDS	Mandarin	Commands	–	[dataset]	100
8	aishell	Mandarin	Recording	[paper]	[dataset]	178
9	aishell-3	Mandarin	Recording	[paper]	[dataset]	85
10	aishell-4	Mandarin	Meeting	[paper]	[dataset]	120
11	aishell-eval	Mandarin	Misc	–	[dataset]	80 +
12	Primewords	Mandarin	Recording	–	[dataset]	100
13	aidatatang_200zh	Mandarin	Record	–	[dataset]	200
14	MagicData	Mandarin	Recording	–	[dataset]	755
15	MagicData-RAMC	Mandarin	Conversational	[paper]	[dataset]	180
16	Heavy Accent Corpus	Mandarin	Conversational	–	[dataset]	58 +
17	AliMeeting	Mandarin	Meeting	[paper]	[dataset]	120
18	CN-Celeb	Mandarin	Misc	[paper]	[dataset]	unsup(274)
19	CN-Celeb2	Mandarin	Misc	[paper]	[dataset]	unsup(1090)
20	The People’s Speech	English	Misc	[paper]	[dataset]	30k +
21	Multilingual TEDx	Multilingual	Talks	[paper]	[dataset]	760 +
22	VoxPopuli	Multilingual	Misc	[paper]	[dataset]	sup(1.8k) unsup(400k)
23	Libri-Light	English	Reading	[paper]	[dataset]	unsup(60k)
24	Common Voice (Multilingual)	Multilingual	Recording	[paper]	[dataset]	sup(15k) unsup(5k)
25	Common Voice (English)	English	Recording	[paper]	[dataset]	sup(2200) unsup(700)
26	JTubeSpeech	Japanese	Misc	[paper]	[dataset]	1300
27	ai4bharat NPTEL2020	English(Indian)	Lectures	–	[dataset]	weaksup(15.7k)
28	open_stt	Russian	Misc	–	[dataset]	20k +
29	ASCEND	Mandarin-English CS	Conversational	[paper]	[dataset]	10 +
30	Crowd-Sourced Speech	Multilingual	Recording	[paper]	[dataset]	1200 +
31	Spoken Wikipedia	Multilingual	Recording	[paper]	[dataset]	1000 +
32	MuST-C	Multilingual	Talks	[paper]	[dataset]	6000 +
33	M-AILABS	Multilingual	Reading	–	[dataset]	1000
34	CMU Wilderness	Multilingual	Misc	[paper]	[dataset]	unsup(14k)
35	Gram_Vaani	Hindi	Recording	[paper] [code]	[dataset]	sup(100) unsup(1k)
36	VoxLingua107	Multilingual	Misc	[paper]	[dataset]	unsup(6600 +)
37	Kazakh Corpus	Kazakh	Recording	[paper] [code]	[dataset]	335
38	Voxforge	English	Recording	–	[dataset]	130
39	Tatoeba	English	Recording	–	[dataset]	200
40	IndicWav2Vec	Multilingual	Misc	[paper]	[dataset]	unsup(17k +)
41	VoxCeleb	English	Misc	[paper]	[dataset]	unsup(352)
42	VoxCeleb2	English	Misc	[paper]	[dataset]	unsup(2442)
43	RuLibrispeech	Russian	Read	–	[dataset]	98
44	MediaSpeech	Multilingual	Misc	[paper]	[dataset]	40
45	MUCS 2021 task1	Multilingual	Misc	–	[dataset]	300
46	MUCS 2021 task2	Multilingual	Misc	–	[dataset]	150
47	nicolingua-west-african	Multilingual	Misc	[paper]	[dataset]	140 +
48	Samromur 21.05	Samromur	Misc	[code]	[dataset] [dataset][dataset]	145
49	Puebla-Nahuatl	Puebla-Nahuatl	Misc	[paper]	[dataset]	150 +
50	Golos	Russian	Misc	[paper]	[dataset]	1240
51	ParlaSpeech-HR	Croatian	Parliament	[paper]	[dataset]	1816
52	Lyon Corpus	French	Recording	[paper]	[dataset]	185
53	Providence Corpus	English	Recording	[paper]	[dataset]	364
54	CLARIN Spoken Corpora	Czech	Recording	–	[dataset]	1120 +
55	Czech Parliament Plenary	Czech	Recording	–	[dataset]	444
56	(Youtube) Regional American Corpus	English (Accented)	Misc	[paper]	[dataset]	29k +
57	NISP Dataset	Multilingual	Recording	[paper]	[dataset]	56 +
58	Regional African American	English (Accented)	Recording	[paper]	[dataset]	130 +
59	Indonesian Unsup	Indonesian	Misc	–	[dataset]	unsup (3000+)
60	Librivox-Spanish	Spanish	Recording	–	[dataset]	120
61	AVSpeech	English	Audio-Visual	[paper]	[dataset]	unsup(4700)
62	CMLR	Mandarin	Audio-Visual	[paper]	[dataset]	100 +
63	Speech Accent Archive	English	Accented	[paper]	[dataset]	TBC
64	BibleTTS	Multilingual	TTS	[paper]	[dataset]	86
65	NST-Norwegian	Norwegian	Recording	–	[dataset]	540
66	NST-Danish	Danish	Recording	–	[dataset]	500 +
67	NST-Swedish	Swedish	Recording	–	[dataset]	300 +
68	NPSC	Norwegian	Parliament	[paper]	[dataset]	140
69	CI-AVSR	Cantonese	Audio-Visual	[paper]	[dataset]	8 +
70	Aalto Finnish Parliament	Finnish	Parliament	[paper]	[dataset]	3100 +
71	UserLibri	English	Reading	[paper]	[dataset]	–
72	Ukrainian Speech	Ukrainian	Misc	–	[dataset]	1300+
73	UCLA-ASR-corpus	Multilingual	Misc	–	[dataset]	unsup(15k) sup(9k)
74	ReazonSpeech	Japanese	Misc	[paper] [code]	[dataset]	15k
75	Bundestag	German	Debate	[paper]	[dataset]	sup(610) unsup(1038)

b. datasets can be downloaded after application

id	Name	Language	Type/Domain	Paper Link	Data Link	Size (Hours)
1	Fisher	English	Conversational	[paper]	[dataset]	2000
2	WenetSpeech	Mandarin	Misc	[paper]	[dataset]	sup(10k) weaksup(2.4k) unsup(10k)
3	aishell-2	Mandarin	Recording	[paper]	[dataset]	1000
4	aidatatang_1505zh	Mandarin	Recording	–	[dataset]	1505
5	SLT 2021 CSRC	Mandarin	Misc	[paper]	[dataset]	400
6	GigaSpeech	English	Misc	[paper]	[dataset]	sup(10k) unsup(23k)
7	SPGISpeech	English	Misc	[paper]	[dataset]	5000
8	AESRC 2020	English (accented)	Misc	[paper]	[dataset]	160
9	LaboroTVSpeech	Japanese	Misc	[paper]	[dataset]	2000 +
10	TAL_CSASR	Mandarin-English CS	Lectures	–	[dataset]	587
11	ASRU 2019 ASR	Mandarin-English CS	Reading	–	[dataset]	700 +
12	SEAME	Mandarin-English CS	Recording	[paper]	[dataset]	196
13	Fearless Steps	English	Misc	–	[dataset]	unsup(19k)
14	FTSpeech	Danish	Meeting	[paper]	[dataset]	1800 +
15	KeSpeech	Mandarin	Recording	[paper]	[dataset]	1542
16	KsponSpeech	Korean	Conversational	[paper]	[dataset]	969
17	RVTE database	Spanish	TV	[paper]	[dataset]	800 +
18	DiDiSpeech	Mandarin	Recording	[paper]	[dataset]	800
19	Babel	Multilingual	Telephone	[paper]	[dataset]	1000 +
20	National Speech Corpus	English (Singapore)	Misc	[paper]	[dataset]	3000 +
21	MyST Children’s Speech	English	Recording	–	[dataset]	393
22	L2-ARCTIC	L2 English	Recording	[paper]	[dataset]	20 +
23	JSpeech	Multilingual	Recording	[paper]	[dataset]	1332 +
24	LRS2-BBC	English	Audio-Visual	[paper]	[dataset]	220 +
25	LRS3-TED	English	Audio-Visual	[paper]	[dataset]	470 +
26	LRS3-Lang	Multilingual	Audio-Visual	–	[dataset]	1300 +
27	QASR	Arabic	Dialects	[paper]	[dataset]	2000 +
28	ADI (MGB-5)	Arabic	Dialects	[paper]	[dataset]	unsup (3000 +)
29	MGB-2	Arabic	TV	[paper]	[dataset]	1200 +
30	3MASSIV	Multilingual	Audio-Visual	[paper]	[dataset]	sup(310) unsup(600)
31	MDCC	Cantonese	Misc	[paper]	[dataset]	73 +
32	Lahjoita Puhetta	Finnish	Misc	[paper]	[dataset]	sup(1600) unsup(2000)
33	SDS-200	Swiss German	Dialects	[paper]	[dataset]	200
34	Modality Corpus	Multilingual	Audio-Visual	[paper]	[dataset]	30 +
35	Hindi-Tamil-English	Multilingual	Misc	–	[dataset]	690
36	English-Vietnamese Corpus	English, Vietnamese	Misc	[paper]	[dataset]	500+
37	OLKAVS	Korean	Audio-Visual	[paper] [code]	[dataset]	1150

3. References

InternLM-XComposer2.5-OmniLive：用于长期流媒体视频和音频交互的综合多模态人工智能系统

Github ：https://github.com/InternLM/InternLM-XComposer/tree/main
paper：https://arxiv.org/abs/2412.09596

随着人工智能的发展，构建能够实时感知环境、进行复杂推理并记忆的系统，已成为研究者们追求的目标。这不仅要求 AI 系统能处理音频、视频和文本等多模态数据，还需在动态环境中模拟人类感知、推理与记忆的协同能力。然而，现有多模态大语言模型（MLLMs）在这方面仍存在诸多限制，尤其是在同时处理任务时的效率和可扩展性。

为解决这些问题，来自上海人工智能实验室、中国香港中文大学、复旦大学、中国科技大学、清华大学、北京航空航天大学和商汤集团的研究团队推出了一款创新框架——InternLM-XComposer2.5-OmniLive (IXC2.5-OL)。通过模块化设计，该系统将感知、记忆与推理功能解耦，实现了高效的实时多模态交互，为模拟人类认知提供了全新范式。

1.输入：流式的视频数据、流式的音频数据。
2.流式感知：感知模块对输入进行感知理解。
3.记忆：将感知到的数据作为记忆，写入到记忆池。
4.检索生成：从记忆池里检索到相关记忆，进行推理，得到输出。

(1) 一个**流式感知**模块支持流式视频和音频输入；(2) 一个**多模态长时记忆**模块，将短期记忆压缩成长期记忆；以及 (3) 一个推理模块，根据检索到的记忆回答查询。

现有系统的局限性

1）感知与推理的割裂 大部分主流模型采用序列到序列的架构，这种设计导致系统在处理多模态数据时，需要在感知和推理间频繁切换。例如，模型在分析视频流时可能会停顿以处理文本任务，类似于“人在观察时无法思考”的状态。

2）数据存储的低效 当前模型依赖扩展上下文窗口存储历史数据，但多模态数据（如视频流和音频流）会在短时间内生成海量信息，这种方法难以支撑长时间的数据积累。例如，一个小时的视频可能转化为数百万个标记，这对存储和检索都是巨大的挑战。

3）模型架构的单一性 现有方法如 Mini-Omni 和 VideoLLM-Online，虽然尝试填补文本与视频理解之间的鸿沟，但因过度依赖顺序处理和有限的记忆整合能力，难以达到人类级别的认知效果。

InternLM-XComposer2.5-OmniLive 的创新设计

IXC2.5-OL 通过模块化架构模拟人脑，将感知、记忆和推理分解为三个独立但协同工作的模块：

流式感知模块（Streaming Perception Module）
多模态长时记忆模块（Multimodal Long Memory Module）
推理模块（Reasoning Module）

1）流式感知模块：实时数据捕获与编码

该模块处理实时音频和视频流，使用先进模型如 Whisper（音频编码）和 OpenAI CLIP-L/14（视频感知）提取高维特征。负责处理视频和音频数据，因此包含了对应的视频感知模块和音频转换模块。

视频感知模块：使用的OpenAI的CLIP-L/14，用于将每一帧视频，也就是图片，编码为语义特征。向多模态长时记忆模块提供粗粒度的视觉信息。它处理实时视频输入流，并将每一帧编码成语义特征。为了提高效率，我们在实践中使用了 OpenAI CLIP-L/14
然后直接将语义特征送给记忆模块。

音频感知模块：万物都能token。类似VLM的处理，包含音频编码器(Whisper)、音频投影器、小型语言模型(Qwen2-1.8B)

语言模型的输出有两个：音频类别；音频转文本。

任务：捕获并编码关键信息，如语音内容、环境音等，直接存入记忆模块。
应用：音视频会议的实时字幕生成、智能监控中异常事件识别。

包含一个音频编码器、一个音频投影器和一个小语言模型 (SLM)。音频编码器将输入音频样本编码成高维特征，音频投影器进一步将特征映射到 SLM 的输入空间。 SLM 输出音频的类别（例如，笑声、鼓掌声或雨声）以及音频中的自然语言（即自动语音识别结果）。在实践中，我们使用 Whisper模型作为音频编码器，并使用 Qwen2-1.8B 作为 SLM。

2）多模态长时记忆模块：高效存储与检索

多模态长时记忆模块是处理极长视频输入的核心设计，它帮助推理模块摆脱其上下文窗口中数百万个符元。它与 VideoStreaming 的思想类似，即将视频片段编码成短期记忆，并将其整合到长期记忆中。给定问题后，它会为推理模块检索最相关的视频片段。

此模块的核心功能是将短期记忆压缩为高效的长期表示。

方法：通过算法优化，能够将数百万帧视频浓缩成紧凑的记忆单元，有效减少存储成本并提升检索准确性。
优势：大幅降低计算资源的占用，为实时交互提供支持。

多模态推理所占用的token是非常多的，因为要对一张图片进行动态切分。所以必须考虑记忆的存储。依赖长上下文来存储历史信息对于长期使用而言是不切实际的。这里采用了类似Mem0的方法，压缩-检索方法。能够仅保留与查询相关的token，去掉冗余的token。

方法：将视频片段编码为短期记忆，整合为长期记忆。检索到最相关的视频片段作为上下文。

1.视频片段压缩：对视频片段做空间下采样编码为短期记忆和全局记忆。
2.记忆整合：短期记忆是视频片段的详细信息。为了得到长期记忆，对短期和全局记忆整合。
3.视频片段检索：接收到query后，将其编码到记忆的特征空间，具体编码过程是将长期记忆和query作为压缩器的输入，取最后的token的隐藏状态作为query特征。使用query特征计算与每个视频片段的全局特征的相似性，得到最相关的视频片段和记忆信息。

视频片段检索。 当用户提出问题时，多模态长期记忆模块检索与问题相关的视频片段，并将视频片段及其短期记忆提供给推理模块。在实践中，我们首先将问题编码到记忆的特征空间。我们将长期记忆与标记化的提问连接起来作为压缩器的输入，并将输出特征的最后一个符元视为与记忆空间对齐的问题特征。然后，我们计算问题特征与每个视频的全局记忆之间的相似度，并为推理模块选择最相关的片段。

3）推理模块：信息检索与复杂任务执行

推理模块通过检索记忆模块中的相关信息，快速完成复杂任务，如回答用户问题或执行指令。

特点：实现感知、推理与记忆的同步协作，避免传统系统中各模块割裂运行的效率低下问题。
应用：智能问答系统、实时决策支持。

系统流程

系统包括前端、SRS服务器和后端服务器。

前端。 前端应用程序使用JavaScript开发，能够启用摄像头和麦克风来捕获视频和音频流输入，然后将其推送到SRS服务器。同时，它与后端建立WebSocket连接，以监听音频输出和中断信号。接收到音频数据后，前端会播放音频。接收到中断信号后，前端会暂停音频播放并丢弃待处理的音频。

SRS 服务器。 SRS（Simple Realtime Server）是一个简单高效的实时视频服务器，能够支持多种实时流协议，例如RTMP、WebRTC、HLS、HTTP-FLV、SRT等。它以其可靠接收和传输音频和视频流的能力而闻名。

后端服务器。 与前端建立WebSocket连接后，后端将从SRS服务器拉取流，并启动单独的线程来读取音频和视频。

音频读取线程将音频流分割成4096位的块，并将它们放入音频队列中。语音活动检测（VAD）[40]线程持续从音频队列读取数据，并检测语音活动的开始和结束。检测到语音活动开始时，后端会向前端发送中断信号以暂停当前正在播放的音频，同时向视频处理过程发送备份信号，指示其保存当前内存状态。检测到语音活动结束时，整个语音片段将被放入ASR待处理队列中。自动语音识别 (ASR) 线程持续从ASR 任务队列读取音频片段，对其进行背景噪声分类和语音识别，然后将结果入队到大语言模型 (LLM) 任务队列供 LLM 使用。

视频读取线程以每秒 1 帧的速度读取视频帧，并将它们入队到帧队列。压缩器进程从队列中读取视频帧，识别它们，提取相关内存并存储。接收到来自语音活动检测 (VAD) 线程的备份信号后，压缩器进程将保存当前内存状态以备将来检索。

LLM 进程从LLM 任务队列读取文本，并确定它是否是需要模型响应的指令。对于识别为指令的文本，压缩器进程将使用当前指令和备份的内存执行内存接地，以检索与指令相关的内存。然后，LLM 进程将根据检索到的内存和指令生成响应，并将生成的输出入队到文本转语音 (TTS) 任务队列。一个额外的 TTS 线程（例如，F5-TTS [20]，MeloTTS [154]）将把来自TTS 任务队列的文本转换成音频并发送到前端。

未来的改进点：
1.编码器优化：选择垂直领域的编码器，提升视频和音频理解能力。
2.多模态的长期记忆模块：这方面是核心。可以参考mem0将视频和音频记忆存储到多模态知识图谱中，还有针对每个用户的键值数据库，向量数据库，图形数据库等。这样才能更为个性化，增强可用性。

性能测试与研究成果

1）卓越的基准测试成绩IXC2.5-OL 在多项国际权威测试中表现出色：

音频处理
- 在 Wenetspeech 中文测试集上，语音识别的词错误率（WER）为 7.8%，远超 VITA 和 Mini-Omni。
- 在 LibriSpeech 英文基准上，“清晰”环境下的 WER 为 2.5%，而在噪声环境中也达到了 9.2% 的优秀成绩。
视频处理
- 在 MLVU 和 StreamingBench 的视频推理与异常识别测试中，分别取得了 66.2% 和 73.79% 的评分，创下行业新高。

2）高效的多模态处理能力流式感知模块通过压缩和记忆机制，实现了对多模态数据的实时处理。系统能够同时处理数百万标记，检索速度快且数据损失率低，适合需要长期交互的动态环境。

3）开放性与易用性研究团队已将全部代码、模型及推理框架公开，开发者可以快速集成并根据实际需求进行优化。

实际应用场景

1）智能监控与异常检测 IXC2.5-OL 的实时视频处理能力，适用于智能监控系统中异常事件的自动识别，如公共场所的行为异常分析。

2）智能会议助手 通过实时感知音频与视频流，该框架可为企业提供智能会议助手服务，包括实时记录、摘要生成以及任务提醒。

3）教育与学习 在在线教育中，IXC2.5-OL 可作为虚拟导师，实时分析学习者的行为反馈并调整教学策略，同时记录学习数据以优化课程内容。

4）医疗辅助诊断 长时记忆模块能够存储并快速检索患者的历史病历数据，结合实时感知与推理功能，辅助医生做出准确诊断。

结语

IXC2.5-OL 的模块化设计从本质上解决了传统系统的诸多局限：

感知、记忆与推理的分工协作：模拟人脑的处理方式，确保了系统的高效性与可扩展性。
实时多模态交互：实现了音频、视频和文本的同步处理，为动态环境中的复杂应用提供了解决方案。
高效存储与检索：通过记忆压缩机制，将长期多模态交互的计算与存储成本降至最低。

随着 AI 技术的进一步发展，IXC2.5-OL 不仅将继续推动人机交互的革新，还为构建更接近人类认知的 AI 系统提供了重要参考。

CosyVoice-2.0 语音生成大模型升级

CosyVoice 2: Scalable Streaming Speech Synthesis with Large Language Models

[Paper] [Code] [Studio] [HuggingFace] [ModelScope]

CosyVoice是阿里巴巴通义实验室语音团队于今年7月份开源的语音生成大模型，依托大模型技术，实现自然流畅的语音生成体验。与传统语音生成技术相比，CosyVoice具有韵律自然、音色逼真等特点。自开源以来，CosyVoice凭借高品质的多语言语音生成、零样本语音生成、跨语言语音生成、富文本和自然语言的细粒度控制能力获得了广大社区开发者们的喜爱和支持。

CosyVoice迎来全面升级2.0版本，提供更准、更稳、更快、更好的语音生成能力。

超低延迟：CosyVoice 2.0提出了离线和流式一体化建模的语音生成大模型技术，支持双向流式语音合成，在基本不损失效果的情况下首包合成延迟可以达到150ms。

高准确度：CosyVoice 2.0合成音频的发音错误相比于CosyVoice 1.0相对下降30%～50%，在Seed-TTS测试集的hard测试集上取得当前最低的字错误率。合成绕口令、多音字、生僻字上具有明显的提升。

强稳定性：CosyVoice 2.0在零样本语音生成和跨语言语音合成上能够出色地保证音色一致性，特别是跨语言语音合成相比于1.0版本具有明显提升。

自然体验：CosyVoice 2.0合成音频的韵律、音质、情感匹配相比于1.0具有明显提升。MOS评测分从5.4提升到5.53(相同评测某商业化语音合成大模型为5.52)。同时, CosyVoice 2.0对于指令可控的音频生成也进行了升级，支持更多细粒度的情感控制，以及方言口音控制。

▎核心模型与算法亮点

CosyVoice 2.0采用和CosyVoice 1一致的LLM+FM的建模框架，但是在具体实现上进行了如下几个要点的算法优化：

1）LLM backbone：CosyVoice 2.0采用预训练好的文本基座大模型（Qwen2.5-0.5B）替换了原来的Text Encoder + random Transformer的结构。采用LLM进行初始化能够更好的进行文本的语义建模，使得在可控生成，音频和文本的情感匹配，多音字发音上会有明显的收益。

2）FSQ Speech Tokenizer：CosyVoice 1.0采用VQ来提取Supervised semantic codec，码本大小为4096，但是有效码本只有963。CosyVoice 2.0采用了FSQ替换VQ，训练了6561的码本，并且码本100%激活。FSQ-Speech Tokenizer的使用使得CosyVoice 2.0在发音准确性上有明显提升。

3）离线和流式一体化建模方案：目前主流的语音生成大模型(CosyVoice， F5-TTS，MaskGCT，GPT-SoViTs等)均不支持流式语音生成。CosyVoice 2.0提出了如图2所示的离线和流式一体化建模方案，使得LLM和FM均支持流式推理，接收5个文字就可以合成首包音频，延迟大致在150ms。同时合成音质相比于离线合成基本无损。

4）指令可控的音频生成能力升级：优化后的 CosyVoice 2.0 在基模型和指令模型的整合上取得了重要进展，不仅延续了对情感、说话风格和细粒度控制指令的支持，还新增了中文指令的处理能力。其指令控制功能的扩展尤为显著，现已支持多种主要方言，包括粤语、四川话、郑州话、天津话和长沙话等，为用户提供了更丰富的语言选择。此外，CosyVoice 2.0 也引入了角色扮演的功能，如能够模仿机器人、小猪佩奇的风格讲话等。这些功能的提升还伴随着发音准确性和音色一致性的显著改善，为用户带来了更自然和生动的语音体验。

▎支持的功能：

🎧 音色复刻：语音克隆/Zero-shot In-context Generation（语音续写）

🎧 多语言合成：一个文本，分别用中文，英文，日语，韩语多个语言来说

🎧 混合语种合成：支持文本中同时出现中文/英文/日语/韩语等。

🎧 多情感合成：#厌恶# 今天又是打工人的一天；#恐惧#啊已经9点了，怎么办，我要迟到了！#愤怒#都怪昨晚他非要拉我看电影，害我睡晚了！#平静#今年的年假都用光了，#开心#不过没关系，马上要放假啦！

🎧 不同指令合成：

（神秘<|endofprompt|>古老城堡笼罩在神秘的雾气中，吸引着无数冒险者前去探索奥秘。

小猪佩奇<|endofprompt|>在忙碌之余，我和朋友像小猪佩奇一样，常去公园享受简单的快乐。

四川话<|endofprompt|>而这些幽默的瞬间仿佛让我置身于四川的宽窄巷子，享受那份安逸。

用伤心的语气说<|endofprompt|>收到拒信的那一刻，我感到无比伤心。虽然知道失败是成长的一部分，但仍然难以掩饰心中的失落。

慢速<|endofprompt|>听着轻柔的音乐，我在画布上慢慢地涂抹色彩，让每一笔都充满灵感和思考。

追求卓越不是终点，它需要你每天都付出和精进，最终才能达到巅峰。）

🎧 绕口令：黑化肥发灰，灰化肥发黑，黑化肥挥发会发黑，灰化肥挥发会发灰。

🎧 生僻字：煢煢孑立沆瀣一氣踽踽獨行醍醐灌頂綿綿瓜瓞奉為圭臬龍行龘龘

🎧 多音字：天气暖和，小王在家和泥抹墙；

Demo体验：

>>>创空间地址：https://www.modelscope.cn/studios/iic/CosyVoice2-0.5B

可以支持用户上传音频文件或录音方式进行语音复刻。同时支持流式推理，用户无需等待全部音频合成完毕即可体验效果。

CosyVoice 2支持音色克隆以及自然语言控制的音频生成，可以选择相应的推理模式。

1）3s极速复刻

输入待合成文案
选择是否流式推理，流式推理具有更低的延迟，离线推理具有更好的上限效果
上传prompt音频，或者录制prompt音频
点击生成音频，等待一会儿就会听到合成的音频。

2）自然语言控制

输入待合成文案
上传prompt音频，或者录制prompt音频
输入instruct文本：例如“用粤语说这句话”，“用开心的语气说”，“模仿机器人的声音”等
点击生成音频，等待一会儿就会听到合成的音频。

补充：v1版本

CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens

CosyVoice 1.0: Demos; Paper; Modelscope

论文解读：

摘要

CosyVoice，这是一种基于监督离散语音标记的多语言语音合成模型。通过使用两种流行的生成模型：语言模型（LM）和流匹配进行渐进式语义解码，CosyVoice 在语音上下文学习中实现了高韵律自然度、内容一致性和说话人相似性。最近，多模态大型语言模型（LLMs，其中响应延迟和语音合成的实时因子在交互体验中起着至关重要的作用。因此，在这项工作中，我们引入了一种改进的流式语音合成模型 CosyVoice 2，并进行了全面和系统的优化。首先，我们引入有限标量量化来提高语音标记的码本利用率。其次，我们简化了文本-语音 LM 的模型架构，以便可以直接使用预训练的 LLMs 作为主干。此外，我们还设计了一个 chunk-aware 【数据块感知】因果流匹配模型，以适应不同的 synthesis 场景。因此，我们可以在单个模型中执行 streaming 和非 streaming 合成。通过在大规模多语言数据集上进行训练，CosyVoice 2 实现了与人类相当的合成质量，具有非常低的响应延迟和实时系数。

CosyVoice 2，这是一种流式零样本 TTS 模型，具有改进的韵律自然度、内容一致性和说话人相似性。我们的贡献包括：

将流式和非流式合成统一在一个框架中，并提出统一的文本语音语言模型和块感知因果流匹配模型，与离线模式相比，实现了无损流式合成
通过移除文本编码器和说话人嵌入来简化 LM 架构，允许预先训练的文本大型语言模型（LLMs）作为主干，增强上下文理解。
用有限标量量化（FSQ）替换语音分词器中的矢量量化（VQ），提高码本利用率并捕获更多语音信息。
升级指示式 TTS 容量以支持更多指令，包括情感、口音、角色风格和精细控制。在 CosyVoice 2 中，指令和零镜头容量集成到一个模型中，实现更通用、更生动的合成。

通过以上系统性的修改和优化，CosyVoice 2 实现了人偶校验的合成质量，并且在 streaming 模式下几乎无损。统一框架放宽了部署要求，使单个模型能够同时支持流式和非流式合成。升级后的 instructed TTS 容量为用户生成各种语音提供了更强大、更轻松的方法。此外，块感知流匹配设计也可以应用于 NAR TTS 模型，这表明了流式 NAR 模型的潜力。

CosyVoice 2

CosyVoice 2 建立在与前代类似的设计理念之上，将语音信号的语义和声学信息分离出来，并独立建模。语音生成过程被重新定义为一个渐进的语义解码过程，其中条件信息逐渐被纳入。具体来说，文本-语音语言模型（LM）只关注语义信息，将高级文本标记解码为监督式语义语音标记。在 Flow Matching 模型中，通过说话人嵌入和参考语音引入声学细节（例如音色），将语音令牌转换为给定说话人的 Mel 频谱。最后，预先训练的声码器模型恢复了相位，将 Mel 频谱转换回原始音频信号。下面将从文本分词器、监督语义语音分词器、流式/非流式合成的统一文本语音 LM 和分块感知流式匹配模型五个方面介绍 CosyVoice 2 的细节和流式合成的修改。

Text Tokenizer

CosyVoice 2 直接使用原始文本作为输入，并使用基于 BPE 的文本分词器进行分词。这消除了对通过字素到音素（g2p）转换获取音素的前端模型的需求。这种方法不仅简化了数据预处理工作流程，还使模型能够以端到端的方式学习各种上下文中单词的发音。与文本 LLMs，CosyVoice 2 屏蔽了一对多的分词。这可以防止令牌的发音变得过长，并减少由数据稀疏引起的极端情况。具体来说，如果 BPE 令牌编码多个中文字符，它将被屏蔽掉，并且每个字符将在分词化过程中单独编码。其他语言（如英语、日语和韩语）不受特殊处理。

Supervised Semantic Speech Tokenizer

将有限标量量化（FSQ）模块插入 SenseVoice-Large ASR 模型的编码器中。在训练阶段，输入语音 X 通过获得 Encoder1 中间表示，其中 Encoder1 由六个带有旋转位置嵌入的 Transformer 块组成。然后，将中间表示馈送到 FSQ 模块进行量化，并将量化表示传递给 SenseVoice-Large 模块的其余部分，包括 Encoder2 和 ASR⁢Decoder ，以预测相应文本标记的后验概率。

补充FSQ：FINITE SCALAR QUANTIZATION: VQ-VAE MADE SIMPLE

2023 年 google 发表的文章，可以用于文本、视频生成领域中。提出一种称为有限标量量化（FSQ）的简单方案来替换 VQ-VAEs 中的向量量化（VQ）。解决传统 VQ 中的两个主要问题：需要避免 codebook collapse （码码本坍塌：就是大部分codebook elements都没有被用到，多个码字可能会变得非常相似，甚至完全相同。）的辅助损失【在损失函数中添加一个辅助损失项，迫使码字之间保持一定的距离，或者保持其多样性】、大 codebook size 情况下码本利用率低。FSQ 作用：消除辅助损失、提高码本利用率、作为 VQ 的可替换组件。

传统的编码器所得到的表征向量z中的每一个元素(标量)的值并没有一个明确的边界，也就是说z在特征空间中不受任何约束。那么，作者就想到了为z中的每个标量都设定好取值的范围和能够取值的个数。假设有一个d维特征向量z，将每个标量zi都限制只能取L个值，将zi→⌊L/2⌋tanh(zi)然后四舍五入为一个整数值。例如图中所示，取d=3，L=3，代表C={(−1,−1,−1),(−1,−1,0),…,(1,1,1)}，一共有27种组合，即一个3维向量的每个标量都有三种值的取法。值得一提的是，FSQ中的codebook不像VQ-VAE那样是显式存在的，而是隐式的，编码器直接输出量化后的特征向量z^。因此，FSQ也就没有了VQ-VAE损失的后两项了。

FSQ 的优点是不会遭受码本坍塌（codebook collapse），并且不需要 VQ 中为了避免码本坍塌而使用的复杂机制（承诺损失、码本重新播种、码分割、熵惩罚等）

在 FSQ 模块中，首先 H 将中间表示投影到 D 维低秩空间中，并且每个维度的值通过有界四舍五入操作ROUND 量化到区间[−K,K]。然后，量化后的低秩表示 Hˉ 被投影回原始维度 H~，以供后续模块使用。

在训练阶段， straight-through estimation用于近似 FSQ 模块和 Encoder1 的梯度。语音标记 μi 可以通过计算 (2⁢K+1) -ary 系统中量化的低秩表示 h¯i 的索引来获得：

语音分词器以 25 Hz 的令牌速率工作，即每秒 25 个语音令牌。

Unified Text-Speech Language Model

CosyVoice 2 中，使用预训练的文本Qwen2.5-0.5B 作为文本-语音语言模型，以输入文本作为提示自动回归生成语音标记。与其他 LM 类似，文本语音 LM 也采用下一个标记预测方案进行训练，如图 1（b）所示。与之前的 CosyVoice 不同，我们去除了说话人嵌入，以避免信息泄漏。更重要的是，我们发现这种话语级别的向量不仅包含说话人身份信息，还包含语言和副语言信息，这会影响文本-语音语言模型的韵律自然性和跨语言能力。此外，我们还放弃了之前 CosyVoice 的文本编码器，因为我们发现 Qwen2.5-0.5B 模型已经足够强大，可以对齐文本和语音标记，因此不再需要文本编码器。

受益于文本语音 LM 的简单性，我们可以为流式和非流式合成构建一个统一的模型。在这里，“流模式”意味着输入文本以连续流的形式接收，而不是提前被称为完整的句子。在 CosyVoice 2 中，推流模式和非推流模式的区别只是 LM 的序列构建方式：

对于非流模式，“序列开始”S、所有文本标记、“语音转换”T标记、所有语音标记和“序列结束”E按顺序连接，如图 2 底部所示。Ignore 标记表示忽略它们的损失，同时最小化交叉熵目标函数。
在流式模式下，我们将文本和语音标记按预定义的比例 N:M 混合，即每 N 个文本标记后跟着 M 个语音标记，如图 2 的顶部所示。如果下一个标记是文本标记，模型会预测一个填充标记（而不是文本标记），该填充标记表示接下来的 N个文本标记应该在推理阶段进行连接。【方便推理时候获取输出的语义token】，当文本标记用尽时，“语音轮次”标记 T和剩余的语音标记会被顺序连接，形成流式模式下的混合文本-语音标记序列。

通过同时在上述两个序列上训练文本-语音 LM，我们可以在单个统一模型中执行流式和非流式语音生成。在实际场景中，例如说话人微调（SFT）和上下文学习（ICL），推理序列有所不同，如下所示：

ICL，非流式：在 ICL 中，LM 需要来自参考音频的提示文本和语音标记，以模仿重音、韵律、情感和风格。在非流式处理模式下，提示和要合成的文本标记连接为整个实体，提示语音标记被视为预先生成的结果并固定：“S 、 prompt_text、 text 、T、 prompt_speech”。LM 的自回归生成从此类序列开始，直到检测到 “End of sequence” 标记。

ICL，流式处理：在此方案中，我们假设要生成的文本是已知的，并且语音令牌应以流式处理方式生成。同样，我们将 prompt 和 to-generate 文本视为一个整体。然后，我们将其与提示语音标记混合，比例为 N ： M ： “S， mixed_text_speech，T，remaining_speech”。如果文本长度大于提示语音 Token 的长度，LM 将生成 “filling token”。在这种情况下，我们手动填充 N个文本标记。如果文本令牌用完，将添加“Turn of speech” T 令牌。在流式处理模式下，我们为每个 M 令牌返回生成结果，直到检测到 E为止。

SFT，非流式：在 SFT 场景中，LM 针对特定说话人进行微调，不再需要提示文本和语音。因此，初始序列非常简单：“ S，文本，T ”。从此开始，文本-语音 LM 可以自动回归生成语音标记，直到 E结束。

SFT, Streaming: 在 SFT 的流模式下，我们从以下序列开始语音生成：“ S,first_N_text”。然后，LM 将生成 M 语音令牌，我们手动填充下一N个文本令牌。我们重复上述过程，直到所有文本标记都用完，然后添加 T 。注意，speech-to-speech多模态大语言模型也可以采用这种模式，以获得极低的延迟。

Chunk-aware Flow Matching

采用梅尔频谱图作为声学特征，帧率为 50 Hz，采样率为 24000。由于语音令牌和 Mel 特征之间的帧速率不匹配，我们以 2 的比率对语音令牌进行上采样，以匹配 Mel 频谱图的帧速率。在上采样操作之前，我们添加了一个额外的前瞻卷积层，以便为以下因果模块提供未来信息。前瞻层由右填充的一维卷积实现，其填充大小为 P，卷积核大小为 P+1 。在此之后，几个chunk-aware causal Transformer blocks来对齐语音标记的表示空间以匹配声学特征。

随后，我们的目标是将语音标记进一步解码为由说话人嵌入和参考语音指定的 Mel 频谱图。为了实现这一目标，我们采用条件流匹配（CFM）模型对 Mel 频谱图进行采样，给定语音标记、参考语音和说话人嵌入作为条件。在 CFM 模型中，目标 Mel 三维频谱图的分布由来自先验分布 p0⁢(X) 和数据分布 q⁢(X) 的概率密度路径来描述。概率密度路径可以由瞬态向量场定义。为了提高采样效率，我们采用最佳传输（OT）流来匹配矢量场。

在训练阶段，掩码 Mel 频谱图是通过随机掩码 70% 到 100% 的最终帧来获得的 X1 。至于推论，它由从参考语音中提取的 Mel 频谱图提供。通过最小化预测 ODE 和真实 ODE 之间的 L1 损失，我们可以按如下方式优化 UNet 参数 θ ：

因果流匹配模型：当前的流匹配模型总是以离线模式工作，即只有在生成所有语音标记后，Mel谱图才能被采样，这对于流式合成并不友好。为了解决这个问题，我们将多步流估计视为一个堆叠的深度神经网络，该网络重复使用 UNet 十次。因此，通过使展开的神经网络具有因果性，我们可以将其应用于流式合成。我们构造了四个掩码，以满足不同的应用情况：

Non-causal Mask

非因果掩码（Non-causal Mask）用于离线模式，通过满足所有条件帧来实现最佳性能。非因果掩码适用于对延迟不敏感的情况。

Full-causal Mask

全因果掩码（Full-causal Mask）适用于需要极低延迟的场景，其中只能观看过去的帧。

Chunk-M Mask

可以通过牺牲更多延迟来实现离线模式的近似性能，这可用于级联生成 Chunk 以获得更好的性能。

Chunk-2⁢M Mask

可以通过牺牲更多延迟来实现离线模式的近似性能，这可用于级联生成 Chunk 以获得更好的性能。

对于小批量中的每个训练案例，我们从均匀分布下的上述四个掩码中随机采样一个掩码。这样，一个流匹配模型可以兼容不同的场景，降低部署复杂度。这种块感知训练的另一个优点是，具有更多上下文的掩码可以作为具有较少上下文的掩码的教师，受益于隐含的自我蒸馏方案。

流式处理模式的延迟分析

首包延迟是流式合成模型的一个重要指标，它显着影响用户体验，尤其是在基于 LLM 的语音聊天应用程序中，例如 GPT-4o 。在 TTS 的上下文中，要合成的文本是事先已知的，延迟来自语音令牌生成、梅尔频谱图重建和波形合成等方面。因此，CosyVoice 2 的首包延迟 LT⁢T⁢S 可以得到如下：

其中 dl⁢m ，表示 LM 生成一个语音词元的计算时间， df⁢m 表示 Flow Matching 模型生成一个语音词元的梅尔频谱图帧的计算时间， dv⁢o⁢c 表示声码器合成一个语音词元对应的波形的计算时间。 在基于 LLM 的语音聊天上下文中，还应考虑 first-package-required 文本的长度，first-package 延迟 LC⁢h⁢a⁢t 如下：

其中 dl⁢l⁢m 表示 LLM 生成一个文本 Token 的计算时间。请注意，由于多字符标记在 CosyVoice 2 的文本分词器中被屏蔽，因此文本 LLMs总是比 CosyVoice 2 使用的文本标记编码更长的原始文本。因此，第一个包的延迟 LC⁢h⁢a⁢t 必须低于 N⋅dl⁢l⁢m 和 LT⁢T⁢S的和。

Instructed Generation

为了增强 CosyVoice 2 的可控性，我们将 indirected 数据集集成到基础训练集中。我们收集了 1500 小时的定向训练数据，其中包括自然语言指令和细粒度指令，如表所示。对于自然语言指令，我们在要合成的输入文本之前预置自然语言描述和特殊结束标记“<|endofprompt|>”。这些描述涵盖情感、语速、角色扮演和方言等方面。对于细粒度的指令，我们在文本标记之间插入人声爆发，使用“[laughter]”和“[breath]”等标记。此外，我们将 vocal feature 标签应用于短语;例如，“XXX”表示强调某些词，而“<laughter>XXX</laughter>”表示笑声说话。

Multi-Speaker Fine-tuning

在特定说话人（SFT）上微调预训练模型可以进一步提高生成质量和说话人相似度。在本报告中，我们介绍了多扬声器微调（mSFT），其中预训练模型同时在多扬声器上进行微调，而不是在单个扬声器上进行微调。这种方法可确保跨多个说话人的全面韵律和发音覆盖，并减少预训练模型可能出现的灾难性遗忘。为避免不同说话人之间的音色混淆，我们在特定说话人的输入文本前加上说话人提示标记“Speaker A<|endofprompt|>”。如果训练样本未标记为说话人，则使用特殊标签“unknown<|endofprompt|>”。在整个多说话人微调过程中，学习率设置为 1e-5。

Reinforcement Learning for SFT

强化学习是大型语言模型训练中常用的方法，它可以使 LM 输出与人类偏好保持一致。在 CosyVoice 2 中，我们采用 ASR 系统的说话人相似度（SS）和识别词错误率（WER）作为奖励函数，以提高微调阶段的说话人相似度和发音准确性。我们使用 WER 和 SS 来区分首选样品 xw 和不合格样品 xl ，并通过直接偏好优化（DPO）优化 TTS 系统，如下所示：

Experimental

Training Data for Speech Tokenizer

一个 200000 小时的数据集用于训练语音分词器，并将规范化转录作为标签。详细的数据信息如表所示。训练数据来自三种不同的资源：开源 ASR 数据集、内部工业数据集和 TTS 生成数据集。虽然我们在训练语音分词器时只使用了中英文数据，如表所示，但随后的实验表明，语音分词器对其他语言具有零镜头能力。它还可用于日语和韩语等语言的语音合成。

Training Data for CosyVoice 2

CosyVoice 2 与之前的版本共享相同的训练数据。我们首先使用内部语音处理工具收集纯语音数据。随后，Paraformer 和 SenseVoice分别用于生成中文和其他语言的伪文本标签。我们还采用内部力对齐模型来过滤掉低质量的数据并提高标点符号的准确性。表 3 提供了数据详细信息：

Experimental Results

Evaluations on Speech Tokenizer

理想的语音分词器应该有效地利用码本，以高保真度保留信息，并展示说话人的独立性。在这部分，我们从四个方面评估我们的监督语音分词器：1）码本利用率;2）整个编码器内的 ASR 错误率;3）不同说话人的令牌可视化;4）说话人识别培训。表 4 显示了码簿利用率和 ASR 错误率。事实证明，基于 FSQ 的分词器充分利用了码本，从 ASR 方面维护了更有效的信息，表明 FSQ 维护的语义信息更多。

Comparison Results with Baselines：

我们首先在有限的英语文本域上评估了我们的 CosyVoice 2 模型，并将其与几个开源模型进行了比较，例如 ChatTTS、GPT-SoVITs 、OpenVoice、ParlerTTS、EmotiVoice 及其前身 CosyVoice。客观结果如表 5 所示，包括内容一致性（WER）、语音质量（NMOS）和说话人相似度（SS）。从表中我们可以看到，CosyVoice 2 在 Librispeech 测试清理集上实现了最先进的性能，超越了所有基线模型和所有评估指标。值得注意的是，CosyVoice 2 甚至表现出比人类话语更高的内容一致性、语音质量和说话人相似度，这表明其人类奇偶校验的合成质量。

表 5：LibriSpeech 测试清理基线子集和 CosyVoice 2 上的内容一致性（WER）、说话人相似度（SS）和语音质量（NMOS）结果。Whisper-Large V3 用作 ASR 模型，并且在 WER 计算之前排除标点符号。

Modular Ablation Study：

我们对文本语音语言模型进行了模块化消融研究，以评估我们的修改的影响，包括 LLM 初始化、删除说话人嵌入和利用 FSQ。表 7 展示了 CosyVoice 2 在前代产品的基础上的逐步发展。通过将随机初始化的语言模型替换为预训练的 LLM），我们在 test-zh 和 test-hard 集上的内容一致性分别实现了 18.46% 和 15.40% 的相对改进。接下来，我们从文本转语音语言模型中删除了说话人嵌入，这有助于防止上下文学习中的信息泄露和干扰。这一变化导致内容错误显著减少，同时保持说话人相似性，表明内容信息主要由 LM 建模，说话人信息主要由流匹配模型恢复。最后，通过将 VQ 替换为 FSQ，我们实现了 CosyVoice 2 模型，注意到更高的内容一致性和不变的说话人相似度。通过充分利用码本，FSQ 可以捕获更多的内容信息和上下文变化，从而更好地协调文本和语音令牌。此外，我们通过在基于 FSQ 的语音标记器的训练过程中将音高损失作为约束条件进行了比较实验。我们发现这种方法可以提高下游 TTS 任务的性能，如表 7 的最后一行所示。在 CosyVoice 的未来版本中，我们计划进行更详细的实验和分析。

Results on Japanese and Korean Benchmarks

除了中文和英文，CosyVoice 2 还支持日语和韩语。我们在构建的日语和韩语测试集上评估了内容一致性、说话人相似度和语音质量。如表 9 所示，在所有评估指标中，CosyVoice 2 在韩语上的表现明显优于日语。这种差异主要是由于日语和中文之间的字符集重叠，这导致日语上下文中的中文发音。在未来的工作中，我们计划探索增强多语言合成的语言上下文的方法。由于韩语与其他语言没有字符重叠，因此其语音合成性能要好得多。另一个问题是数据不平衡。我们相信，增加训练数据量可以进一步提高日语和韩语的综合性能。

Results on Instructed Generation：

为了评估 instructed generation 的性能，我们创建了一个包含 290 个样本的中文测试集。这组指令包括 29 种类型的指令，如表 2.6 所示，每种指令都有 10 种不同的输入文本。我们使用来自 5 个说话人（3 个女性和 2 个男性）的 5 个音频提示和说话人嵌入作为 flow matching 模型的条件。我们的测试以离线模式进行。我们客观地评估了内容一致性（CER）、说话人相似度（SS）和语音质量（NMOS）。主观上，我们使用教学平均意见分数（MOS-I）评估教学的准确性和自然性，范围从 1 到 5。每个样本由 10 名以中文为母语的人进行评估，分数以 0.5 为增量分配。评估标准侧重于语音是否遵守所有指定的指令，例如情感表达、语速调整、方言使用和角色扮演。精细的控制（包括插入笑声、笑声说话、呼吸控制和强调）将评估其自然性和准确性。如表 10 所示，CosyVoice 2 表现出卓越的内容一致性（CER）、说话人相似性（SS）以及指令控制（MOS-I）的准确性和自然性，同时保持了与 CosyVoice-Inspire 相当的语音质量。当从 CosyVoice 2 中删除输入指令时，MOS-I 明显下降;然而，在内容一致性（CER）、说话人相似度（SS）和语音质量（NMOS）方面观察到改善。这表明指令可控性很难从内容文本中隐式出现。

Results on Speaker Fine-tuned Models

在微调阶段，我们对同一扬声器的扬声器嵌入采用无监督聚类，以确保扬声器音色的稳定性。我们已经证明，只有 400 个音频记录的目标说话人可以实现相当好的语音合成性能，在不同说话人之间观察到的客观指标仅存在轻微差异，如图 6 所示。我们的实验表明，大多数说话人可以继承零镜头 TTS 模型的稳健上下文理解和感知，从而自然地表达各种情绪和情绪以响应输入文本。

LLM Fine-tuning with Reinforcement Learning

尽管 SFT 可以提高大多数扬声器的性能，但 Spk E 的结果仍然比基本模型差，尤其是在英语上。因为 Spk E 的声音更复杂，说话速度更快。此外，只有 Chinese 录音可用于 Spk E。因此，我们在 Spk E 上应用强化学习以进一步改进。对于 DPO，我们通过 SFT 模型合成了 10,000 个样本对，以改变 ASR 和 SS 奖励对 LM 的偏好偏差。我们还使用可微分的 ASR 奖励来优化 LM 参数。在 RL 之后，我们在 Spk E 测试集上用内容一致性（WER）、说话人相似度（SS）和语音质量（NMOS）评估模型，并进一步评估 SeedTTS 测试集上的 WER，以探索模型是否可以保持对域外或跨语言输入文本的鲁棒性。结果如表 11 所示

与预先训练的基础模型相比，SFT 模型显示出更高的说话人相似度和语音质量，但是，WER 可能比基础模型差。我们发现，基本模型合成的音频总是比 SFT 和真实值慢，这对 ASR 系统更友好。对于目标说话人数据集，偏好偏差和可微分奖励都可以降低 WER，而对其他两个指标的有害影响很小。但对于 SEED 测试集，基于 DPO 的强化仅对中文和英文子集有益，而硬样本会更差。原因可能是硬样本包含许多重复的单词或短语，在 DPO 训练期间可以被视为被拒绝的样本。但是，可微分的 ASR 奖励不会遇到这个问题，因为它可以直接通过 ASR 后验优化 TTS 系统。这意味着可微分的 ASR 奖励在域外情况下具有更好的泛化能力。最后，我们可以将它们相互组合以进行进一步改进。

Conclusion

在 CosyVoice 成功的基础上，本报告介绍了 CosyVoice 2，这是一种改进的流式语音合成模型，它利用了大型语言模型。通过将流式和非流式合成统一在一个框架中，CosyVoice 2 实现了人类奇偶校验的自然性、最小的响应延迟和流式模式下几乎无损的合成质量。关键创新包括用于充分利用码本的有限标量量化、包含预训练文本LLMs，以及开发块感知因果流匹配模型以支持不同的合成场景。此外，指令 TTS 能力的改进允许通过对情感、口音、角色风格和人声爆发的精细控制，生成多功能和生动的语音。通过系统的修改和优化，CosyVoice 2 不仅提供了卓越的合成质量，而且放宽了部署要求，使其适用于流式和非流式应用。我们相信 CosyVoice 2 代表了可扩展、高质量和交互式文本转语音合成的重大进步。

The flow matching model:流匹配模型

论文：https://arxiv.org/abs/2210.02747

博客：https://lilianweng.github.io/posts/2018-10-13-flow-models/

最近， Flux.ai的 Flux 系列模型因各种原因而受到科技界和非科技界的广泛关注，模型速度快、易于使用（这要归功于扩散器(diffusers)）并且易于调整（再次感谢扩散器）。但是，Flux 出色的图像文本对齐和高质量生成背后的原因是一种超越标准扩散过程的新方法，称为“流匹配（Flow matching）”。

每个生成模型(generative model)理想情况下都是密度估计(density estimaor)；因此模拟概率密度，最终是 JPD，具有两个预期特征，即采样和压缩，压缩基本上是将数据推送到信息空间，这似乎是较低维的，而采样是从任何特征分布（z）开始生成 P(x|z) 的能力，可以是正态分布（如 VAE 的情况），因此，在非常高的层次上，我们试图找到将 z 映射到 x 以及将 x 映射到 z（采样和压缩）的映射/函数。

什么是 Flow Matching？

Flow Matching 是一种用于训练生成模型的方法，它基于对流（flow）的概念。在生成模型中，“flow”通常指的是通过可逆的变换（reversible transformation）逐步将复杂的分布映射为简单的分布（如高斯分布），从而使生成模型能够更容易地对复杂数据进行建模。Flow Matching 的目标是通过最小化模型生成的流与真实数据分布的流之间的差异，来学习一个能够生成高质量样本的模型。

在 Flow Matching 中，通过对训练过程中每一步的匹配进行建模，模型逐渐学习如何从简单的噪声分布中生成复杂的目标数据。这种方法可以用于解决传统生成模型中一些难以处理的问题，如模式崩溃（mode collapse）等。

假设两个 Normalizing Flows，一个表示为 z（潜在或可处理分布），另一个表示为 X（数据分布），因为我们想要找到一个可以将 z 映射到 x 的函数，我们会得到 X 和 Z 密度之间的关系，这必然指出假设 X 和 Z 是共轭分布（变换前后同一家族 z 的分布），X 和 Z 的变化应该是相对的，因此，X 的变化是 Z 的某个函数，反之亦然。但是，按某个量缩放。这个量由雅可比矩阵给出的 z 和 x 之间每个维度的变化表示，在非常简单的尺度上，它基本上是 Z 和 X 之间变量的变化。但是，它不是那么简单，因为 X 和 Z 实际上并不共轭，因此，我们只剩下迭代采样和近似方法，比如最佳传输或吉布斯采样（用于 RBM）。鉴于这些限制，大多数方法都绕道去模拟分布并近似非精确映射，而像 Normalizing flow 这样的方法则做出简化假设，使计算和公式易于处理，形式为 p(x)dx = p(z)dz，可以将其重新表述为两个项，第一个是 MLE 项，第二个是雅可比行列式。

（标准化是因为变量的变化总是给出一个标准化的密度函数，流动是因为它迭代地模拟从源到目标的轨迹/流动）

问题从这里开始，这样的函数存在需要两个条件，

1. p(x,z) 的 MLE 公式必须是双射的。

2. 雅可比矩阵的行列式是可有效计算的。

要解决这个问题，我们需要假设 z 和 X 之间的状态依赖性，使得它是双射的并且行列式可以有效计算，有三种主要方法

1. 耦合块：基本上你将 z 分成两块，只有最后 k 值预测 X 的最后 k 值（通过基于均值/方差的采样），X 的其他部分基本上是 z 的直接复制，这有何帮助？由于这种方法，雅可比矩阵变成了对角矩阵，左上角（<k）部分是恒等矩阵，右下角（>=k）变成元素乘积，右上角变成 0，因为 z（<k）和 x（>=k）之间没有依赖关系，因此，雅可比行列式的计算是有效的。

2. AR 流或自回归流是下一个合乎逻辑的扩展，与其制作大 k 块，为什么不将每个状态/特征视为马尔可夫链的一部分，从而消除额外的依赖关系，这会导致雅可比矩阵的下三角矩阵，这也很容易计算。但是，这种方法保留了更多的特征，并且不易受到我们在耦合层中为保留特征而进行的置换操作的影响。

3. 最后，残差流，我们保留整个特征空间，而不牺牲计算。这个想法很简单，但却有非常复杂的数学支持。公式是残差形式 x = z + f(z)，但这不是双射，因为 f 是一个神经网络。有趣的是，多亏了 Banach 和他的收缩映射，在理想情况下，存在一个唯一的 z*，它总是映射到相同的 x（稳定状态 z），因此，它也变成了双射，形式为 x = z* + f(z*)，其中 f 是一个收缩映射（函数受 Lipschitz 小于 1 的限制，因此，z 的变化受 X 的变化的限制），该形式还为我们提供了一种在给定先前 z(k) 的情况下表示 z(k+1) 的方法，这有助于迭代近似 X，而不是单次框架。我们可以通过相同的公式从 z(0) 转到 z(t)，也可以恢复回来，听起来很熟悉，这大致就是扩散。那么行列式呢，迭代变换导致雅可比矩阵迹的无穷项之和，这对于满秩雅可比矩阵来说是可怕的，但可以通过类似的矩阵公式使用哈钦森方法进行迹估计来简单地计算。

Fig. 4. Three substeps in one step of flow in Glow.

到目前为止，我们讨论的所有内容都对样本和轨迹状态（z=>x）做出了离散假设，为什么不使其连续或基本上成为连续的残差流呢？

残差形式 x(k+1) = x(k) + af(x(k)) 可以写成一个微分，其中 k 趋向于无穷大，这看起来很熟悉吗？是的，这现在是一个神经 ODE，但是，我们正在尝试对概率密度在 t 时的状态进行建模，该状态保持不变。密度的状态变化通过连续性或传输方程建模。具体而言，从密度函数的一部分移动到另一部分的质量可以看作是原始质量与当前/移动后质量之间的发散。这种发散是整个轨迹上的连续函数，必须进行积分，因此必须通过数值 ODE 求解，这使得它不可扩展。

这就像状态的比较，为什么不比较路径呢？

这引出了 Flux 背后的方法，即流匹配。想法是这样的……我们从一个非常简单的分布开始，并将其移向预期的分布，但是，由于我们不知道预期的分布，我们通过迭代扰动来调节它，并估计已知的附加噪声，最终模拟底层分布，这个过程简称为条件流匹配，理论上已经证明，在理想条件下，条件目标和无条件目标是完全相同的，因此，通过优化 CFM【条件流匹配】，我们倾向于优化流匹配背后的主要目标。

这正是扩散过程，但是，主要区别在于边界条件或初始和最终状态的定义，扩散过程假设纯噪声为 z(t)，数据为 z(0)，但是，这是在 t 趋向于无穷大时的假设。但是，这在经验上是不可行的，相反，我们会在足够的时间戳内执行此操作，因此，我们保持在更浅的流形中并且速度也更慢（稍后由 LCM 处理），这就像在低分辨率地图中寻找方式/方向，而在流匹配中，纯噪声和数据空间被建模为 lerp（线性插值），形式为 x(t) = t*x(t-1) + (1-t)*x(0)，因此，在 t=0 时我们是纯数据样本，而在 t=t 时我们是纯噪声，这为模型提供了更精细的状态/流形，因此，更具代表性的高分辨率地图，也称为条件流匹配（通过噪声分布进行条件调节）。

Flow Matching 在语音生成中的应用

在语音生成任务中，Flow Matching 可以用于建模从语音特征（如梅尔频谱图、F0等）到波形的生成过程。由于语音信号是高度复杂且具有非线性的时序数据，Flow Matching 可以有效地捕捉语音数据中的复杂分布，并生成高质量的语音样本。

步骤概述：

输入特征提取：首先，将语音数据转换为特征表示，如梅尔频谱图或其它声学特征。
Flow Model 构建：建立一个基于流的生成模型，通过一系列可逆变换将简单的分布（如标准高斯分布）映射到语音数据的分布。
Flow Matching 训练：通过 Flow Matching 技术，最小化模型生成的语音分布与真实语音数据分布之间的差异，逐步学习生成高质量语音信号的能力。
语音生成：训练完成后，使用模型生成语音信号，从输入特征映射到语音波形。

优点

高质量生成：由于 Flow Matching 能够精确地建模复杂的分布，生成的语音往往更自然、更接近真实语音。
稳定性：相比一些其他生成方法（如 GANs），Flow Matching 更加稳定，避免了模式崩溃等问题。
可逆性：Flow 模型的可逆性使得对生成过程的控制更加灵活和精确。

应用场景

Flow Matching for Speech Generation 在文本到语音（TTS）系统、语音转换（Voice Conversion）、语音增强（Speech Enhancement）等领域有着广泛的应用前景。

通过 Flow Matching，语音生成模型可以更有效地处理复杂的语音信号，提供更高质量的输出。这种方法正逐步成为语音生成技术发展的重要方向之一。

https://blog.csdn.net/weixin_44966641/article/details/139842872

条件流匹配（Conditional Flow Matching, CFM）

条件流匹配是一种生成模型方法，旨在将条件信息（如标签、特征等）和生成的数据分布匹配起来。它通过条件信息来指导生成过程，使得生成模型能够生成与给定条件一致的数据。

最优传输条件流匹配模型（OT-CFM）

OT-CFM 结合了最优传输和条件流匹配的优势，通过最优传输理论提供的距离度量（如 Wasserstein 距离），以指导生成模型在复杂条件下匹配目标分布。具体来说，OT-CFM 的工作方式如下：

建模目标：OT-CFM 的目标是学习一个生成模型，使得在给定条件下，生成的数据分布与目标分布之间的最优传输距离最小化。这样可以保证生成的数据不仅真实，而且满足条件要求。
流匹配：模型通过条件流匹配技术，确保生成过程受条件信息的控制，逐步调整生成过程，使其更贴近目标分布。
优化过程：通过最优传输的距离度量（如 Wasserstein 距离）来优化生成模型，使得模型生成的数据分布与目标数据分布之间的传输成本最小化。

Qwen2.5 -技术报告

Qwen是阿里巴巴集团Qwen团队研发的大语言模型和大型多模态模型系列。目前，大语言模型已升级至Qwen2.5版本。无论是语言模型还是多模态模型，均在大规模多语言和多模态数据上进行预训练，并通过高质量数据进行后期微调以贴近人类偏好。Qwen具备自然语言理解、文本生成、视觉理解、音频理解、工具使用、角色扮演、作为AI Agent进行互动等多种能力。

最新版本Qwen2.5有以下特点：

易于使用的仅解码器稠密语言模型，提供 0.5B 、1.5B 、3B 、7B 、14B 、32B 和 72B 共7种参数规模的模型，并且有基模型和指令微调模型两种变体（其中“ B ”表示“十亿”， 72B 即为 720 亿）
利用我们最新的数据集进行预训练，包含多达 18T tokens （其中“ T ”表示“万亿”， 18T 即为 18 万亿）
在遵循指令、生成长文本（超过 8K tokens ）、理解结构化数据（例如，表格）以及生成结构化输出特别是 JSON 方面有了显著改进
更加适应多样化的系统提示，增强了角色扮演的实现和聊天机器人的背景设置。
支持最多达 128K tokens 的上下文长度，并能生成多达 8K tokens 的文本。
支持超过 29 种语言，包括中文、英文、法文、西班牙文、葡萄牙文、德文、意大利文、俄文、日文、韩文、越南文、泰文、阿拉伯文等。

简介

全面开源：考虑到用户对10B至30B范围模型的需求和移动端对3B模型的兴趣，此次除了继续开源Qwen2系列中的0.5B/1.5B/7B/72B四款模型外，Qwen2.5系列还增加了两个高性价比的中等规模模型—— Qwen2.5-14B 和 Qwen2.5-32B，以及一款适合移动端的 Qwen2.5-3B。所有模型在同类开源产品中均具有很强的竞争力，例如Qwen2.5-32B的整体表现超越了Qwen2-72B，Qwen2.5-14B则领先于Qwen2-57B-A14B。
更大规模、更高质量的预数据训练集：我们的预训练数据集规模从 7T tokens 扩展到了 18T tokens。
知识储备升级：Qwen2.5的知识涵盖更广。在MMLU基准中，Qwen2.5-7B 和 72B的得分相较于Qwen2分别从70.3提升到 74.2，和从84.2提升到 86.1。此外，Qwen2.5还在 GPQA、MMLU-Pro、MMLU-redux 和 ARC-c 等多个基准测试中有了明显提升。
代码能力增强：得益于Qwen2.5-Coder的突破，Qwen2.5在代码生成能力上也大幅提升。Qwen2.5-72B-Instruct在LiveCodeBench（2305-2409）、MultiPL-E和MBPP中的分别得分 55.5、75.1 和 88.2，优于Qwen2-72B-Instruct的32.2、69.2和80.2。
数学能力提升：引入了Qwen2-math的技术后，Qwen2.5的数学推理表现也有了快速提升。在MATH基准测试中，Qwen2.5-7B/72B-Instruct得分从Qwen2-7B/72B-Instruct的52.9/69.0上升到了 75.5/83.1。
更符合人类偏好：Qwen2.5生成的内容更加贴近人类的偏好。具体来看，Qwen2.5-72B-Instruct的Arena-Hard得分从 48.1 大幅提升至 81.2，MT-Bench得分也从 9.12 提升到了 9.35，与之前的Qwen2-72B相比提升显著。
其他核心能力提升：Qwen2.5在 指令跟随、生成 长文本（从1K升级到 8K tokens）、理解 结构化数据（如表格），以及生成 结构化输出（尤其是JSON）上都有非常明显的进步。此外，Qwen2.5能够更好响应多样化的 系统提示，用户可以给模型设置 特定角色 或 自定义条件。

模型基础信息

本次发布的 Qwen2.5 语言模型系列包括七个开源模型，规模从 0.5B 到 72B 不等。大多数模型支持 128K（131,072）个 token 的上下文长度，并能生成 8K token 的文本，支持长篇内容创作。除部分特殊版本外，模型主要采用 Apache 2.0 开源许可协议，而 Qwen2.5-3B 和 Qwen2.5-72B 分别使用 Qwen Research 许可协议和 Qwen 许可协议。

模型性能

Qwen2.5

为了展示 Qwen2.5 的能力，我们用我们最大的开源模型 Qwen2.5-72B —— 一个拥有 720 亿参数的稠密 decoder-only 语言模型——与领先的开源模型如 Llama-3.1-70B 和 Mistral-Large-V2进行了基准测试。我们在多个基准测试中展示了经过指令调优的版本的综合结果，评估了模型的能力和人类偏好。

除了指令微调的模型之外，我们还发现，我们的旗舰开源模型 Qwen2.5-72B 的基础语言模型性能达到了顶级水准，即便是在与 Llama-3-405B 这样更大的模型对比时也是如此。

Qwen2.5 的一个重要更新是重新引入了我们的 140 亿参数和 320 亿参数模型，即 Qwen2.5-14B 和 Qwen2.5-32B。这些模型在多样化的任务中超越了同等规模或更大规模的基线模型，例如 Phi-3.5-MoE-Instruct 和 Gemma2-27B-IT。它们在模型大小和能力之间达到了最佳平衡，提供了匹配甚至超过一些较大模型的性能。此外，我们的基于 API 的模型 Qwen2.5-Turbo 相比这两个开源模型提供了极具竞争力的性能，同时提供了成本效益高且快速的服务。

近来也出现了明显的转向小型语言模型（SLMs）的趋势。尽管历史上小型语言模型（SLMs）的表现一直落后于大型语言模型（LLMs），但二者之间的性能差距正在迅速缩小。值得注意的是，即使是只有大约 30 亿参数的模型现在也能取得高度竞争力的结果。附带的图表显示了一个重要的趋势：在 MMLU 中得分超过 65 的新型模型正变得越来越小，这凸显了语言模型的知识密度增长速度加快。特别值得一提的是，我们的 Qwen2.5-3B 成为这一趋势的一个典型例子，它仅凭约 30 亿参数就实现了令人印象深刻的性能，展示了其相对于前辈模型的高效性和能力。

除了在基准评估中取得的显著增强外，我们还改进了我们的后训练方法。我们的四个主要更新包括支持最长可达 8K 标记的长文本生成，大幅提升了对结构化数据的理解能力，生成结构化输出（尤其是 JSON 格式）更加可靠，并且在多样化的系统提示下的表现得到了加强，这有助于有效进行角色扮演。

贡献：

方法：

音频编码

Model Conditioning

模型架构

Flow Matching

CLAP 排名偏好优化 （CRPO）

Main Results

环境配置

模型下载

指令集构建

数据格式化

加载 tokenizer 和半精度模型

定义 LoraConfig

自定义 TrainingArguments 参数

使用 Trainer 训练

加载 lora 权重推理

Introduction

Related Work

Multimodal Spoken Dialogue Models:

文本风格 – 可控语音合成

MinMo

模型架构

Streaming Voice Decoder

Tasks and Training Data

模型训练

Experiments

语音识别和翻译

Speech Analysis and Understanding

Speech-to-Text Enhancement

Voice Generation

总结/局限性

语音对话系统建模

方法

模型概述

输入语音建模

输出语音建模

可控音色建模

单阶段训练

实验设置

实验结果

附录：

Pre-training Details

总结

简介

端到端全模态架构

端到端语音建模

音频编码

语音解码

语音到语音架构

端到端视觉理解

全模态流式机制

流式音频编码

流式语音解码

流式视觉理解

全模态时分复用

延迟分析

多模态系统提示词

模型训练

预训练

全模态指令微调

偏好对齐

评测

局限性

参考文献

openslr 下载：

1. 使用多个连接

2. 使用 --limit-rate 限制下载速度

3. 启用断点续传

1. Data Overview

2. List of ASR corpora

a. datasets can be downloaded directly

b. datasets can be downloaded after application

3. References

现有系统的局限性

InternLM-XComposer2.5-OmniLive 的创新设计

系统流程

性能测试与研究成果

实际应用场景

结语

CLAP 排名偏好优化（CRPO）

2. 使用 `--limit-rate` 限制下载速度