SimVQ：使用一个线性层解决矢量量化模型中的表示坍缩问题

摘自：https://spaces.ac.cn/archives/10519

音频表征工作

SimVQ: Addressing Representation Collapse in Vector Quantized Models with One Linear Layer

Github: https://github.com/youngsheen/SimVQ

论文提出只在 VQ 的编码表多加一个线性变换[W]，无需其他改动，就能达到加速收敛、提升编码利用率、降低重构损失等效果，相当简单有效。

普通AE和VQ-VAE的数学形式：

VQ-VAE不是VAE，它只是一个加上了VQ的AE，没有VAE的生成能力。而VQ则是将任意向量映射为编码表中与它最邻近的向量的操作，这个操作本身具有不可导的特性，所以通过STE来为encoder设计了梯度，并且新增了β,γ这两项损失，来为编码表提供梯度，同时也起到规整encoder表征的作用。

改动

论文将自己所提方法称为SimVQ，但没有解释Sim是什么含义，猜测Sim是Simple的缩写，因为SimVQ的改动确实太Simple了：

在编码表多乘了一个矩阵W，其他原封不动。

如果原本就是用式(2)训练VQ的，那么SimVQ可以直接简单上；如果原本是用EMA来更新编码表的（即β=0，然后用另外的滑动平均过程来更新编码表，这是VQ-VAE-2及后续一些模型的做法，在数学上等价于用SGD来优化编码表损失，而其他损失则可以用Adam等非SGD优化器），那么则需要取消这个操作，重新引入β项来端到端优化。

可能马上有读者质疑：这不就是将编码表的参数化从E改为EW吗？EW可以合并成一个矩阵，等价于一个新的E，按道理不改变模型的理论能力？是的，SimVQ对模型能力来说是不变的，但对SGD、Adam来说却是变的，它会改变优化器的学习过程，从而影响学习结果的好坏。

实验

根据论文的描述，SimVQ的代码就是在第一行VQGAN的代码上改的，改动就只有往VQ层插入了个线性变换，然后提升就非常显著了，不仅在相同编码表大小下达到了最优的重构质量，还能通过增加编码表大小进一步提高重构质量，这足以体现SimVQ的魅力——简单且有效。

笔者也在自己之前写的VQ-VAE代码上做了尝试，实测显示这个线性变换的加入，明显加速了VQ-VAE的收敛速度，并且最终的重构损失也有所降低。笔者还实验了W取对角阵的变体，这时候就相当于每个编码向量都element-wise地与一个参数向量（全一初始化）相乘，结果显示这样的变体也能起到相近的效果，介乎VQ与SimVQ之间。

分析：

直观来想，VQ对编码表的更新是比较“孤立”的，比如某个样本z被VQ为q，那么这个样本的梯度就只会影响q，不会影响编码表里的其他向量；但SimVQ不同，它不单会更新q，还会更新W，从几何意义上看，W就相当于编码表的基底，一旦更新W，那么整个编码表就会更新了。所以说，SimVQ使得整个编码表的“联动”更为密切，从而更有机会找到更优的解，而不是陷入“各自为政”的局部最优。

那为什么SimVQ能提高编码表的利用率呢？这个其实也不难理解。再次根据W是编码表基底的解释，如果编码表利用率过低，那么W就会出现“各向异性”，即基底偏向于那些被利用起来的编码，可是一旦基底发生这种变化，那么它的线性组合应该也是偏向于被利用起来的编码，从而利用率不会太低。说白了，可学习的基底会自动让自己的利用率变高，从而让整个编码表的利用率都提高起来。

然而，物极必反，如果全体编码都使劲往高利用率方向走，那么反而可能会导致编码表坍缩（codebook collapse），因此SimVQ默认采用了一个很保守的策略：只更新W，所有的q在随机初始化后就不更新了，这样一来就几乎杜绝了编码表坍缩的可能性。好消息是，在适当的编码维度下，实验显示q,W都更新和只更新W的表现都差不多，所以读者可以按照自己的偏好选择具体的形式。

延伸：

抛开VQ的背景，像SimVQ这种引入额外的参数但又在数学上等价，即不改变模型的理论拟合能力，只改变优化过程的动力学的做法，我们称为“过参数化（Overparameterization）”。

过参数化在神经网络中并不鲜见，比如现在模型的主流架构是Pre Norm即x+f(RMSNorm(x))，RMSNorm最后所乘的γ向量通常都是过参数化的，因为f的第一层通常就是线性变换，比如Attention是线性变换投影到Q、K、V，FFN是线性变换来升维，等等，这些模型在推理阶段γ向量完全可以合并到f的线性变换中，但鲜有看到在训练阶段就把γ去掉的做法。

这是因为不少人认为，深度学习模型之所以“好训”，过参数化有不可忽视的作用，因此贸然去掉已经充分验证的模型的过参数化风险很大。这里的“好训”，主要是指梯度下降这种理论上容易陷入局部最优的方法居然经常可以找到一个实际表现很好的解，这本身就是一件很不可思议的事情。还有《On the Optimization of Deep Networks: Implicit Acceleration by Overparameterization》等工作，表明过参数化隐式地加速了训练，作用类似于SGD中的动量。

最后，VQ本质上可以理解为一种稀疏训练方案，所以SimVQ所带来的启发和改动，也许还能用于其他稀疏训练模型，比如MoE（Mixture of Experts）。当前的MoE训练方案中，Expert之间的更新也是比较独立的，只有被Router选中的Expert才会更新参数，那么是不是有可能像SimVQ一样，所有的Expert后都接一个共享参数的线性变换，用来提高Expert的利用效率？当然MoE本身跟VQ也有很多不同之处，这还只是个猜测。

FunCodec：音频编解码开源工具包，用于音频量化和文本到语音合成、音乐生成等

Demo：funcodec.github.io/
Github：https://github.com/modelscope/FunCodec/
Paper：FunCodec: A Fundamental, Reproducible and Integrable Open-source Toolkit for Neural Speech Codec

一个基础的、可重复的和可集成的用于神经语音编解码器的开源工具包

特点：

FunCodec 再现了最先进的模型，包括 SoundStream、Encodec 等。
FunCodec 可以很容易地扩展到下游任务，例如 ASR 和 TTS。
FunCodec 可以在分布式 GPU 上训练模型，和批处理模式下的推理。
FunCodec 原生支持频域、更适合语音信号。
FunCode 模型可以通过语义标记进行增强，例如音素和 Hubert 嵌入。

Available models：

audio_codec-freqcodec_模型特点：频域模型，充分利用语音信号的短时结构，模型参数极少（0.52M），计算复杂度极低（0.34G flops），使用结构化 dropout 进行训练，使用单个模型在推理过程中启用各种带宽，将原始语音波形量化为离散标记序列

audio_codec-encodec_模型特点:使用大规模内部数据集进行训练，对许多场景都具有鲁棒性,在低频带宽度下实现更高的编解码器质量,使用结构化 dropout 进行训练，使用单个模型在推理过程中启用各种带宽,将原始语音波形量化为离散标记序列

与 EnCodec 和 SoundStream 相比，使用以下改进的技术来训练模型，从而提高编解码器质量和相同带宽下的 ViSQOL 分数：

幅值频谱loss用于增强中高频信号
结构化 dropout 用于平滑代码空间，并在单个模型中启用各种带宽
码字由 k-means 集群而不是随机值初始化
码本采用指数移动平均和死码消除机制进行维护，因此码本的利用率很高。

模型组成：

FunCodec 模型由五个模块组成：域转换模块、编码器、RVQ 模块、解码器和域反转模块。
域变换：将信号转换为时域、短时频域、幅度-角度域或幅度-相位域。
编码器：将信号编码为具有堆叠卷积层和 LSTM 层的紧凑表示。
语义token（可选）：使用语义标记增强编码器输出以增强内容信息，此模型中未使用。
RVQ：使用级联向量量化器将表示量化为离散标记的并行序列。
Decoder：将量化的 embedding 解码到与 inputs 相同的不同信号域中。
Domain Inversion：重新合成来自不同域的可感知波形。

Results

相比其他开源的音频编解码训练框架:

1. Comparison of academic models in terms of ViSQOL scores on LibriTTS dataset. † means the model is causal.

2. Comparison between FunCodec and other toolkits under (a) lower and (b) higher token rate. LS denotes Librispeech test sets. While Librispeech and gigaspeech are English corpora, aishell and Wenet are Mandarin corpora.

3. Comparison of FreqCodec and other time domain models in terms of ViSQOL score on LibriTTS. Mag denotes magnitude spectrogram. C_in represents the channel number of inputs.

Mini-Omni: Language Models Can Hear, Talk While Thinking in Streaming

Mini-Omni：语言模型可以在流中听、说和思考

Github：https://github.com/gpt-omni/mini-omni

Paper：arxiv.org/abs/2408.16725

对话训练数据集开源：VoiceAssistant-400K is uploaded to Hugging Face.【基于cosyvoice合成的】

Qwen2 as the LLM backbone.
litGPT for training and inference.
whisper for audio encoding.【用于模型音频表征编码】
snac for audio decoding.【RVQ架构用于模型音频解码】
CosyVoice for generating synthetic speech.【用于合成训练数据】
OpenOrca and MOSS for alignment.

Mini-Omni的基本思想是通过文本来指导音频的生成，这种方法基于假设：text token有更高的信息密度，可以使用更少的token表示相同的信息。
生成音频token时以对应文本token为条件，类似在线语音合成系统，且生成音频前用 N 个pad token填充，确保先产生文本token。
模型可依据说话者和风格的embedding，控制说话者特征和风格元素。

Introduction

Mini-Omni，这是一种基于音频的端到端对话模型，能够进行实时语音交互。为了实现这种能力，提出了一种文本指导的语音生成方法，以及推理过程中的批处理并行策略，以进一步提高性能。该方法还有助于以最小的退化保留原始模型的语言能力，使其他工作能够建立实时交互能力。我们将这种训练方法称为 “Any Model Can Talk”。我们还引入了 VoiceAssistant-400K 数据集，以微调针对语音输出优化的模型。据我们所知，Mini-Omni 是第一个用于实时语音交互的完全端到端的开源模型，为未来的研究提供了宝贵的潜力。

Figure 1:The **Mini-Omni** model architecture.

Mini-Omni，这是第一个具有实时对话功能的开源多模型大型语言模型，具有完全端到端的语音输入和输出功能。它还包括各种其他音频转文本功能，例如自动语音识别（ASR）。我们采用了目前可用的现成方法来离散语音标记，并采用了最简单的模型架构，使我们的模型和方法很容易被其他研究人员采用。直接音频推理带来了重大挑战；然而，我们的方法仅使用 0.5B 模型和有限数量的合成音频数据就成功地解决了这个问题。

重要的是，我们的训练框架可以在不严重依赖广泛的模型功能或大量数据的情况下实现这一目标。

为了利用和保留语言模型的原始功能，我们提出了一种并行生成范式，其中 transformer 同时生成音频和文本标记。随后，我们观察到音频模态对文本能力的影响很小，并进一步引入了基于批处理的并行生成，这显着增强了模型在流式音频输出过程中的推理能力。作为一个重要决策，我们选择不牺牲音频质量来换取更简单、比特率更低的音频编码器，以降低模型中音频推理的复杂性。但是，为了确保音频质量，我们选择了 SNAC ，这是一款音乐级编码器，具有 8 层码本，每秒处理数百个令牌。创新地，我们应用了文本指导的延迟并行生成来解决长 SNAC 码本序列的问题。实验表明，音频输出质量与常见的 TTS 系统相当。

我们还提出了一种方法，该方法只要对原始模型进行最少的训练和修改，使其他工作能够快速发展自己的语音能力。我们将这种方法称为 “Any Model Can Talk”，旨在使用有限数量的附加数据实现语音输出。该方法通过额外的适配器和预先训练的模型来扩展语音功能，并使用少量合成数据进行微调。这与上述并行建模方法相结合，可以在新模态中启用流式输出，同时保留原始模型的推理能力。

最后，观察到大多数开源 QA 数据集都包含混合代码或过长的文本，这使得它们不适合语音模型。为了克服这一限制，我们引入了 VoiceAssistant-400K 数据集，其中包含超过 400,000 个由 GPT-4o 专门生成的条目，用于语音助理监督微调（SFT）。

方法

提出了一种同时生成文本和音频的新方法。这种方法假设文本输出具有更高的信息密度，因此可以通过更少的标记实现相同的响应。在生成音频标记的过程中，模型能够高效地基于对应的文本标记进行条件生成，类似于在线 TTS 系统。为确保在生成音频标记之前先生成对应的文本标记，我们在模型中引入了以 N 个标记进行填充的机制，该值可作为超参数进行调整。此外，模型还能够基于说话人嵌入和风格嵌入进行条件生成，从而实现对说话人特征和风格元素的控制。

将audio token和text token合并成新的词表，生成时同时预测audio token和text token，Loss如下：

其中 T ,A 是训练语料 C 中的文本-音频输出对，m 是训练样本的数量。 X_j 是第 j 个示例的输入条件，n_j 是的最大个数样本 T_j 和 A_j、T_i_,j 和 A_i,j 表示第 j 个样本的第 i 个文本标记和音频标记。

解码策略

Mini-Omni 对响应进行了重组，通过文本-音频并行解码方法将这些推理能力转移到流式音频输出。这种方法同时输出音频和文本令牌，并通过文本到语音合成生成音频，确保实时交付，同时利用基于文本的推理优势。为了与大型模型的输入保持一致，在生成下一个标记之前，将并行生成的所有序列相加，如图 1 所示。这种方法使模型能够在聊天场景中实现实时语音输出，同时将第一个标记延迟降至最低。

文本延迟并行解码。并行生成最早是由 MusicGen引入的，以加速音乐生成过程，我们已将这种方法集成到文本模态中以增强推理能力。并行解码是可行的，因为语言模型训练中使用的音频标记码本通常由多个层组成;同时生成所有层可以显著提高模型速度。对于实时语音输出模型，并行解码更为重要，它允许在标准设备上每秒生成数百个音频令牌。在本文中，我们采用 SNAC 作为音频编码器，它由 7 个具有互补关系的标记层组成。因此，我们采用 8 个子语言模型头（sub-Language Model heads），一步生成 8 个标记，包括文本，同时在相邻层之间保持一步延迟。由于音频令牌是从文本合成派生的，因此首先输出文本令牌，然后输出从第一层到第七层的 SNAC 令牌。我们提出的文本优先延迟并行解码的过程如图 2（b）所示。

批量并行解码。尽管前面介绍的并行生成方法有效地将推理能力从文本模态转移到音频模态，但我们的实验表明，模型的推理性能在文本和音频任务之间仍然存在差异，音频响应往往更简单。我们假设这是由于模型容量的限制或音频数据不足造成的。为了解决这个问题并进一步增强模型在对话过程中的推理能力，最大限度地转移其基于文本的能力，我们实验性地采用了 Batch 方法。鉴于该模型在文本模态中的性能更强，我们将单个输入的推理任务扩展到批量大小 2：如前所述，一个样本需要文本和音频响应，而另一个样本只需要文本响应，专注于基于文本的音频合成。但是，第一个样本的文本标记输出将被丢弃，第二个样本的文本输出将嵌入到第一个样本的相应文本标记位置。同时，使用第二个样本的纯文本响应中的内容对第一个样本中的音频进行流式处理;我们将此过程称为 Batch 并行解码。通过这种方法，我们以最小的资源开销，有效地、几乎完全地将模型的基于文本的能力转移到音频模态中，从而显着增强了它在新模态中的推理能力。批量并行解码的推理过程如图 2（c）所示。我们相信批量并行解码代表了一项关键的算法创新，它使如此小的模型能够表现出强大的对话能力。

训练方法：Any Model Can Talk

该方法旨在尽可能保留原始模型的功能。这首先是由于我们的基础模型的强大性能，其次是因为该方法可以应用于其他在文本输出方面表现出色但缺乏强大的语音交互能力的工作。

Audio Encoding：音频输入主要侧重于从输入音频中提取特征，选项包括 Hubert 或单独预训练的音频编码器。鉴于我们专注于语音输入，Whisper 和 Qwen2-audio也展示了在一般音频任务中的有效性能。对于音频输出，使用多码本方法选择音频令牌可以更好地捕获音频细节。尝试了用于音频令牌建模的扁平化，但结果导致令牌过长，这对流式有害，并导致学习不稳定。相反，受 MusicGen 启发的并行解码采用了延迟模式与文本条件相结合。

三阶段训练。 我们的训练方法分为三个不同的阶段：（1）模态对齐。此阶段的目标是增强文本模型理解和生成语音的能力。Mini-Omni 的核心模型完全冻结，只允许在两个适配器中使用gradients 。在此阶段，我们使用来自语音识别和语音合成的数据来训练模型的语音识别和合成能力。（2）适应训练。一旦新模态与文本模型的输入对齐，适配器就会被冻结。在这个阶段，我们只专注于在给定音频输入时训练模型的文本功能，因为音频输出只是从文本合成的。该模型使用来自语音识别、语音问答和其他文本响应的任务【 TextQA 和 AudioQA 】的数据进行训练。（3）多模态微调。在最后阶段，使用综合数据对整个模型进行微调。此时，所有模型权重都已解冻并训练。由于主要模态对齐任务是在适配器训练期间处理的，因此最大限度地保留了原始模型的功能。

模型输入 ID。给定 8 个并行输出序列，输入也需要 8 个序列，这导致了极大的复杂性。因此，我们在这里简要概述了模型输入的组织。该模型可以接受文本或音频输入，这些输入被放置在相应的模态序列中。对于音频输入，输入token和 Whisper 特征通过适配器转换为相同维度的张量，然后连接起来。根据任务的不同，我们将特殊 token 放置在不同的位置，引导模型的输出，实现多模态输出。一些任务的组织如图 4 所示。在输入模型之前，所有序列都会相加并求平均值以集成特征。

实验

数据：

为了建立基础语音功能，我们使用三个语音识别数据集训练了模型，总计约 8,000 小时，专注于语音理解和合成。对于文本模态，我们整合了来自 Open-Orca （OpenOrca，）数据集的 200 万个数据点，并将它们与其他模态集成以保持文本准确性。Moss 的 SFT 数据集（Sun et al.， 2024）与零样本 TTS 一起使用，合成了 150 万个语音 QA 对。为避免不合适的代码和符号输出，我们使用 GPT-4o 创建了 VoiceAssistant-400K 数据集。表 1 中详细介绍了数据集。阶段 1 涉及用于训练语音适配器的 ASR 数据。阶段 2 使用 TextQA 和 AudioQA 进行音频/文本输入和文本响应训练。第 3 阶段侧重于使用 AudioQA 的音频模态进行多模态交互。最后阶段的培训包括退火和语音 QA 微调。

训练参数：

模型在 8 个 A100 GPU 上进行训练，使用余弦退火学习率调度器，最小学习率为 4e-6，最大学习率为 4e-4。每个训练 epoch 由 40000 个步骤组成，每个步骤的批次大小为 192。基本语言模型采用 Qwen2-0.5B ，这是一种具有 24 个块且内部维度为 896 的 transformer 架构。语音编码器使用 Whisper-small 编码器，ASR 适配器通过两层 MLP 连接，TTS 适配器通过添加 6 个额外的transformer 块来扩展原始模型。在微调过程中，我们使用从 4e-6 到 5e-5 的学习率。

实验结果：

首先评估了该模型在 ASR 任务上的性能，以评估其语音理解能力。使用 LibriSpeech 的四个测试集。

Case Study

我们展示了几个案例来演示 Mini-Omni 在语音理解和推理方面的能力。这些示例表明，与基于文本的推理相比，基于语音的推理要弱一些，这凸显了批量生成的必要性。更多令人印象深刻的例子，请参考 https://github.com/gpt-omni/mini-omni。

总结

Mini-Omni，这是第一个具有直接语音转语音功能的多模态模型。在以前使用文本引导语音生成的方法的基础上，我们提出了一种并行文本和音频生成方法，该方法利用最少的额外数据和模块将语言模型的文本功能快速传输到音频模态，支持具有高模型和数据效率的流式输出交互。我们探索了文本指令流式并行生成和批量并行生成，进一步增强了模型的推理能力和效率。我们的方法使用只有 5 亿个参数的模型成功地解决了具有挑战性的实时对话任务。我们开发了基于前适配器和后适配器设计的 Any Model Can Talk 方法，以最少的额外训练促进其他模型的快速语音适应。此外，我们还发布了 VoiceAssistant-400K 数据集，用于微调语音输出，旨在最大限度地减少代码符号的生成，并以类似语音助手的方式帮助人类。我们所有的数据、推理和训练代码都将在 https://github.com/gpt-omni/mini-omni 逐步开源。

Mini-Omni2：多模态交互实时对话模型

🤗 Hugging Face | 📖 Github | 📑 Technical report

Mini-Omni2: Towards Open-source GPT-4o with Vision, Speech and Duplex Capabilities

Mini-Omni2 是一种全能互动模型。它可以理解图像、音频和文本输入，并与用户进行端到端的语音对话。具有实时语音输出、全方位的多模态理解和说话时与中断机制的灵活交互能力。

✅ 多模态交互：具有理解图像、语音和文本的能力，就像 GPT-4o 一样。

✅ 实时语音转语音对话功能。不需要额外的 ASR 或 TTS 模型，就像 Mini-Omni 一样。

1、为什么不使用 token-in-token-out 范式 ：

为了有限数据量的高效训练 ，由于与理解能力相关的挑战，作者选择来自预训练编码器的特征和文本嵌入被连接起来以形成模型的输入。token-in不足以可靠地传达语音输入的内容，训练损失很高。

2、如何实现实时响应：

对文本和音频采用延迟并行输出方法，可以立即响应音频。

3、如何做到打断对话：

认为当前的全双工训练仍然不够稳定，而基于输入语义信息的中断对于实现稳定和灵活的人机交互至关重要。探索了一种基于命令的中断方法，利用流式令牌作为输入并构建训练数据，使模型能够根据外部语义线索控制其音频输出流

GPT-4o 是一个包罗万象的模型，代表了大型多模态语言模型发展的一个里程碑。它可以理解视觉、听觉和文本模态，直接输出音频，并支持灵活的双工交互。来自开源社区的模型通常实现了 GPT-4o 的一些功能，例如视觉理解和语音聊天。然而，由于多模态数据的复杂性、复杂的模型架构和训练过程，训练包含所有模态的统一模型具有挑战性。 Mini-Omni2是一种视觉音频助手，能够为 visoin 和音频查询提供实时、端到端的语音响应。通过集成预先训练的视觉和听觉编码器，Mini-Omni2 可以在各个模态中保持性能。我们提出了一个三阶段的训练过程来调整模态，允许语言模型在有限的数据集上训练后处理多模态输入和输出。在交互方面，我们引入了基于命令的中断机制，使与用户的交互更加灵活。据我们所知，Mini-Omni2 是 GPT-4o 最接近的复制品之一，它们具有相似的功能形式，我们希望它能为后续研究提供有价值的见解。

Mini-Omni2 作为 Mini-Omni 的延续，采用单一模型端到端模拟 GPT-4o 的视觉、语音和文本功能，并通过独特的基于命令的中断机制进行增强。与 Mini-Omni 一致，我们保留 Qwen2作为基础模型，利用这种紧凑的架构实现跨三种模态的全面多模态理解和实时流式语音推理。此外，我们使模型能够实时接收外部音频输入，模拟其 “听觉” 感知并根据内容语义控制语音输出流。Mini-Omni2 的模型架构如图 1 所示。作为一个端到端模型，我们通过直接采用经典的预训练视觉编码器 CLIP和语音识别模型 Whisper 的编码器组件来提高数据利用效率并展示 Mini-Omni2 算法的泛化性作为视觉和音频输入的特征提取器。来自预训练编码器的特征和文本嵌入被连接起来以形成模型的输入。由于与理解能力相关的挑战，我们没有采用 token-in-token-out 范式。此外，该模型对文本和音频采用延迟并行输出方法，可以立即响应音频像GPT-4o一样。

在 Mini-Omni2 中，我们提出了一种基于有限数据量的高效训练方法，旨在使模型的训练方法能够辅助其他多模态模型进行模态扩展。因此，我们避免了盲目地以指数方式扩展数据集，而是寻求使用最少的新数据开发一种多模态扩展方法。我们采用了模态扩展、对齐和联合训练的三阶段训练过程。最初，Mini-Omni2 模型使用语音识别和图像标题数据集进行适配器训练，从而拓宽了多模态理解的范围。接下来，Mini-Omni2 接受了跨模态问答任务中的文本输出训练，使基于适配器的输出功能与文本嵌入保持一致，以实现有效的问答。在第三阶段，我们通过结合音频输出和听觉能力（如中断）训练，专注于多模态输出能力。

关于模型的语音交互能力，Mini-Omni2 继续使用 SNAC 分词器来确保高质量的语音输出。然而，根据我们的观察，我们认为当前的全双工训练仍然不够稳定。因此，我们认为基于输入语义信息的中断对于实现稳定和灵活的人机交互至关重要。我们使模型能够使用 SNAC 对其接收到的“听觉”波形进行实时编码，生成允许它在每次生成期间控制自己的输出的令牌。作为演示，我们使用短语 “stop omni” 构建数据，使用帧级 irq 和 n-irq 特殊token来控制生成过程。

Mini-Omni2

模型

Mini-Omni2 的模型架构如图 1 所示。除了文本嵌入模块外，Mini-Omni2 还采用了 CLIP 和 Whisper-small 的视觉组件作为视觉和听觉模态的编码器，从而在训练期间实现高效的数据利用，并最大限度地减少了大量的预训练工作。此外，Mini-Omni2 具有实时双工功能，为模型交互提供了更大的灵活性。

视觉编码器 – 我们利用 CLIP 的视觉组件，特别是 ViT-B/32 模型，作为视觉编码器，它将输入的图像转换为长度为 49 的特征序列，用于图像补丁和全局语义特征。Mini-Omni2 将这些连接起来形成长度为 50 的原始特征序列，使用单层 LlamaMLP作为视觉适配器。

Audio Encoder – 在编码器部分，我们使用 Whisper-small 模型作为音频编码器来继续之前的工作。我们选择不对音频输入和输出采用 token-in-token-out 建模方法，原因有两个。（i）语音识别的语义一致性很强。由 OpenAI 提出的 Whisper 模型经过数千小时的数据集训练，表现出卓越的稳健性。此外，我们出乎意料地发现，尽管没有在任何中国数据集上进行训练，但 Mini-Omni 表现出对中国数据的理解。我们认为，这是因为 Whisper 模型能够自动对齐来自不同语言、语气和噪声级别的音频，这些音频传达了相同的含义，从而使模型能够专注于用户的意图。 （ii）不稳定的开源音频token。我们观察到一种现象，即 a） Mini-Omni2 的音频损失在训练期间仍然很高，并且 b）音频片段的token可能会根据两端的内容而发生显著变化。我们认为，token不足以可靠地传达语音输入的内容，与 Whisper 等语义特征相比，ASR 的性能不佳就证明了这一点。

Mini-Omni2 使用 Qwen2-0.5B 基础版本作为其基础语言模型。我们使用 LitPT训练框架移植了基于 Llama 的 Qwen2 模型，采用 0.5B 模型的配置作为基本语言模型。对于图 3 所示的多层码本的并行生成，我们通过添加 7 × 4160 个 sub-LM-head 来扩展 Qwen2 模型的词汇表，如图 4 所示，得出词汇量为 181,120 个。

损失：对于同时生成的音频和文本标记，负对数似然损失可以表示为公式：

多模态标记 – 混合输入 – 图 3 说明了模型一些主要任务的输入和输出标记建模。由于该模型包含多个 LM 头，因此它以自回归方式生成多个序列。因此，该模型还将多个序列作为输入。输入序列可以包含从最少一种模态到最多三种模态的混合输入。

视觉 – [音频|文本] 输入。实验表明，当自回归任务与语义信息相连接时，Transformer 架构更容易训练并产生更自然的反应。因此，如图 3 （a）所示，我们首先放置视觉适配器处理的视觉特征，然后是音频适配器处理的 Whisper 特征。最后，在需要自回归生成响应的位置，我们为响应放置一个特殊的 token。总长度约为 50（CLIP 特征长度）+ La （Whisper 特征长度）。

单模态输入 单模态输入可以由视觉、语音或文本输入组成。我们将视觉和音频模态的特征放在第 1 层到第 7 层。将复制这些特征，以便在所有图层要素之间进行平均时增强其突出性。值得注意的是，当仅输入单个模态的特征而不受特殊标记的控制时，默认任务是图像字幕、语音到文本的问答和文本到文本的问答。

文本-音频并联解码。在 Mini-Omni2 中，我们基本上保留了 Mini-Omni 的输出策略，采用 Text-Instruct Delay Parallel Decoding 算法来增强音频生成。这种方法利用文本-音频并行解码来同时生成音频和文本令牌，并利用文本到语音合成进行实时输出。我们继续 MusicGen 引入的并行生成方法，使用 SNAC 作为音频编码器，它由七个互补的令牌层组成。在一个步骤中，我们生成了 8 个标记，包括文本，同时在层之间保持一步延迟。此外，我们还采用了一种 Batch 方法，该方法涉及两个样本：一个需要文本和音频响应，另一个需要仅文本响应。通过丢弃第一个样本中的文本标记并将第二个样本的输出嵌入到第一个样本中，我们有效地将模型的基于文本的功能转移到音频任务中，从而以最小的资源开销显著提高推理能力。

训练策略

Mini-Omni2 的整个训练过程如图 5 所示。培训过程分为三个阶段，每个阶段采用多任务培训。在图中，除了阶段 1 之外，还合并了一个基础文本到文本任务，但未明确描述。我们将整个训练过程分为三个阶段：

多模态编码器适应 在第一阶段，我们采用快速、小规模的训练，只关注连接语言模型和编码器的线性层的权重。阶段 1 的目标是确保模型接收的多模态特征与模型嵌入层中表示的文本标记的特征非常相似。我们认为这种方法有两个主要优点：1. 它允许模型在随后的训练中专注于特定模态问答中的逻辑推理。2. 它最大限度地减少了语言模型核心中的参数变化，否则这些变化会因适应其他模态而导致。
模态对齐 在第 2 阶段，模型训练的主要任务是将基于文本输入的问答能力转移到基于图像和音频的问答能力。在此步骤中，在阶段 1 中训练的适配器被暂时冻结，语言模型的权重参与训练。在此阶段，所有任务都不涉及音频响应。对于基于图像和基于音频的 QA 等任务，仅生成基于文本的响应来建立模型的基本逻辑功能。语音输出只是这种逻辑能力在不同模态中的延伸。
训练后 在第 3 阶段，模型的任务是扩展输出模态以包括音频响应生成。如图 5 所示，该模型将针对第 1 阶段和第 2 阶段的所有任务进行训练，并为所有问答任务提供音频令牌输出。此外，该模型将学习中断机制。

双工交互

实时对话模型需要具有双工功能，以实现更灵活的交互。但是，这种中断机制不应该是一个简单的基于 VAD（语音活动检测）的机制，而是一个可以确定用户是否打算中断模型的系统。此外，模型的能力应该非常健壮，能够处理各种外部情况（例如，噪音、其他对话和不相关的声音）。我们通过基于命令的任务来探索此功能，当用户说出 “Stop Omni” 时，模型将立即停止说话。此外，这种方法可以通过开发更符合上下文的中断数据集，自然地扩展为包含更复杂的语义中断机制。

背景噪声选择：（1）我们随机使用了来自 Libri-tts 数据集的各种语音识别样本作为原始人类噪声数据样本。（2）我们使用了来自 MUSAN数据集的样本，其中包括音乐、人声、白噪声和城市噪声。

语义中断构造：我们将 “Stop Omni” 与随机的语音音色合成，随后与噪声混合。具体的数据构造方法将在下一节中介绍。

结合上述数据，该模型将接收到包含各种噪音中的 “Stop Omni” 短语的长序列数据。该模型将实时生成两种类型的状态 token：irq 和 n-irq，分别代表用户打断和不打断的意图。在推理过程中，当模型输出 irq token 时，它会停止生成过程并开始监听新的 question。对于此任务，我们使用token作为输入来增强模型的实时处理能力。

训练：

Mini-Omni2 模型在 8 个 A100 GPU 上完成了所有训练步骤。在适配器训练阶段，学习率从 2e-5 到 1e-3 不等，而训练语言模型使用的学习率在 2e-6 和 2e-4 之间。最后的微调是在 2e-6 到 2e-5 的学习率范围内进行的。采用了余弦调度器，具有 1500 个预热步骤，全局批处理大小为 192。使用完整数据集对每个阶段进行一个 epoch 的训练。前面介绍了视觉和音频编码器的规模，使用的语言模型是 Qwen2-0.5B 基本模型。所有型号适配器均使用中间尺寸为 4,864 的 Llama-MLP。

数据集：

语音对话数据合成：

Spoken Dialogue Data：使用语音识别数据集作为随机语音音色库。为了确保训练的稳健性，从该数据集中随机选择一个样本作为输入所有口语对话数据的语音提示，并采用 CosyVoice进行零镜头语音合成。对于所有问答数据的输出，使用来自内部 TTS 系统的相同语音音色。

中断数据：首先，对噪声数据进行流式编码和解码，以模拟模型的实时流式输入。然后，提取噪声数据的随机段。在此段落的末尾，插入一个 “Stop Omni” 乐句，以与对话数据相同的方式使用随机语音音色生成。最后，在此段的末尾附加一个 0-10 秒的额外“尾巴”。在标注方面，尾部之前的所有数据都标记为 “n-irq”，而尾部段被标记为 “irq”，表示模型应该被打断。

结果：

改进空间：

以下几个方面值得探索和改进：

1. 模型和数据大小的缩放。Mini-Omni2 的目标是用有限的资源训练小模型，我们相信更多的数据和计算可以大大增强其能力。

2. 改进音频输出的风格控制和多样性（情感、自然度、音色、口音和歌唱）。

3. 更丰富的语义中断机制。

SNAC: RVQ的扩展，多尺度神经音频编解码器

SNAC: Multi-Scale Neural Audio Codec

Github：https://github.com/hubertsiuzdak/snac

demo：https://hubertsiuzdak.github.io/snac/

语音对话大模型的应用：Mini-Omni: Language Models Can Hear, Talk While Thinking in Streaming，使用了snac作为audio decoding

残差矢量量化（RVQ）已成为使用级联 VQ 代码本进行神经音频压缩的标准技术。本文提出了一种多尺度神经音频编解码器，它是 RVQ 的简单扩展，其中量化器可以在不同的时间分辨率下运行。通过在可变帧率下应用量化器层次结构，编解码器适应了跨多个时间尺度的音频结构。正如广泛的客观和主观评估所证明的那样，这将带来更有效的压缩。

SNAC（多尺度神经音频编解码器），是对当前音频残差量化方法的简单扩展，通过在不同的时间分辨率上引入量化来形成音频的多尺度离散表示。

**stride从4，2，1逐渐降低，时间分辨率逐渐增加，对应上图的由粗到细的时间分辨率量化**，对应 **不同速率的符元序列**

方法：

模型建立在 RVQGAN的基础上，这是一个具有残差向量量化 (RVQ) 瓶颈的编码器-解码器网络。它使用级联的 Nq 向量量化层，其中每一层将残差 𝐱∈ℝ^T×C 映射到形状为 T×D 的单热向量序列，其中 T 表示帧数，C 是编码器维度，D 是码字维度。

多尺度残差向量量化

我们的工作通过引入多尺度残差向量量化（如上图所示）扩展了 RVQGAN。在每次迭代 i 中，将残差下采样 W_i 倍，执行码本查找，然后上采样 W_i 倍以匹配 𝐱 的原始时间分辨率 T。在实践中，我们使用平均池化进行下采样，并使用最近邻插值进行上采样。

噪声块（Noise Block）

为了引入随机性并增强解码器的表现力，我们在每个上采样层之后添加了一个噪声块。该块通过更新输入来向激活值添加噪声：
x←x+Linear(x)⊙ε
其中 ε∼N(0,1) 是高斯噪声，⊙ 表示逐元素乘法。这种机制允许模型注入与输入相关的噪声。实验发现，噪声块可以改善重建质量，并促进码书（codebook）的更好利用。

深度卷积（Depthwise Convolution）

深度可分离卷积最初被引入是为了在视觉应用中构建更轻量的模型。通过对每个输入通道应用单个滤波器，该方法显著减少了计算量和模型大小。建议在生成器中使用深度卷积，不仅可以减少参数数量，还能稳定训练过程。基于 GAN 的声码器（vocoders）以其训练的不稳定性而闻名，通常在早期训练阶段会出现梯度发散，导致训练不稳定甚至模型崩溃。

局部窗口注意力（Local Windowed Attention）

在我们的模型中，我们在编码器和解码器中最低时间分辨率处引入了单层局部窗口注意力。这样设计的动机是利用注意力机制根据不同输入自适应地关注相关特征。此外，这种机制可以与后续的平均池化互为补充，从而有助于捕获上下文表示。类似地，文献【13】中引入了 LSTM 层，以更有效地建模时间依赖性。

详细网络结构：

一般音频：

编码器和解码器都在最低时间分辨率处包含局部窗口化注意力层。我们用深度卷积替换了大多数卷积，除了嵌入、输出投影和上采样层。编码器使用下采样层级联，速率分别为 [2, 3, 8, 8]，解码器中相应的上采样层速率为 [8, 8, 3, 2]。在 RVQ 中，我们使用 [8, 4, 2, 1] 的降采样因子（步长），有效地将 44.1 kHz 的输入信号压缩为四种不同速率的符元序列，分别为 14、29、57 和 115 Hz。每个码本包含 4096 个条目（12 位），总比特率为 2.6 kbps。该模型由编码器中的 1600 万个参数和解码器中的 3830 万个参数组成，总共 5450 万个参数。我们应用相同的架构在 32 kHz 音频上进行训练，导致符元速率分别为 10、21、42 和 83 Hz，总比特率为 1.9 kbps。

语音：

对于语音编解码器，通过调整编码器（以及相应的解码器）中的降采样因子来修改架构，调整后的因子为 [2, 4, 8, 8]。在残差向量量化中，我们使用 [4, 2, 1] 的步长。该模型在 24 kHz 音频上进行训练，导致符元速率分别为 12、23 和 47 Hz，有效比特率为每秒 984 比特。 此外，我们减少了卷积通道的数量，导致编码器中有 670 万个参数，解码器中有 1300 万个参数，总共 1980 万个参数。我们省略了语音编解码器中的局部窗口化注意力层，使架构完全卷积化。

实验：

音乐

我们将第 4.1 节中介绍的针对通用音频的两种 SNAC 变体与 MusicGen [28] 中 Encodec [13] 的 32 kHz 检查点以及使用 3、6 或 9 个码本的官方 DAC [2] 检查点进行比较。我们观察到，SNAC 明显优于其他编解码器，例如在可比较比特率下运行的 Encodec（32 kHz）和 DAC（使用 3 个码本）。值得注意的是，SNAC 甚至与比特率是其两倍以上的编解码器相竞争。此外，在 32 kHz 和 44 kHz 下的 SNAC 模型之间感知到的音频质量差异很小，这表明 32 kHz 模型足以完成大多数任务，并提供更低比特率的额外优势。

语音

对于语音，我们将 SNAC 语音模型与 EnCodec（24 kHz 检查点）和 DAC 进行比较，使用不同的码本数量。在我们的评估中，SNAC 一直优于所有其他编解码器。值得注意的是，即使在低于 1 kbit/s 的比特率下，SNAC 仍然保持着接近参考信号的音频质量。这种效率使其在带宽受限的应用中特别有利，在这些应用中，保持语音的清晰度和可懂度至关重要

结论

我们介绍了多尺度神经音频编解码器 (SNAC)，它是残差矢量量化的扩展，使用在多个时间分辨率下运行的量化器。这种多尺度方法适应了音频信号的固有结构，从而实现更高效的压缩。消融研究证实了我们设计选择的意义。 SNAC 在音乐和语音领域都优于现有的最先进的编解码器，在更低的比特率下提供更高的音频质量，正如广泛的客观和主观评估所证明的那样。通过开源我们的代码和模型，我们旨在为神经音频压缩研究的进步做出贡献。

语音多模态大模型汇总–Github

重点关注：

https://github.com/ga642381/speech-trident/

⚡ 语音表示模型：这些模型专注于学习结构性语音表示，然后可以将其量化为离散的语音标记，通常是指语义标记。

⚡ 语音神经编解码器模型：这些模型旨在学习语音和音频离散标记，通常称为声学标记，同时保持重建能力和低比特率。

⚡ 语音大型语言模型：这些模型在语言建模方法的语音和声学标记之上进行训练。他们展示了对语音理解和语音生成任务的熟练程度。

Awesome Speech LM-语音大模型系列汇总

GitHub：https://github.com/ga642381/speech-trident/tree/master

在这个代码库中，我们研究了以下三个关键领域：(1) 表征学习，(2) 神经编解码器，以及 (3) 语言模型，这些领域共同推动了语音/音频大语言模型的发展。

⚡ 语音表征模型：这些模型专注于学习语音的结构化表征，随后将其量化为离散的语音标记，通常被称为语义tokens。
⚡ 语音神经编解码模型：这些模型旨在学习语音和音频的离散标记，通常被称为声学tokens，同时保持良好的重构能力和低比特率。
⚡ 语音大语言模型：这些模型基于语音和声学token，采用语言建模方法进行训练，在语音理解和语音生成任务中展现出较高的能力。

🔱 Speech/Audio Language Models

Date	Model Name	Paper Title	Link
2024-11	—	Building a Taiwanese Mandarin Spoken Language Model: A First Attempt	Paper
2024-11	Ultravox	Ultravox: An open-weight alternative to GPT-4o Realtime	Blog
2024-11	hertz-dev	blog	GitHub
2024-11	Freeze-Omni	Freeze-Omni: A Smart and Low Latency Speech-to-speech Dialogue Model with Frozen LLM	paper
2024-11	Align-SLM	Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback	paper
2024-10	Ichigo	Ichigo: Mixed-Modal Early-Fusion Realtime Voice Assistant	paper, code
2024-10	OmniFlatten	OmniFlatten: An End-to-end GPT Model for Seamless Voice Conversation	paper
2024-10	GPT-4o	GPT-4o System Card	paper
2024-10	Baichuan-OMNI	Baichuan-Omni Technical Report	paper
2024-10	GLM-4-Voice	GLM-4-Voice	GitHub
2024-10	—	Roadmap towards Superhuman Speech Understanding using Large Language Models	paper
2024-10	SALMONN-OMNI	SALMONN-OMNI: A SPEECH UNDERSTANDING AND GENERATION LLM IN A CODEC-FREE FULL-DUPLEX FRAMEWORK	paper
2024-10	Mini-Omni 2	Mini-Omni2: Towards Open-source GPT-4o with Vision, Speech and Duplex Capabilities	paper
2024-10	HALL-E	HALL-E: Hierarchical Neural Codec Language Model for Minute-Long Zero-Shot Text-to-Speech Synthesis	paper
2024-10	SyllableLM	SyllableLM: Learning Coarse Semantic Units for Speech Language Models	paper
2024-09	Moshi	Moshi: a speech-text foundation model for real-time dialogue	paper
2024-09	Takin AudioLLM	Takin: A Cohort of Superior Quality Zero-shot Speech Generation Models	paper
2024-09	FireRedTTS	FireRedTTS: A Foundation Text-To-Speech Framework for Industry-Level Generative Speech Applications	paper
2024-09	LLaMA-Omni	LLaMA-Omni: Seamless Speech Interaction with Large Language Models	paper
2024-09	MaskGCT	MaskGCT: Zero-Shot Text-to-Speech with Masked Generative Codec Transformer	paper
2024-09	SSR-Speech	SSR-Speech: Towards Stable, Safe and Robust Zero-shot Text-based Speech Editing and Synthesis	paper
2024-09	MoWE-Audio	MoWE-Audio: Multitask AudioLLMs with Mixture of Weak Encoders	paper
2024-08	Mini-Omni	Mini-Omni: Language Models Can Hear, Talk While Thinking in Streaming	paper
2024-08	Make-A-Voice 2	Make-A-Voice: Revisiting Voice Large Language Models as Scalable Multilingual and Multitask Learner	paper
2024-08	LSLM	Language Model Can Listen While Speaking	paper
2024-06	SimpleSpeech	SimpleSpeech: Towards Simple and Efficient Text-to-Speech with Scalar Latent Transformer Diffusion Models	paper
2024-06	UniAudio 1.5	UniAudio 1.5: Large Language Model-driven Audio Codec is A Few-shot Audio Task Learner	paper
2024-06	VALL-E R	VALL-E R: Robust and Efficient Zero-Shot Text-to-Speech Synthesis via Monotonic Alignment	paper
2024-06	VALL-E 2	VALL-E 2: Neural Codec Language Models are Human Parity Zero-Shot Text to Speech Synthesizers	paper
2024-06	GPST	Generative Pre-trained Speech Language Model with Efficient Hierarchical Transformer	paper
2024-04	CLaM-TTS	CLaM-TTS: Improving Neural Codec Language Model for Zero-Shot Text-to-Speech	paper
2024-04	RALL-E	RALL-E: Robust Codec Language Modeling with Chain-of-Thought Prompting for Text-to-Speech Synthesis	paper
2024-04	WavLLM	WavLLM: Towards Robust and Adaptive Speech Large Language Model	paper
2024-02	MobileSpeech	MobileSpeech: A Fast and High-Fidelity Framework for Mobile Zero-Shot Text-to-Speech	paper
2024-02	SLAM-ASR	An Embarrassingly Simple Approach for LLM with Strong ASR Capacity	paper
2024-02	AnyGPT	AnyGPT: Unified Multimodal LLM with Discrete Sequence Modeling	paper
2024-02	SpiRit-LM	SpiRit-LM: Interleaved Spoken and Written Language Model	paper
2024-02	USDM	Integrating Paralinguistics in Speech-Empowered Large Language Models for Natural Conversation	paper
2024-02	BAT	BAT: Learning to Reason about Spatial Sounds with Large Language Models	paper
2024-02	Audio Flamingo	Audio Flamingo: A Novel Audio Language Model with Few-Shot Learning and Dialogue Abilities	paper
2024-02	Text Description to speech	Natural language guidance of high-fidelity text-to-speech with synthetic annotations	paper
2024-02	GenTranslate	GenTranslate: Large Language Models are Generative Multilingual Speech and Machine Translators	paper
2024-02	Base-TTS	BASE TTS: Lessons from building a billion-parameter Text-to-Speech model on 100K hours of data	paper
2024-02	—	It’s Never Too Late: Fusing Acoustic Information into Large Language Models for Automatic Speech Recognition	paper
2024-01	—	Large Language Models are Efficient Learners of Noise-Robust Speech Recognition	paper
2024-01	ELLA-V	ELLA-V: Stable Neural Codec Language Modeling with Alignment-guided Sequence Reordering	paper
2023-12	Seamless	Seamless: Multilingual Expressive and Streaming Speech Translation	paper
2023-11	Qwen-Audio	Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models	paper
2023-10	LauraGPT	LauraGPT: Listen, Attend, Understand, and Regenerate Audio with GPT	paper
2023-10	SALMONN	SALMONN: Towards Generic Hearing Abilities for Large Language Models	paper
2023-10	UniAudio	UniAudio: An Audio Foundation Model Toward Universal Audio Generation	paper
2023-10	Whispering LLaMA	Whispering LLaMA: A Cross-Modal Generative Error Correction Framework for Speech Recognition	paper
2023-09	VoxtLM	Voxtlm: unified decoder-only models for consolidating speech recognition/synthesis and speech/text continuation tasks	paper
2023-09	LTU-AS	Joint Audio and Speech Understanding	paper
2023-09	SLM	SLM: Bridge the thin gap between speech and text foundation models	paper
2023-09	—	Generative Speech Recognition Error Correction with Large Language Models and Task-Activating Prompting	paper
2023-08	SpeechGen	SpeechGen: Unlocking the Generative Power of Speech Language Models with Prompts	paper
2023-08	SpeechX	SpeechX: Neural Codec Language Model as a Versatile Speech Transformer	paper
2023-08	LLaSM	Large Language and Speech Model	paper
2023-08	SeamlessM4T	Massively Multilingual & Multimodal Machine Translation	paper
2023-07	Speech-LLaMA	On decoder-only architecture for speech-to-text and large language model integration	paper
2023-07	LLM-ASR(temp.)	Prompting Large Language Models with Speech Recognition Abilities	paper
2023-06	AudioPaLM	AudioPaLM: A Large Language Model That Can Speak and Listen	paper
2023-05	Make-A-Voice	Make-A-Voice: Unified Voice Synthesis With Discrete Representation	paper
2023-05	Spectron	Spoken Question Answering and Speech Continuation Using Spectrogram-Powered LLM	paper
2023-05	TWIST	Textually Pretrained Speech Language Models	paper
2023-05	Pengi	Pengi: An Audio Language Model for Audio Tasks	paper
2023-05	SoundStorm	Efficient Parallel Audio Generation	paper
2023-05	LTU	Joint Audio and Speech Understanding	paper
2023-05	SpeechGPT	Empowering Large Language Models with Intrinsic Cross-Modal Conversational Abilities	paper
2023-05	VioLA	Unified Codec Language Models for Speech Recognition, Synthesis, and Translation	paper
2023-05	X-LLM	X-LLM: Bootstrapping Advanced Large Language Models by Treating Multi-Modalities as Foreign Languages	paper
2023-03	Google USM	Google USM: Scaling Automatic Speech Recognition Beyond 100 Languages	paper
2023-03	VALL-E X	Speak Foreign Languages with Your Own Voice: Cross-Lingual Neural Codec Language Modeling	paper
2023-02	SPEAR-TTS	Speak, Read and Prompt: High-Fidelity Text-to-Speech with Minimal Supervision	paper
2023-01	VALL-E	Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers	paper
2022-12	Whisper	Robust Speech Recognition via Large-Scale Weak Supervision	paper
2022-10	AudioGen	AudioGen: Textually Guided Audio Generation	paper
2022-09	AudioLM	AudioLM: a Language Modeling Approach to Audio Generation	paper
2022-05	Wav2Seq	Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages	paper
2022-04	Unit mBART	Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation	paper
2022-03	d-GSLM	Generative Spoken Dialogue Language Modeling	paper
2021-10	SLAM	SLAM: A Unified Encoder for Speech and Language Modeling via Speech-Text Joint Pre-Training	paper
2021-09	p-GSLM	Text-Free Prosody-Aware Generative Spoken Language Modeling	paper
2021-02	GSLM	Generative Spoken Language Modeling from Raw Audio	paper

🔱 Speech/Audio Codec Models

Date	Model Name	Paper Title	Link
2024-11	PyramidCodec	PyramidCodec: Hierarchical Codec for Long-form Music Generation in Audio Domain	paper
2024-11	UniCodec	Universal Speech Token Learning Via Low-Bitrate Neural Codec and Pretrained Representations	paper
2024-11	SimVQ	Addressing Representation Collapse in Vector Quantized Models with One Linear Layer	paper
2024-11	MDCTCodec	MDCTCodec: A Lightweight MDCT-based Neural Audio Codec towards High Sampling Rate and Low Bitrate Scenarios	paper
2024-10	APCodec+	APCodec+: A Spectrum-Coding-Based High-Fidelity and High-Compression-Rate Neural Audio Codec with Staged Training Paradigm	paper
2024-10	–	A Closer Look at Neural Codec Resynthesis: Bridging the Gap between Codec and Waveform Generation	paper
2024-10	SNAC	SNAC: Multi-Scale Neural Audio Codec	paper
2024-10	LSCodec	LSCodec: Low-Bitrate and Speaker-Decoupled Discrete Speech Codec	paper
2024-10	Co-design for codec and codec-LM	TOWARDS CODEC-LM CO-DESIGN FOR NEURAL CODEC LANGUAGE MODELS	paper
2024-10	VChangeCodec	VChangeCodec: A High-efficiency Neural Speech Codec with Built-in Voice Changer for Real-time Communication	paper
2024-10	DC-Spin	DC-Spin: A Speaker-invariant Speech Tokenizer For Spoken Language Models	paper
2024-10	TAAE	Scaling Transformers for Low-Bitrate High-Quality Speech Coding	paper
2024-10	DM-Codec	DM-Codec: Distilling Multimodal Representations for Speech Tokenization	paper
2024-09	Mimi	Moshi: a speech-text foundation model for real-time dialogue	paper
2024-09	NDVQ	NDVQ: Robust Neural Audio Codec with Normal Distribution-Based Vector Quantization	paper
2024-09	SoCodec	SoCodec: A Semantic-Ordered Multi-Stream Speech Codec for Efficient Language Model Based Text-to-Speech Synthesis	paper
2024-09	BigCodec	BigCodec: Pushing the Limits of Low-Bitrate Neural Speech Codec	paper
2024-08	X-Codec	Codec Does Matter: Exploring the Semantic Shortcoming of Codec for Audio Language Model	paper
2024-08	WavTokenizer	WavTokenizer: an Efficient Acoustic Discrete Codec Tokenizer for Audio Language Modeling	paper
2024-07	Super-Codec	SuperCodec: A Neural Speech Codec with Selective Back-Projection Network	paper
2024-07	dMel	dMel: Speech Tokenization made Simple	paper
2024-06	CodecFake	CodecFake: Enhancing Anti-Spoofing Models Against Deepfake Audios from Codec-Based Speech Synthesis Systems	paper
2024-06	Single-Codec	Single-Codec: Single-Codebook Speech Codec towards High-Performance Speech Generation	paper
2024-06	SQ-Codec	SimpleSpeech: Towards Simple and Efficient Text-to-Speech with Scalar Latent Transformer Diffusion Models	paper
2024-06	PQ-VAE	Addressing Index Collapse of Large-Codebook Speech Tokenizer with Dual-Decoding Product-Quantized Variational Auto-Encoder	paper
2024-06	LLM-Codec	UniAudio 1.5: Large Language Model-driven Audio Codec is A Few-shot Audio Task Learner	paper
2024-05	HILCodec	HILCodec: High Fidelity and Lightweight Neural Audio Codec	paper
2024-04	SemantiCodec	SemantiCodec: An Ultra Low Bitrate Semantic Audio Codec for General Sound	paper
2024-04	PromptCodec	PromptCodec: High-Fidelity Neural Speech Codec using Disentangled Representation Learning based Adaptive Feature-aware Prompt Encoders	paper
2024-04	ESC	ESC: Efficient Speech Coding with Cross-Scale Residual Vector Quantized Transformers	paper
2024-03	FACodec	NaturalSpeech 3: Zero-Shot Speech Synthesis with Factorized Codec and Diffusion Models	paper
2024-02	AP-Codec	APCodec: A Neural Audio Codec with Parallel Amplitude and Phase Spectrum Encoding and Decoding	paper
2024-02	Language-Codec	Language-Codec: Reducing the Gaps Between Discrete Codec Representation and Speech Language Models	paper
2024-01	ScoreDec	ScoreDec: A Phase-preserving High-Fidelity Audio Codec with A Generalized Score-based Diffusion Post-filter	paper
2023-11	HierSpeech++	HierSpeech++: Bridging the Gap between Semantic and Acoustic Representation of Speech by Hierarchical Variational Inference for Zero-shot Speech Synthesis	paper
2023-10	TiCodec	FEWER-TOKEN NEURAL SPEECH CODEC WITH TIME-INVARIANT CODES	paper
2023-09	RepCodec	RepCodec: A Speech Representation Codec for Speech Tokenization	paper
2023-09	FunCodec	FunCodec: A Fundamental, Reproducible and Integrable Open-source Toolkit for Neural Speech Codec	paper
2023-08	SpeechTokenizer	Speechtokenizer: Unified speech tokenizer for speech large language models	paper
2023-06	VOCOS	VOCOS: CLOSING THE GAP BETWEEN TIME-DOMAIN AND FOURIER-BASED NEURAL VOCODERS FOR HIGH-QUALITY AUDIO SYNTHESIS	paper
2023-06	Descript-audio-codec	High-Fidelity Audio Compression with Improved RVQGAN	paper
2023-05	AudioDec	Audiodec: An open-source streaming highfidelity neural audio codec	paper
2023-05	HiFi-Codec	Hifi-codec: Group-residual vector quantization for high fidelity audio codec	paper
2023-03	LMCodec	LMCodec: A Low Bitrate Speech Codec With Causal Transformer Models	paper
2022-11	Disen-TF-Codec	Disentangled Feature Learning for Real-Time Neural Speech Coding	paper
2022-10	EnCodec	High fidelity neural audio compression	paper
2022-07	S-TFNet	Cross-Scale Vector Quantization for Scalable Neural Speech Coding	paper
2022-01	TFNet	End-to-End Neural Speech Coding for Real-Time Communications	paper
2021-07	SoundStream	SoundStream: An End-to-End Neural Audio Codec	paper

Speech/Audio Representation Models

Date	Model Name	Paper Title	Link
2024-09	NEST-RQ	NEST-RQ: Next Token Prediction for Speech Self-Supervised Pre-Training	paper
2024-01	EAT	Self-Supervised Pre-Training with Efficient Audio Transformer	paper
2023-10	MR-HuBERT	Multi-resolution HuBERT: Multi-resolution Speech Self-Supervised Learning with Masked Unit Prediction	paper
2023-10	SpeechFlow	Generative Pre-training for Speech with Flow Matching	paper
2023-09	WavLabLM	Joint Prediction and Denoising for Large-scale Multilingual Self-supervised Learning	paper
2023-08	W2v-BERT 2.0	Massively Multilingual & Multimodal Machine Translation	paper
2023-07	Whisper-AT	Noise-Robust Automatic Speech Recognizers are Also Strong General Audio Event Taggers	paper
2023-06	ATST	Self-supervised Audio Teacher-Student Transformer for Both Clip-level and Frame-level Tasks	paper
2023-05	SPIN	Self-supervised Fine-tuning for Improved Content Representations by Speaker-invariant Clustering	paper
2023-05	DinoSR	Self-Distillation and Online Clustering for Self-supervised Speech Representation Learning	paper
2023-05	NFA	Self-supervised neural factor analysis for disentangling utterance-level speech representations	paper
2022-12	Data2vec 2.0	Efficient Self-supervised Learning with Contextualized Target Representations for Vision, Speech and Language	paper
2022-12	BEATs	Audio Pre-Training with Acoustic Tokenizers	paper
2022-11	MT4SSL	MT4SSL: Boosting Self-Supervised Speech Representation Learning by Integrating Multiple Targets	paper
2022-08	DINO	Non-contrastive self-supervised learning of utterance-level speech representations	paper
2022-07	Audio-MAE	Masked Autoencoders that Listen	paper
2022-04	MAESTRO	Matched Speech Text Representations through Modality Matching	paper
2022-03	MAE-AST	Masked Autoencoding Audio Spectrogram Transformer	paper
2022-03	LightHuBERT	Lightweight and Configurable Speech Representation Learning with Once-for-All Hidden-Unit BERT	paper
2022-02	Data2vec	A General Framework for Self-supervised Learning in Speech, Vision and Language	paper
2021-10	WavLM	WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing	paper
2021-08	W2v-BERT	Combining Contrastive Learning and Masked Language Modeling for Self-Supervised Speech Pre-Training	paper
2021-07	mHuBERT	Direct speech-to-speech translation with discrete units	paper
2021-06	HuBERT	Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units	paper
2021-03	BYOL-A	Self-Supervised Learning for General-Purpose Audio Representation	paper
2020-12	DeCoAR2.0	DeCoAR 2.0: Deep Contextualized Acoustic Representations with Vector Quantization	paper
2020-07	TERA	TERA: Self-Supervised Learning of Transformer Encoder Representation for Speech	paper
2020-06	Wav2vec2.0	wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations	paper
2019-10	APC	Generative Pre-Training for Speech with Autoregressive Predictive Coding	paper
2018-07	CPC	Representation Learning with Contrastive Predictive Coding	paper

🔱 Related Repository

Audio-dataset音频数据集汇总

数据集：https://github.com/LAION-AI/audio-dataset/

https://github.com/LAION-AI/audio-dataset/blob/main/data_collection/README.md

数据集集合（Dataset List）

This dataset list includes all the raw datasets we have found up to now. You may also find their Data Type* as well as their status*.
此数据集列表包括我们迄今为止找到的所有原始数据集。您还可以找到他们的数据类型* 以及他们的状态*。

Most datasets are made public, hence downloadable through the URL in the list. You may find download scripts for some of them in audio-dataset/utils/. For those datasets who do not have any link in the list, they are purchased by LAION hence we can not make it public due to license issue. Do please contact us if you want to process them.
大多数数据集都是公开的，因此可以通过列表中的 URL 下载。您可以在 audio-dataset/utils/ 中找到其中一些的下载脚本。对于那些列表中没有任何链接的数据集，它们是由 LAION 购买的，因此由于许可证问题，我们无法公开。如果您想处理它们，请联系我们。

For using the excat processed dataset for training your models, please contact LAION.
如需使用 excat 处理的数据集来训练您的模型，请联系 LAION。

Data Type Terminology Explanation
数据类型术语解释

Caption: A natural language sentence describing the content of the audio
字幕：描述音频内容的自然语言句子Example: A wooden door creaks open and closed multiple times
示例：木门吱吱作响地打开和关闭多次
Class label: Labels that are often manually annotated for classification in curated datasets. Each audio clip can be assigned with one or several class label.
类标签：通常在特选数据集中手动注释以进行分类的标签。可以为每个音频剪辑分配一个或多个类标签。Example: Cat, Dog, Water 示例：猫、狗、水
Tag: Tags of the audio that are commenly associated with data in website. A audio clip may be associated to several tags
标签：与网站中的数据相关的音频标签。一个音频剪辑可能与多个标签相关联Example: phone recording, city, sound effect
示例：电话录音、城市、音效
Relative text: Any text about the audio. May be comments on the audio, or other metadata. Can be very long.
相对文本：有关音频的任何文本。可能是对音频的评论或其他元数据。可以很长。Exmaple: An impact sound that I would hear over an action scene, with some cinematic drums for more tension and a high pitched preexplosion sound followed by the impact of the explosion. Please rate only if you like it, haha. Thanks!
示例：我在动作场景中会听到的撞击声，一些电影鼓声更加紧张，爆炸前发出高亢的音调，然后是爆炸的冲击声。请只评价你喜欢的，哈哈。谢谢！
Transcription: Transcription of human speech. Only used for Speech Datasets.
转录：人类语音的转录。仅用于语音数据集。
Translation: Transcription in an other language of what the speaker uses.
翻译：说话人使用的其他语言的转录。

Status Terminology Explanation
状态术语解释

processed: Dataset already converted to webdataset format.
processed：数据集已转换为 webdataset 格式。
processing: Dataset already downloaded and the processing going on.
processing：数据集已下载，处理正在进行中。
meatadata downloaded: We have already scraped the dataset website, wheras the dataset itself is not yet downloaded.
meatadata downloaded：我们已经抓取了数据集网站，但数据集本身尚未下载。
assigned: Someone have begun the work on the dataset.
assigned：有人已开始处理数据集。

General Sound Dataset General Sound 数据集

Name 名字	Description 描述	URL	Data Type 数据类型	Total Duration 总持续时间	Total Audio Number 音频总数	Status 地位
AudioSet 音频集	The AudioSet dataset is a large-scale collection of human-labeled 10-second sound clips drawn from YouTube videos. To collect all our data we worked with human annotators who verified the presence of sounds they heard within YouTube segments. To nominate segments for annotation, we relied on YouTube metadata and content-based search. The sound events in the dataset consist of a subset of the AudioSet ontology. You can learn more about the dataset construction in our ICASSP 2017 paper. Explore the dataset annotations by sound class below. There are 2,084,320 YouTube videos containing 527 labels AudioSet 数据集是从 YouTube 视频中提取的人工标记的 10 秒声音剪辑的大规模集合。为了收集我们的所有数据，我们与人工注释者合作，他们验证了他们在 YouTube 片段中听到的声音是否存在。为了提名要注释的片段，我们依靠 YouTube 元数据和基于内容的搜索。数据集中的声音事件由 AudioSet 本体的子集组成。您可以在我们的 ICASSP 2017 论文中了解有关数据集构建的更多信息。探索下面的 sound 类数据集注释。有 2,084,320 个 YouTube 视频，包含 527 个标签	Click here 点击这里	class labels, video, audio 类标签，视频，音频	5420hrs 5420 小时	1951460	processed 处理
AudioSet Strong AudioSet 强	Audio events from AudioSet clips with singal class label annotation 来自 AudioSet 剪辑的音频事件，带有 singal 类标签注释	Click here 点击这里	1 class label, video, audio 1 个类标签、视频、音频	625.93hrs 625.93 小时	1074359	processed (@marianna13#7139) 已处理（@marianna13#7139）
BBC sound effects BBC 音效	33066 sound effects with text description. Type: mostly environmental sound. Each audio has a natural text description. (need to see check the license) 33066 个带有文本描述的音效。类型：主要是环境声音。每个音频都有一个自然的文本描述。（需要查看检查许可证）	Click here 点击这里	1 caption, audio 1 个字幕、音频	463.48hrs 463.48 小时	15973	processed 处理
AudioCaps 音频帽	40 000 audio clips of 10 seconds, organized in three splits; a training slipt, a validation slipt, and a testing slipt. Type: environmental sound. 40 000 个 10 秒的音频剪辑，分为三个部分;训练滑道、验证滑道和测试滑道。类型：环境声音。	Click here 点击这里	1 caption, audio 1 个字幕、音频	144.94hrs 144.94 小时	52904	processed 处理
Audio Caption Hospital & Car Dataset 音频字幕医院和汽车数据集	3700 audio clips from “Hospital” scene and around 3600 audio clips from the “Car” scene. Every audio clip is 10 seconds long and is annotated with five captions. Type: environmental sound. 来自 “Hospital” 场景的 3700 个音频剪辑和来自 “Car” 场景的大约 3600 个音频剪辑。每个音频剪辑时长 10 秒，并带有 5 个字幕。类型：环境声音。	Click here 点击这里	5 captions, audio 5 个字幕、音频	10.64 + 20.91hrs 10.64 + 20.91 小时	3709 + 7336	we don’t need that 我们不需要那个
Clotho dataset Clotho 数据集	Clotho consists of 6974 audio samples, and each audio sample has five captions (a total of 34 870 captions). Audio samples are of 15 to 30 s duration and captions are eight to 20 words long. Type: environmental sound. Clotho 由 6974 个音频样本组成，每个音频样本有 5 个字幕（总共 34870 个字幕）。音频样本的持续时间为 15 到 30 秒，字幕的长度为 8 到 20 个单词。类型：环境声音。	Click here 点击这里	5 captions, audio 5 个字幕、音频	37.0hrs 37.0 小时	5929	processed 处理
Audiostock 音频库	Royalty Free Music Library. 436864 audio effects(of which 10k available), each with a text description. 免版税音乐库。436864 个音频效果（其中 10k 可用），每个效果都有文字描述。	Click here 点击这里	1 caption & tags, audio 1个字幕和标签，音频	46.30hrs 46.30 小时	10000	10k sound effects processed(@marianna13#7139) 处理 10k 音效（@marianna13#7139）
ESC-50	2000 environmental audio recordings with 50 classes 2000 个环境音频记录，50 个班级	Click here 点击这里	1 class label, audio 1 个类标签，音频	2.78hrs 2.78 小时	2000	processed(@marianna13#7139) 已处理（@marianna13#7139）
VGG-Sound VGG 声音	VGG-Sound is an audio-visual correspondent dataset consisting of short clips of audio sounds, extracted from videos uploaded to YouTube VGG-Sound 是一个视听通讯员数据集，由从上传到 YouTube 的视频中提取的音频短片组成	Click here 点击这里	1 class label, video, audio 1 个类标签、视频、音频	560hrs 560 小时	200,000 +	processed(@marianna13#7139) 已处理（@marianna13#7139）
FUSS	The Free Universal Sound Separation (FUSS) dataset is a database of arbitrary sound mixtures and source-level references, for use in experiments on arbitrary sound separation. FUSS is based on FSD50K corpus. Free Universal Sound Separation （FUSS）数据集是一个包含任意混声和源级参考的数据库，用于任意声分离的实验。FUSS 基于 FSD50K 语料库。	Click here 点击这里	no class label, audio 无类标签、音频	61.11hrs 61.11 小时	22000
UrbanSound8K 都市之声8K	8732 labeled sound excerpts (<=4s) of urban sounds from 10 classes 来自 10 个类别的 8732 个城市声音的标记声音摘录（<=4s）	Click here 点击这里	1 class label, audio 1 个类标签，音频	8.75hrs 8.75 小时	8732	processed(@Yuchen Hui#8574) 已处理（@Yuchen Hui#8574）
FSD50K	51,197 audio clips of 200 classes 200 个班级的 51,197 个音频剪辑	Click here 点击这里	class labels, audio 类标签，音频	108.3hrs 108.3 小时	51197	processed(@Yuchen Hui#8574) 已处理（@Yuchen Hui#8574）
YFCC100M	YFCC100M is a that dataset contains a total of 100 million media objects, of which approximately 99.2 million are photos and 0.8 million are videos, all of which carry a Creative Commons license, including 8081 hours of audio. YFCC100M 是一个 THAT 数据集，总共包含 1 亿个媒体对象，其中大约 9920 万个是照片，80 万个是视频，所有这些对象都带有 Creative Commons 许可证，包括 8081 小时的音频。	Click here 点击这里	title, tags, audio, video, Flickr identifier, owner name, camera, geo, media source 标题、标签、音频、视频、Flickr 标识符、所有者名称、相机、地理位置、媒体来源	8081hrs 8081 小时	requested access (@marianna13#7139) 请求的访问权限（@marianna13#7139）
ACAV100M	100M video clips with audio, each 10 sec, with automatic AudioSet, Kinetics400 and Imagenet labels. -> Noisy, but LARGE. 100M 带音频的视频剪辑，每段 10 秒，带有自动 AudioSet、Kinetics400 和 Imagenet 标签。-> 吵闹，但很大。	Click here 点击这里	class labels/tags, audio 类标签/标签、音频	31 years 31 岁	100 million 1 亿
Free To Use Sounds 免费使用声音	10000+ for 23$ 🙂 10000+ 23 美元 🙂	Click here 点击这里	1 caption & tags, audio 1个字幕和标签，音频	175.73hrs 175.73 小时	6370
MACS – Multi-Annotator Captioned Soundscapes MACS – 多注释者字幕音景	This is a dataset containing audio captions and corresponding audio tags for a number of 3930 audio files of the TAU Urban Acoustic Scenes 2019 development dataset (airport, public square, and park). The files were annotated using a web-based tool. Each file is annotated by multiple annotators that provided tags and a one-sentence description of the audio content. The data also includes annotator competence estimated using MACE (Multi-Annotator Competence Estimation). 这是一个数据集，其中包含 TAU Urban Acoustic Scenes 2019 开发数据集（机场、公共广场和公园）的 3930 个音频文件的字幕和相应的音频标签。这些文件使用基于 Web 的工具进行注释。每个文件都由多个注释器进行注释，这些注释器提供音频内容的标记和一句话描述。数据还包括使用 MACE（多注释者能力估计）估计的注释者能力。	Click here 点击这里	multiple captions & tags, audio 多个字幕和标签，音频	10.92hrs 10.92 小时	3930	processed(@marianna13#7139 & @krishna#1648 & Yuchen Hui#8574) 已处理（@marianna13#7139 & @krishna#1648 & Yuchen Hui#8574）
Sonniss Game effects Sonniss 游戏效果	Sound effects 音效	no link 无链接	tags & filenames, audio 标签和文件名，音频	84.6hrs 84.6 小时	5049	processed 处理
WeSoundEffects	Sound effects 音效	no link 无链接	tags & filenames, audio 标签和文件名，音频	12.00hrs 12.00 小时	488	processed 处理
Paramount Motion – Odeon Cinematic Sound Effects Paramount Motion – Odeon 电影音效	Sound effects 音效	no link 无链接	1 tag, audio 1 天，音频	19.49hrs 19.49 小时	4420	processed 处理
Free Sound 免费声音	Audio with text description (noisy) 带有文字描述的音频（嘈杂）	Click here 点击这里	pertinent text, audio 相关文本、音频	3003.38hrs 3003.38 小时	515581	processed(@Chr0my#0173 & @Yuchen Hui#8574) 已处理（@Chr0my#0173 & @Yuchen Hui#8574）
Sound Ideas 声音创意	Sound effects library 音效库	Click here 点击这里	1 caption, audio 1 个字幕、音频
Boom Library Boom 库	Sound effects library 音效库	Click here 点击这里	1 caption, audio 1 个字幕、音频			assigned(@marianna13#7139) 已分配（@marianna13#7139）
Epidemic Sound (Sound effect part) 疫情之声（音效部分）	Royalty free music and sound effects 免版税的音乐和音效	Click here 点击这里	Class labels, audio 类标签、音频	220.41hrs 220.41 小时	75645	metadata downloaded(@Chr0my#0173), processed (@Yuchen Hui#8547) 元数据已下载（@Chr0my#0173），已处理（@Yuchen Hui#8547）
Audio Grounding dataset Audio Grounding 数据集	The dataset is an augmented audio captioning dataset. Hard to discribe. Please refer to the URL for details. 该数据集是一个增强的音频字幕数据集。很难描述。详情请参阅网址。	Click here 点击这里	1 caption, many tags,audio 1 个字幕、多个标签、音频	12.57hrs 12.57 小时	4590
Fine-grained Vocal Imitation Set 细粒度的 Vocal Simitation Set	This dataset includes 763 crowd-sourced vocal imitations of 108 sound events. 该数据集包括 108 个声音事件的 763 个众包人声模拟。	Click here 点击这里	1 class label, audio 1 个类标签，音频	1.55hrs 1.55 小时	1468	processed(@marianna13#7139) 已处理（@marianna13#7139）
Vocal Imitation 人声模仿	The VocalImitationSet is a collection of crowd-sourced vocal imitations of a large set of diverse sounds collected from Freesound (https://freesound.org/), which were curated based on Google’s AudioSet ontology (https://research.google.com/audioset/). VocalImitationSet 是从 Freesound （https://freesound.org/）收集的大量不同声音的众包人声模仿集合，这些声音是根据 Google 的 AudioSet 本体（https://research.google.com/audioset/）策划的。	Click here 点击这里	1 class label, audio 1 个类标签，音频	24.06hrs 24.06 小时	9100 files 9100 个文件	processed(@marianna13#7139) 已处理（@marianna13#7139）
VocalSketch 声乐素描	Dataset contains thousands of vocal imitations of a large set of diverse sounds.The dataset also contains data on hundreds of people’s ability to correctly label these vocal imitations, collected via Amazon’s Mechanical Turk Dataset 包含大量不同声音的数千个人声模仿。该数据集还包含数百人正确标记这些人声模仿的能力数据，这些数据是通过亚马逊的 Mechanical Turk 收集的	Click here 点击这里	1 class label, audio 1 个类标签，音频	18.86hrs 18.86 小时	16645	processed(@marianna13#7139) 已处理（@marianna13#7139）
VimSketch Dataset VimSketch 数据集	VimSketch Dataset combines two publicly available datasets(VocalSketch + Vocal Imitation, but Vimsketch delete some parts of the previous two datasets), VimSketch 数据集结合了两个公开可用的数据集（VocalSketch + Vocal Imitation，但 Vimsketch 删除了前两个数据集的部分），	Click here 点击这里	class labels, audio 类标签，音频	Not important 不重要	Not important 不重要
OtoMobile Dataset OtoMobile 数据集	OtoMobile dataset is a collection of recordings of failing car components, created by the Interactive Audio Lab at Northwestern University. OtoMobile consists of 65 recordings of vehicles with failing components, along with annotations. OtoMobile 数据集是由西北大学交互式音频实验室创建的故障汽车部件的录音集合。OtoMobile 由 65 条组件出现故障的车辆的录音以及注释组成。	Click here 点击这里 (restricted access) （限制访问）	class labels & tags, audio 类标签和标签，音频	Unknown 未知	59
DCASE17Task 4 DCASE17任务 4	DCASE Task 4 Large-scale weakly supervised sound event detection for smart cars DCASE 任务 4 面向智能汽车的大规模弱监督声音事件检测	Click here 点击这里
Knocking Sound Effects With Emotional Intentions 带有情感意图的 Knocking Sound Effects	A dataset of knocking sound effects with emotional intention recorded at a professional foley studio. Five type of emotions to be portrayed in the dataset: anger, fear, happiness, neutral and sadness. 在专业拟音工作室录制的带有情感意图的敲击音效数据集。数据集中要描绘的五种情绪：愤怒、恐惧、快乐、中立和悲伤。	Click here 点击这里	1 class label & audio 1个类标签和音频		500	processed(@marianna13#7139) 已处理（@marianna13#7139）
WavText5Ks WavText5K	WavText5K collection consisting of 4525 audios, 4348 descriptions, 4525 audio titlesand 2058 tags. WavText5K 集合，包括 4525 个音频、4348 个描述、4525 个音频标题和 2058 个标签。	Click here 点击这里	1 label, tags & audio 1个标签、标签和音频		4525 audio files 4525 个音频文件	processed(@marianna13#7139) 已处理（@marianna13#7139）

Speech Dataset 语音数据集

Name 名字	Description 描述	URL	Data Type 数据类型	Status 地位
People’s Speech 人民致辞	30k+ hours en-text 30k+ 小时 en-text	Click here 点击这里	transcription, audio 转录，音频	assigned(@PiEquals4#1909) 已分配（@PiEquals4#1909）
Multilingual Spoken Words 多语言口语	6k+ hours 1sec audio clips with words of 50+ languages 6k+ 小时 1 秒音频剪辑，包含 50+ 种语言的单词	Click here 点击这里	transcription, audio 转录，音频	processing(@PiEquals4#1909) 处理中（@PiEquals4#1909）
AISHELL-2	Contains 1000 hours of clean read-speech data from iOS is free for academic usage. 包含 1000 小时的 iOS 清晰语音朗读数据，可免费用于学术用途。	Click here 点击这里	transcription, audio 转录，音频
Surfing AI Speech Dataset 冲浪 AI 语音数据集	30k+ – proprietary 30k+ – 专有	Click here 点击这里	transcription, audio 转录，音频
LibriSpeech Libri演讲	A collection of approximately 1,000 hours of audiobooks that are a part of the LibriVox project. 大约 1,000 小时的有声读物集合，是 LibriVox 项目的一部分。	Click here 点击这里	transcription, audio 转录，音频	processed(@marianna13#7139) 已处理（@marianna13#7139）
Libri-light 光书	60K hours of unlabelled speech from audiobooks in English and a small labelled dataset (10h, 1h, and 10 min) plus metrics, trainable baseline models, and pretrained models that use these datasets. 来自英语有声读物的 60K 小时未标记语音和一个小型标记数据集（10 小时、1 小时和 10 分钟）以及使用这些数据集的指标、可训练基线模型和预训练模型。	Click here 点击这里	transcription, audio 转录，音频
Europarl-ST Europarl-ST （欧洲公园-ST）	A Multilingual Speech Translation Corpus, that contains paired audio-text samples for Speech Translation, constructed using the debates carried out in the European Parliament in the period between 2008 and 2012. 多语言语音翻译语料库，包含用于语音翻译的成对音频文本样本，使用 2008 年至 2012 年期间在欧洲议会进行的辩论构建。	Click here 点击这里	translation, audio 翻译，音频	processed(@Antoniooooo#4758) 已处理（@Antoniooooo#4758）
CoVoST 考沃斯特	A large-scale multilingual ST corpus based on Common Voice, to foster ST research with the largest ever open dataset. Its latest version covers translations from English into 15 languages—Arabic, Catalan, Welsh, German, Estonian, Persian, Indonesian, Japanese, Latvian, Mongolian, Slovenian, Swedish, Tamil, Turkish, Chinese—and from 21 languages into English, including the 15 target languages as well as Spanish, French, Italian, Dutch, Portuguese, Russian. It has total 2,880 hours of speech and is diversified with 78K speakers. 基于 Common Voice 的大规模多语言 ST 语料库，以有史以来最大的开放数据集促进 ST 研究。其最新版本涵盖从英语翻译成 15 种语言—阿拉伯语、加泰罗尼亚语、威尔士语、德语、爱沙尼亚语、波斯语、印度尼西亚语、日语、拉脱维亚语、蒙古语、斯洛文尼亚语、瑞典语、泰米尔语、土耳其语、中文—以及从 21 种语言翻译成英语，包括 15 种目标语言以及西班牙语、法语、意大利语、荷兰语、葡萄牙语、俄语。它总共有 2,880 小时的语音，并拥有 78K 扬声器。	Click here 点击这里	translation & transcription, audio 翻译和转录，音频	assigned(@PiEquals4#1909) 已分配（@PiEquals4#1909）
GigaSpeech Giga语音	An evolving, multi-domain English speech recognition corpus with 10,000 hours of high quality labeled audio suitable for supervised training, and 40,000 hours of total audio suitable for semi-supervised and unsupervised training. 一个不断发展的多域英语语音识别语料库，具有 10000 小时的高质量标记音频（适用于监督训练）和 40000 小时的总音频（适用于半监督和无监督训练）。	Click here 点击这里	transcription, audio 转录，音频	processing(@PiEquals4#1909) 处理中（@PiEquals4#1909）
LJSpeech Dataset LJSpeech 数据集	This is a public domain speech dataset consisting of 13,100 short audio clips of a single speaker reading passages from 7 non-fiction books. A transcription is provided for each clip. Clips vary in length from 1 to 10 seconds and have a total length of approximately 24 hours. 这是一个公共领域的语音数据集，由 13,100 个简短的音频剪辑组成，其中单个说话人朗读了 7 本非小说类书籍的段落。为每个剪辑提供转录。剪辑的长度从 1 秒到 10 秒不等，总长度约为 24 小时。	Click here 点击这里 Or 或 download 下载	transcription, audio 转录，音频	processed(@PiEquals4#1909) 已处理（@PiEquals4#1909）
Spotify English-Language Podcast Dataset Spotify 英语播客数据集	This dataset consists of 100,000 episodes from different podcast shows on Spotify. The dataset is available for research purposes. We are releasing this dataset more widely to facilitate research on podcasts through the lens of speech and audio technology, natural language processing, information retrieval, and linguistics. The dataset contains about 50,000 hours of audio, and over 600 million transcribed words. The episodes span a variety of lengths, topics, styles, and qualities. Only non-commercial research is permitted on this dataset 该数据集包含来自 Spotify 上不同播客节目的 100,000 集。该数据集可用于研究目的。我们正在更广泛地发布此数据集，以便通过语音和音频技术、自然语言处理、信息检索和语言学的视角来促进对播客的研究。该数据集包含大约 50000 小时的音频和超过 6 亿个转录单词。这些剧集跨越各种长度、主题、风格和质量。此数据集只允许进行非商业研究	Click here 点击这里	transcription, audio 转录，音频	requested access(@marianna13#7139) 请求访问（@marianna13#7139）
The Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS) 瑞尔森情感语音和歌曲视听数据库（RAVDESS）	The Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS) contains 7356 files (total size: 24.8 GB). The database contains 24 professional actors (12 female, 12 male), vocalizing two lexically-matched statements in a neutral North American accent. Ryerson Audio-Visual Database of Emotional Speech and Song （RAVDESS）包含 7356 个文件（总大小：24.8 GB）。该数据库包含 24 名专业演员（12 名女性，12 名男性），以中性的北美口音发音两个词汇匹配的陈述。	Click here 点击这里	transcription, audio 转录，音频	processed(@PiEquals4#1909) 已处理（@PiEquals4#1909）
CREMA-D	CREMA-D is a data set of 7,442 original clips from 91 actors. These clips were from 48 male and 43 female actors between the ages of 20 and 74 coming from a variety of races and ethnicities (African America, Asian, Caucasian, Hispanic, and Unspecified). Actors spoke from a selection of 12 sentences. The sentences were presented using one of six different emotions (Anger, Disgust, Fear, Happy, Neutral and Sad) and four different emotion levels (Low, Medium, High and Unspecified). CREMA-D 是一个包含来自 91 位演员的 7,442 个原始剪辑的数据集。这些剪辑来自 48 名男性演员和 43 名女性演员，年龄在 20 至 74 岁之间，来自不同种族和民族（非裔美国人、亚洲人、高加索人、西班牙裔和未指定人）。演员们从精选的 12 句话中发言。这些句子使用六种不同的情绪（愤怒、厌恶、恐惧、快乐、中立和悲伤）中的一种和四种不同的情绪级别（低、中、高和未指定）来呈现。	Click here 点击这里	transcription, audio 转录，音频	processed(@PiEquals4#1909) 已处理（@PiEquals4#1909）
EmovV-DB	The emotional Voice Database. This dataset is built for the purpose of emotional speech synthesis. It includes recordings for four speakers- two males and two females. The emotional styles are neutral, sleepiness, anger, disgust and amused. 情感语音数据库。此数据集是为情感语音合成而构建的。它包括四个扬声器的录音 – 两个男性和两个女性。情绪风格是中性、困倦、愤怒、厌恶和逗乐。	Click here 点击这里	transcription, class labels, audio 转录、类标签、音频	assigned(@PiEquals4#1909) 已分配（@PiEquals4#1909）
CMU_Arctic	The databases consist of around 1150 utterances carefully selected from out-of-copyright texts from Project Gutenberg. The databses include US English male (bdl) and female (slt) speakers (both experinced voice talent) as well as other accented speakers. 这些数据库包含大约 1150 条话语，这些话语是从 Project Gutenberg 的版权外文本中精心挑选出来的。数据库包括美国英语男性（bdl）和女性（slt）说话人（均为经验丰富的配音人才）以及其他带口音的说话人。	Click here 点击这里	transcription, tags, audio,…TBD 转录、标签、音频,…待定	processed(@marianna13#7139) 已处理（@marianna13#7139）
IEMOCAP database IEMOCAP 数据库	The Interactive Emotional Dyadic Motion Capture (IEMOCAP) database is an acted, multimodal and multispeaker database. It contains approximately 12 hours of audiovisual data, including video, speech, motion capture of face, text transcriptions. 交互式情感二元动作捕捉（IEMOCAP）数据库是一个行动、多模态和多说话人数据库。它包含大约 12 小时的视听数据，包括视频、语音、面部动作捕捉、文本转录。	Click here 点击这里	transcription, video, audio,…TBD 转录、视频、音频,…待定	assigned(@marianna13#7139) 已分配（@marianna13#7139）
YouTube dataset YouTube 数据集	youtube video/audio + automatically generated subtitle. For details, please ask @marianna13#7139. YouTube 视频/音频 + 自动生成的字幕。详情请咨询 @marianna13#7139。	No link (please contact @marianna13#7139) 无链接（请联系 @marianna13#7139）	transcription, audio, video 转录，音频，视频	processed(@marianna13#7139) 已处理（@marianna13#7139）
The Hume Vocal Burst Competition Dataset (H-VB) 休谟人声爆发竞赛数据集（H-VB）	labels, audio 标签，音频	Click here 点击这里	labels, audio 标签，音频	assigned(@Yuchen Hui#8574) 已分配（@Yuchen Hui#8574）

Music Dataset 音乐数据集

Name	Description 描述	URL	Text Type 文本类型	Status 地位
Free Music Archive 免费音乐档案	We introduce the Free Music Archive (FMA), an open and easily accessible dataset suitable for evaluating several tasks in MIR, a field concerned with browsing, searching, and organizing large music collections. The community’s growing interest in feature and end-to-end learning is however restrained by the limited availability of large audio datasets. The FMA aims to overcome this hurdle by providing 917 GiB and 343 days of Creative Commons-licensed audio from 106,574 tracks from 16,341 artists and 14,854 albums, arranged in a hierarchical taxonomy of 161 genres. It provides full-length and high-quality audio, pre-computed features, together with track- and user-level metadata, tags, and free-form text such as biographies. We here describe the dataset and how it was created, propose a train/validation/test split and three subsets, discuss some suitable MIR tasks, and evaluate some baselines for genre recognition. Code, data, and usage examples are available at https://github.com/mdeff/fma. 我们介绍了免费音乐档案（FMA），这是一个开放且易于访问的数据集，适用于评估 MIR 中的多项任务，MIR 是一个与浏览、搜索和组织大型音乐收藏有关的领域。然而，社区对功能和端到端学习的兴趣日益浓厚，但由于大型音频数据集的可用性有限，这限制了他们。FMA 旨在通过提供来自 16,341 位艺术家和 14,854 张专辑的 106,574 首曲目的 917 GiB 和 343 天的知识共享许可音频来克服这一障碍，这些音频按照 161 种流派的分层分类法排列。它提供全长和高质量的音频、预计算功能，以及轨道和用户级元数据、标签和自由格式的文本，例如传记。我们在这里描述了数据集及其创建方式，提出了一个训练/验证/测试拆分和三个子集，讨论了一些合适的 MIR 任务，并评估了一些流派识别的基线。代码、数据和用法示例可在 https://github.com/mdeff/fma 中找到。	Click here 点击这里	tags/class labels, audio 标签/类标签，音频	processed(@marianna13#7139) 已处理（@marianna13#7139）
MusicNet	MusicNet is a collection of 330 freely-licensed classical music recordings, together with over 1 million annotated labels indicating the precise time of each note in every recording, the instrument that plays each note, and the note’s position in the metrical structure of the composition. The labels are acquired from musical scores aligned to recordings by dynamic time warping. The labels are verified by trained musicians; we estimate a labeling error rate of 4%. We offer the MusicNet labels to the machine learning and music communities as a resource for training models and a common benchmark for comparing results. URL: https://homes.cs.washington.edu/~thickstn/musicnet.html MusicNet 是 330 张免费授权的古典音乐录音的集合，以及超过 100 万个带注释的标签，这些标签指示了每个录音中每个音符的精确时间、演奏每个音符的乐器以及音符在乐曲的度量结构中的位置。标签是通过动态时间扭曲从与录音对齐的乐谱中获得的。唱片公司由训练有素的音乐家进行验证;我们估计标记错误率为 4%。我们为机器学习和音乐社区提供 MusicNet 标签，作为训练模型的资源和比较结果的通用基准。网址：https://homes.cs.washington.edu/~thickstn/musicnet.html	Click here 点击这里	class labels, audio 类标签，音频	processed(@IYWO#9072) 已处理（@IYWO#9072）
MetaMIDI Dataset	We introduce the MetaMIDI Dataset (MMD), a large scale collection of 436,631 MIDI files and metadata. In addition to the MIDI files, we provide artist, title and genre metadata that was collected during the scraping process when available. MIDIs in (MMD) were matched against a collection of 32,000,000 30-second audio clips retrieved from Spotify, resulting in over 10,796,557 audio-MIDI matches. In addition, we linked 600,142 Spotify tracks with 1,094,901 MusicBrainz recordings to produce a set of 168,032 MIDI files that are matched to MusicBrainz database. These links augment many files in the dataset with the extensive metadata available via the Spotify API and the MusicBrainz database. We anticipate that this collection of data will be of great use to MIR researchers addressing a variety of research topics. 我们介绍 MetaMIDI 数据集（MMD），这是一个包含 436,631 个 MIDI 文件和元数据的大型集合。除了 MIDI 文件之外，我们还提供在抓取过程中收集的艺术家、标题和流派元数据（如果可用）。（MMD）中的 MIDI 与从 Spotify 检索的 32,000,000 个 30 秒音频剪辑集合进行匹配，从而产生超过 10,796,557 个音频-MIDI 匹配。此外，我们将 600,142 个 Spotify 曲目与 1,094,901 个 MusicBrainz 录音链接起来，生成了一组与 MusicBrainz 数据库匹配的 168,032 个 MIDI 文件。这些链接通过通过 Spotify API 和 MusicBrainz 数据库提供的大量元数据来扩充数据集中的许多文件。我们预计这些数据收集将对处理各种研究主题的 MIR 研究人员非常有用。	Click here 点击这里	tags, audio 标签，音频
MUSDB18-HQ	MUSDB18 consists of a total of 150 full-track songs of different styles and includes both the stereo mixtures and the original sources, divided between a training subset and a test subset. MUSDB18 由总共 150 首不同风格的全轨歌曲组成，包括立体声混音和原始源，分为训练子集和测试子集。	Click here 点击这里	1 class label, audio 1 个类标签，音频	processed(@marianna13#7139) 已处理（@marianna13#7139）
Cambridge-mt Multitrack Dataset Cambridge-mt 多轨数据集	Here’s a list of multitrack projects which can be freely downloaded for mixing practice purposes. All these projects are presented as ZIP archives containing uncompressed WAV files (24-bit or 16-bit resolution and 44.1kHz sample rate). 以下是可以免费下载用于混音练习目的的多轨项目列表。所有这些项目都以 ZIP 档案的形式呈现，其中包含未压缩的 WAV 文件（24 位或 16 位分辨率和 44.1kHz 采样率）。	Click here 点击这里	1 class label, audio 1 个类标签，音频	processed(@marianna13#7139) 已处理（@marianna13#7139）
Slakh 斯拉赫	The Synthesized Lakh (Slakh) Dataset contains 2100 automatically mixed tracks and accompanying MIDI files synthesized using a professional-grade sampling engine. 合成的 Lakh （Slakh）数据集包含 2100 个自动混合的轨道和随附的 MIDI 文件，这些文件使用专业级采样引擎合成。	Click here 点击这里	1 class label, audio 1 个类标签，音频	processed(krishna#1648) 已处理（Krishna#1648）
Tunebot	The Tunebot project is an online Query By Humming system. Users sing a song to Tunebot and it returns a ranked list of song candidates available on Apple’s iTunes website. The database that Tunebot compares to sung queries is crowdsourced from users as well. Users contribute new songs to Tunebot by singing them on the Tunebot website. The more songs people contribute, the better Tunebot works. Tunebot is no longer online but the dataset lives on. Tunebot 项目是一个在线 Query By Humming 系统。用户向 Tunebot 唱歌，它会返回 Apple iTunes 网站上可用的候选歌曲的排名列表。Tunebot 与唱歌查询进行比较的数据库也是从用户那里众包的。用户通过在 Tunebot 网站上演唱新歌来向 Tunebot 贡献新歌。人们贡献的歌曲越多，Tunebot 的效果就越好。Tunebot 不再在线，但数据集仍然存在。	Click here 点击这里	song name(so transcription), audio 歌曲名称（SO 转录）、音频	processed(@marianna13#7139) 已处理（@marianna13#7139）
Juno	A music review webset 音乐评论网络集	Click here 点击这里	perinent text/class lables, audio Perinent text/类标签，音频	meatadata downloaded(@dicknascarsixtynine#3885) & processed(@marianna13#7139) Meatadata 已下载（@dicknascarsixtynine#3885） & 已处理（@marianna13#7139）
Pitch Fork	Music review website 音乐评论网站	Click here 点击这里	pertinent text (long paragraphs), audio 相关文本（长段落）、音频
Genius	Music lyrics website Music 歌词网站	pertinent text (long paragraphs), audio 相关文本（长段落）、音频	assigned(@marianna13#7139) 已分配（@marianna13#7139）
IDMT-SMT-Audio-Effects	The IDMT-SMT-Audio-Effects database is a large database for automatic detection of audio effects in recordings of electric guitar and bass and related signal processing. IDMT-SMT-Audio-Effects 数据库是一个大型数据库，用于自动检测电吉他和贝斯录音中的音频效果以及相关的信号处理。	Click here 点击这里	class label, audio 类标签，音频
MIDI50K	Music generated by MIDIFILES using the synthesizer available at https://pypi.org/project/midi2audio/ MIDIFILES 使用 https://pypi.org/project/midi2audio/ 提供的合成器生成的音乐	Temporary not available, will be added soon 暂时不可用，将很快添加	MIDI files, audio	Processing(@marianna13#7139)
MIDI130K	Music generated by MIDIFILES using the synthesizer available at https://pypi.org/project/midi2audio/ MIDIFILES 使用 https://pypi.org/project/midi2audio/ 提供的合成器生成的音乐	Temporary not available, will be added soon 暂时不可用，将很快添加	MIDI files, audio MIDI 文件、音频	Processing(@marianna13#7139) 加工中（@marianna13#7139）
MillionSongDataset	72222 hours of general music as 30 second clips, one million different songs.	Temporarily not available	tags, artist names, song titles, audio
synth1B1	One million hours of audio: one billion 4-second synthesized sounds. The corpus is multi-modal: Each sound includes its corresponding synthesis parameters. Since it is faster to render synth1B1 in-situ than to download it, torchsynth includes a replicable script for generating synth1B1 within the GPU.	Click here 点击这里	synthesis parameters, audio
Epidemic Sound (music part)	Royalty free music and sound effects 免版税的音乐和音效	Click here 点击这里	class label, tags, audio	assigned(@chr0my#0173)

LAION开源业界最大音乐数据集LAION-DISCO-12M

数据集地址：https://huggingface.co/datasets/laion/LAION-DISCO-12M

非盈利组织LAION开源了一个新的数据集：LAION-DISCO-12M

这个数据集包含12M个公开可用的YouTube上的音乐样本，是目前最大的公开可用的音乐开放数据集。这些样本与元数据配对，以支持基础模型中通用音频、音乐信息检索和音频数据集分析等研究。同时，LAION团队为12,648,485首歌曲收集了元数据，包括歌曲名称、艺术家名称和专辑名称。

该数据集是DISCO-10M的后续工作，并与之前的工作相比提供了以下改进：

数据收集过程基于艺术家的递归搜索；它是在YouTube音乐上完成的，而不是在Spotify上。这意味着元数据和YouTube URL正确匹配，与DISCO-10M不同，DISCO-10M的作者需要将YouTube URL与Spotify元数据匹配，导致大量错误的匹配。
用于DISCO-10M的种子艺术家数量有限，这里通过使用不同国家和流派播放列表的图表扩展了种子艺术家列表。这个新的艺术家种子列表最终包含了250,516位艺术家。

这个数据集可以促进几个关键领域的研究进展：

音频和音乐基础模型：这个数据集的大规模特性允许研究人员训练音频基础模型（例如CLAP及其各种扩展，https://github.com/LAION-AI/CLAP，https://arxiv.org/abs/2211.06687），并研究其在各种下游任务中的泛化和迁移能力，如字幕生成、编辑、生成、分类等。
音乐信息检索（MIR）：这包括开发提取丰富音乐属性的方法，例如流派、艺术家识别、节奏、音高和其他音频特征。
基于内容的音乐搜索：该数据集支持构建高级的基于内容的搜索引擎，能够识别与给定音频片段相似的歌曲（类似于Shazam等应用）。
音乐推荐系统：利用这个数据集，研究人员可以分析歌曲和艺术家风格的相似性，并找到推荐音乐的新方法。

LAION-DISCO-12M的开源协议是Apache 2.0，这确保了研究人员可以自由地利用这个数据集进行基础或应用研究。但是LAION这里建议遵循他们用于研究发布的指导方针：数据集是为研究目的而发布的，特别是用于在学术环境中对各种开放的多模态基础模型（例如CLAP）进行基础研究。我们强烈建议不要在工业环境中使用这些数据集，更强烈建议不要以原始形式使用数据集来创建最终产品。我们明确警告，LAION数据集是为了机器学习和相关领域的合格研究人员进行科学和/或安全分析所需的检查和使用而设计的。

OuteTTS-0.1-350M：TTS合成模型，利用纯语言建模，无需外部适配器

https://www.outeai.com/blog/outetts-0.1-350m

在日益增长的语音合成需求中，文本转语音（TTS）技术快速进步，但也面临不少挑战。传统TTS模型往往依赖复杂的多模块架构，如深度神经网络、语音合成器、文本分析器等适配器，以生成自然的人类语音。这种复杂度带来了大量资源消耗，对设备的要求极高，使得许多设备无法轻松使用。尤其是个性化的语音生成和应用场景，传统TTS技术往往需要庞大的数据集和较高的硬件配置，对此，Oute AI发布了OuteTTS-0.1-350M，为TTS领域带来了革新。OuteTTS-0.1-350M是一款不依赖外部适配器、纯语言建模的轻量级TTS模型。通过直接整合文本和语音生成流程，这款模型实现了简洁高效的自然语音合成，并具备“零样本语音克隆”能力，仅凭几秒钟的参考音频即可模仿新的声音。OuteTTS的推出，不仅为开发者带来了全新机遇，也大大降低了TTS技术的门槛，为更多个性化、实时语音生成的需求提供了高效方案。

OuteTTS-0.1-350M：无需复杂适配器的TTS模型

在语音合成领域，OuteTTS-0.1-350M开创性地使用纯语言模型进行语音合成，而无需传统的语音生成模块，如语音编码器和其他适配器。这一模型基于LLaMa架构构建，通过直接生成音频标记（tokens）来实现语音合成，大幅简化了TTS流程并降低了资源消耗。不同于庞大复杂的传统模型，OuteTTS的核心在于它的纯语言建模方法，它直接将语音生成视作文本生成的任务，通过对音频数据进行标记化处理，使模型能够理解并生成自然语音。这种架构不仅提高了模型的简洁性，还实现了高效的语音生成。OuteTTS能够在零样本语音克隆的模式下快速适应新音色，仅需几秒钟的参考音频即可模仿新的声音，非常适用于个性化的语音助手、有声读物和内容本地化等应用场景。

技术亮点：OuteTTS-0.1-350M的三大创新

OuteTTS-0.1-350M通过以下三步流程实现了高效的文本转语音：

WavTokenizer音频标记化：OuteTTS使用WavTokenizer将音频转换为标记序列，每秒生成75个音频标记，这样能够快速将音频转换为模型可处理的序列。
CTC强制对齐：采用连接时序分类（CTC）技术，确保模型能够将每个文字精准对齐到音频标记，生成自然流畅的语音输出。
结构化提示创建：通过将转录、持续时间、音频标记等信息整合为结构化提示，将语音生成过程简化成一系列清晰的任务。

这些技术整合使得OuteTTS能够以纯语言建模的方式高效地实现语音合成，避免了传统模型的繁琐中间步骤，进一步降低了对计算资源的需求。OuteTTS还兼容llama.cpp库，能够在多种设备上实现语音生成，不必依赖云端服务，适合实时应用场景。

OuteTTS-0.1-350M的实际应用价值

OuteTTS-0.1-350M的独特之处在于其轻量高效的设计使得TTS技术不再需要高昂的硬件资源，具备了高度的实用性与适配性：

低资源需求：这款模型无须庞大的适配器或深度神经网络模块，大大简化了部署过程，使其适用于各种硬件环境，包括移动设备、嵌入式设备等，实现了真正的“上设备”语音生成。
个性化应用：OuteTTS的“零样本语音克隆”能力为个性化应用提供了可能。只需几秒钟的参考音频，用户即可定制专属语音，非常适合个性化语音助手、有声读物配音等场景。
开源许可证：OuteTTS采用了CC-BY开源许可证，支持开发者将模型自由集成到项目中，为语音合成技术的普及和创新应用提供了广阔空间。

通过对传统TTS架构的简化和对个性化的支持，OuteTTS-0.1-350M带来了实用高效的语音生成体验，不仅提升了语音合成的可及性，还为开发者和企业带来了新的灵活选择。

OuteTTS-0.1-350M的性能分析：小模型也有大作为

OuteTTS-0.1-350M尽管只有3.5亿参数，依然在语音生成领域表现出色。它的高效性和轻量化特性使其在语音质量上毫不逊色，甚至与传统大型模型相媲美：

音质自然：初步测试显示，OuteTTS生成的语音具有自然的语调和流畅的音质，极少出现失真或人工痕迹，适合各类语音应用场景。
低计算成本：相比于参数数十亿的大型模型，OuteTTS保持高质量的同时，计算成本显著降低，非常适合资源有限的设备。
快速响应：得益于模型架构的优化，OuteTTS能够在设备端实现快速响应，为实时语音交互提供了理想选择。

OuteTTS展示了小规模模型的潜力，使得语音合成不再依赖于庞大的计算资源，为轻量化的TTS模型树立了新标杆。

OuteTTS-0.1-350M的未来前景

OuteTTS-0.1-350M的发布不仅仅是一次技术创新，它开启了未来TTS应用的无限可能性。随着更多开发者和研究人员的加入，基于OuteTTS的应用场景将更加多样化：

辅助技术：OuteTTS在语音生成上的便捷性和高效性使得其可以广泛应用于视障人士的辅助设备中，提供语音导航、信息提示等功能。
内容创作：对于需要快速生成个性化语音内容的创作者，OuteTTS为他们提供了成本更低的配音解决方案。
人机交互：语音交互是智能设备未来的关键方向，OuteTTS的实时生成能力使其能够在智能家居、车载语音助手等领域大展身手。

结语

OuteTTS-0.1-350M的发布标志着TTS技术的一个重要里程碑。通过采用纯语言建模，OuteTTS不仅降低了语音合成的门槛，还让个性化语音应用更为可行。无论是零样本语音克隆能力、实时生成表现，还是其对多设备兼容性，OuteTTS都为TTS领域带来了全新的发展思路。未来，随着更多技术的突破，基于OuteTTS的TTS应用将会为语音生成带来更加丰富的可能性。OuteTTS-0.1-350M展示了小而强的TTS模型可以达到与大型模型媲美的效果。Oute AI的这一创新，为未来的语音合成技术铺平了道路，也让我们期待更多轻量、智能、高效的语音合成技术的出现。