分类： zero-shot-tts

https://www.outeai.com/blog/outetts-0.1-350m

在日益增长的语音合成需求中，文本转语音（TTS）技术快速进步，但也面临不少挑战。传统TTS模型往往依赖复杂的多模块架构，如深度神经网络、语音合成器、文本分析器等适配器，以生成自然的人类语音。这种复杂度带来了大量资源消耗，对设备的要求极高，使得许多设备无法轻松使用。尤其是个性化的语音生成和应用场景，传统TTS技术往往需要庞大的数据集和较高的硬件配置，对此，Oute AI发布了OuteTTS-0.1-350M，为TTS领域带来了革新。OuteTTS-0.1-350M是一款不依赖外部适配器、纯语言建模的轻量级TTS模型。通过直接整合文本和语音生成流程，这款模型实现了简洁高效的自然语音合成，并具备“零样本语音克隆”能力，仅凭几秒钟的参考音频即可模仿新的声音。OuteTTS的推出，不仅为开发者带来了全新机遇，也大大降低了TTS技术的门槛，为更多个性化、实时语音生成的需求提供了高效方案。

OuteTTS-0.1-350M：无需复杂适配器的TTS模型

在语音合成领域，OuteTTS-0.1-350M开创性地使用纯语言模型进行语音合成，而无需传统的语音生成模块，如语音编码器和其他适配器。这一模型基于LLaMa架构构建，通过直接生成音频标记（tokens）来实现语音合成，大幅简化了TTS流程并降低了资源消耗。不同于庞大复杂的传统模型，OuteTTS的核心在于它的纯语言建模方法，它直接将语音生成视作文本生成的任务，通过对音频数据进行标记化处理，使模型能够理解并生成自然语音。这种架构不仅提高了模型的简洁性，还实现了高效的语音生成。OuteTTS能够在零样本语音克隆的模式下快速适应新音色，仅需几秒钟的参考音频即可模仿新的声音，非常适用于个性化的语音助手、有声读物和内容本地化等应用场景。

技术亮点：OuteTTS-0.1-350M的三大创新

OuteTTS-0.1-350M通过以下三步流程实现了高效的文本转语音：

• WavTokenizer音频标记化：OuteTTS使用WavTokenizer将音频转换为标记序列，每秒生成75个音频标记，这样能够快速将音频转换为模型可处理的序列。
• CTC强制对齐：采用连接时序分类（CTC）技术，确保模型能够将每个文字精准对齐到音频标记，生成自然流畅的语音输出。
• 结构化提示创建：通过将转录、持续时间、音频标记等信息整合为结构化提示，将语音生成过程简化成一系列清晰的任务。

这些技术整合使得OuteTTS能够以纯语言建模的方式高效地实现语音合成，避免了传统模型的繁琐中间步骤，进一步降低了对计算资源的需求。OuteTTS还兼容llama.cpp库，能够在多种设备上实现语音生成，不必依赖云端服务，适合实时应用场景。

OuteTTS-0.1-350M的实际应用价值

OuteTTS-0.1-350M的独特之处在于其轻量高效的设计使得TTS技术不再需要高昂的硬件资源，具备了高度的实用性与适配性：

• 低资源需求：这款模型无须庞大的适配器或深度神经网络模块，大大简化了部署过程，使其适用于各种硬件环境，包括移动设备、嵌入式设备等，实现了真正的“上设备”语音生成。
• 个性化应用：OuteTTS的“零样本语音克隆”能力为个性化应用提供了可能。只需几秒钟的参考音频，用户即可定制专属语音，非常适合个性化语音助手、有声读物配音等场景。
• 开源许可证：OuteTTS采用了CC-BY开源许可证，支持开发者将模型自由集成到项目中，为语音合成技术的普及和创新应用提供了广阔空间。

通过对传统TTS架构的简化和对个性化的支持，OuteTTS-0.1-350M带来了实用高效的语音生成体验，不仅提升了语音合成的可及性，还为开发者和企业带来了新的灵活选择。

OuteTTS-0.1-350M的性能分析：小模型也有大作为

OuteTTS-0.1-350M尽管只有3.5亿参数，依然在语音生成领域表现出色。它的高效性和轻量化特性使其在语音质量上毫不逊色，甚至与传统大型模型相媲美：

• 音质自然：初步测试显示，OuteTTS生成的语音具有自然的语调和流畅的音质，极少出现失真或人工痕迹，适合各类语音应用场景。
• 低计算成本：相比于参数数十亿的大型模型，OuteTTS保持高质量的同时，计算成本显著降低，非常适合资源有限的设备。
• 快速响应：得益于模型架构的优化，OuteTTS能够在设备端实现快速响应，为实时语音交互提供了理想选择。

OuteTTS展示了小规模模型的潜力，使得语音合成不再依赖于庞大的计算资源，为轻量化的TTS模型树立了新标杆。

OuteTTS-0.1-350M的未来前景

OuteTTS-0.1-350M的发布不仅仅是一次技术创新，它开启了未来TTS应用的无限可能性。随着更多开发者和研究人员的加入，基于OuteTTS的应用场景将更加多样化：

• 辅助技术：OuteTTS在语音生成上的便捷性和高效性使得其可以广泛应用于视障人士的辅助设备中，提供语音导航、信息提示等功能。
• 内容创作：对于需要快速生成个性化语音内容的创作者，OuteTTS为他们提供了成本更低的配音解决方案。
• 人机交互：语音交互是智能设备未来的关键方向，OuteTTS的实时生成能力使其能够在智能家居、车载语音助手等领域大展身手。

结语

OuteTTS-0.1-350M的发布标志着TTS技术的一个重要里程碑。通过采用纯语言建模，OuteTTS不仅降低了语音合成的门槛，还让个性化语音应用更为可行。无论是零样本语音克隆能力、实时生成表现，还是其对多设备兼容性，OuteTTS都为TTS领域带来了全新的发展思路。未来，随着更多技术的突破，基于OuteTTS的TTS应用将会为语音生成带来更加丰富的可能性。OuteTTS-0.1-350M展示了小而强的TTS模型可以达到与大型模型媲美的效果。Oute AI的这一创新，为未来的语音合成技术铺平了道路，也让我们期待更多轻量、智能、高效的语音合成技术的出现。

一个革命性的开源音频模型——Hertz-dev 横空出世，凭借其惊人的性能指标，让全球开发者为之震撼。这款拥有 85 亿参数的 AI 语音巨兽，通过 2000 万小时高质量音频数据的训练，成功实现了人类梦寐以求的全双工实时对话。最令人惊叹的是其 120 毫秒的超低延迟表现，较现有公开模型足足提升了一倍，让人机对话体验提升到了一个全新境界。想象一下，当你在和 AI 对话时，不必再等待对方说完就能自然插话，就像真实的人类对话一样流畅自然。

Hertz-dev 的核心突破包括：

–突破性全双工技术： 彻底颠覆传统轮流发言模式，实现真正的双向实时交流。

– 卓越音频压缩： 在保证高音质的同时，大幅降低带宽占用。

– 超长对话能力： 轻松理解和生成持续性对话内容。

– 革命性低延迟： 120 毫秒的响应速度，开创实时互动新纪元。

官方介绍：Hertz-dev 在 RTX 4090 上的理论延迟为 65 毫秒，实际平均延迟为 120 毫秒。这比世界上任何公共模型的延迟都低约 2 倍——这是模型能够以类似人类的方式与您互动的先决条件，而不是感觉像延迟、断断续续的电话通话。作者目前正在训练更大、更先进的 Hertz 版本，它将使用缩放的基础模型配方和 RL 调整来大幅提高模型的原始功能和最终一致性。Hertz-dev 是实时语音交互未来的一瞥，也是世界上最容易让研究人员进行微调和构建的对话音频模型。

代码地址：https://github.com/Standard-Intelligence/hertz-dev

体验地址：https://si.inc/hertz-dev/

在过去的几个月里，Standard Intelligence 团队一直在进行跨模态学习研究。我们很高兴地宣布，我们将开源这项研究的早期产品，即 8.5B、全双工、纯音频基础模型：hertz-dev。

音频模态对于创建感觉自然的交互式代理至关重要。目前，利用音频与生成式 AI 的两种方法是基于扩散的方法或自回归方法。虽然基于扩散的音频模型被证明擅长音乐生成和小样本，但真正的交互式音频生成需要是自回归的。

该领域最大的问题是 1) 获得听起来像人类的音频生成（即非合成的以及很好地处理中断）和 2) 使用两个实时频道处理实时生成，这两个频道都在产生信息，就像正常的人类对话一样。

我们的模型处于这两者的最前沿，原生适应双扬声器格式，具有比人类更快的反应时间，并且完全能够解析和生成重叠的双扬声器音频。我们通过在潜在空间中操作以及使用量化语音位来实现这一点，从而允许 80ms 的理论平均延迟，每个时间步长只有一个采样的延迟。目前，我们在单个 RTX 4090 上对 120ms 的实际延迟进行了基准测试，比之前最先进的延迟低 2 倍。

模型架构：

hertz-dev 由两部分组成 – 产生音频latents的 hertz-codec 和根据过去音频latents未来音频latents的 hertz-ar。音频latents是极其丰富的先验数据，可用于许多下游任务。

hertz-codec：卷积音频 VAE，采用单声道、16kHz 语音，并使用 KL 正则化的 1kbps 比特率编码 8Hz latents数据。我们利用因果卷积（功能上在序列左侧添加填充）来实现流式推理。

编解码器输出高斯参数（均值和方差），这些参数每 125ms 帧仅被采样为单层 32 维latent数据。在主观评估中，Hertz-codec 在 6kbps 时优于 Soundstream 和 Encodec，在 8kbps 时与 DAC 相当，同时每秒的标记数低于任何流行的标记器，这对于语言建模至关重要。 Hertz-codec 有 500 万个编码器参数和 9500 万个解码器参数。

inference_apatosaurus_95000.pt — 在混合重建、对抗和 KL 正则化损失上训练的 hertz-codec 权重。
inference_volcano_3.pt — hertz-codec 量化器，一种学习投影，可提取每个潜在语音中最相关的 15 位。

hertz-ar：40 层 84 亿参数解码器专用转换器，上下文为 2048 个输入token（约 4.5 分钟）。输出是可以传递到 hertz-codec 的latent数据。前 32 层接收潜在历史作为输入，并预测下一个latent音频token的 15 位量化投影。我们称之为 hertz-lm，因为它可以独立训练或从语言模型权重初始化。

最后 8 层网络利用潜在历史和 15 位量化latent来预测未来的潜在音频标记。

双工音频作为后训练任务处理，两个投影头连接在一起，然后分成两个量化投影管道，以各自的残差为条件。

inference_caraway_112000.pt — 从在 2T 标记上训练的语言模型初始化的hertz-lm 权重。
inference_syrup_110000.pt — 随机初始化的hertz-lm 权重，并完全在音频潜在上进行训练。
inference_whip_72000.pt — 最后 8 层的hertz-ar 权重
inference_care_50000.pt & inference_scion_54000.pt — hertz-ar 的双工检查点

Hertz-dev 是第一个公开发布的对话音频基础模型。基础模型可以准确预测训练数据的分布，而那些经过大量强化学习调优以压缩生成分布的模型则不同。这使得这些模型成为大量不同任务的下游微调的最佳起点。我们目前正在训练更大、更先进的 Hertz 版本，它将使用缩放的基础模型配方和强化学习调优来大幅提高模型的原始能力和最终一致性。Hertz-dev 是实时语音交互未来的一瞥，也是世界上最容易让研究人员进行微调和构建的对话音频模型。

训练选择

1. 因果卷积网络：
   在 hertz-codec 中使用了因果卷积网络进行并行解码，同时实现对潜在变量生成的更细粒度控制。
2. 15位量化潜变量：
   • 潜变量最初被训练用于包含语音的音素信息，从而帮助模型生成语法正确的语音。
   • 量化过程通过一个多层感知机（MLP）投射到有限标量量化（Finite Scalar Quantization）层中完成。
3. 初始化策略对比：
   • 对 hertz-lm 测试了两种不同的初始化策略。
   • 实验结果表明，模型配方在有或没有文本模型初始化的情况下，都能有效学习语言学特征。

性能表现

1. 实时推理：
   • 在实时推理中，模型需要每秒进行 8次前向传播，并持续执行自回归生成。
   • 输入包含两个独立的信道，但在对话中仅返回其中一个信道的结果。
   • 每一步操作中，模型接收用户的音频，将其标记为潜变量，并将其与模型上一步生成的潜变量结合，一起输入到 hertz-ar。
2. 延迟：
   • 延迟由以下部分组成：
     • 用户语音和模型响应之间的平均时间（62.5毫秒），即从任何给定语音片段到一个标记生成完成的时间。
     • 前向传播的计算时间。
     • 网络往返的延迟。
   • 在本地 RTX 4090 上运行时，实际测得的平均延迟为 120毫秒。
3. 对比表现：
   • 这种延迟是其他音频模型的 2倍低，极大地提升了实时交互的流畅性。
   • 它能够以类似人类的方式进行互动，而不会让用户感受到像延迟、断续电话一样的不自然体验。

类似的端到端的音频模型：

2、mini-omni2 

https://github.com/gpt-omni/mini-omni2…

3、GLM-4-Voice 

https://github.com/THUDM/GLM-4-Voice…

4、moshi 

https://moshi.chat

5、Spiritlm 

https://github.com/facebookresearch/spiritlm

GPT-SoVITS

https://github.com/RVC-Boss/GPT-SoVITS

GPT-SoVITS项目是TTS克隆领域内效果常年霸榜的模型之一，具有以下功能:

• 零样本文本到语音（TTS）: 输入 5 秒的声音样本，即刻体验文本到语音转换。
• 少样本 TTS：仅需 1 分钟的训练数据即可微调模型，提升声音相似度和真实感。
• 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语、韩语、粤语和中文。
• WebUI 工具：集成工具包括声音伴奏分离、自动训练集分割、中文自动语音识别(ASR)和文本标注，协助初学者创建训练数据集和 GPT/SoVITS 模型。

部署和使用教程：【34.8k点赞量!】TTS领域内明星模型GPT-SoVITS实操教程来啦；2秒语音就能克隆，效果过于惊艳，请谨慎使用！

1. https://github.com/RVC-Boss/GPT-SoVITS
2. https://huggingface.co/lj1995/GPT-SoVITS

MaskGCT

https://github.com/open-mmlab/Amphion/blob/main/models/tts/maskgct/README.md

文本转语音TTS系统通常被分为自回归和非自回归系统。自回归系统隐式地建模持续时间，但在鲁棒性方面存在一定的缺陷，并且缺乏持续时间的可控性。非自回归系统在训练期间需要显式的文本和语音之间的对齐信息，并预测语言单位（例如音素）的持续时间，这可能会影响其自然性。在10月24日，趣丸科技&香港中文大学提出一种完全非自回归的TTS模型——掩码生成编解码器变换器（MaskGCT），它消除了对文本和语音监督之间显式对齐信息的需求，以及对音素级别持续时间预测的需求。

MaskGCT模型框架如下：

• 语音语义表示编解码器：这部分将语音转换为semantic tokens，这是将语音信号的声学特征抽象成更高层次的语义信息的过程。
• 文本到语义模型：这个模型使用文本和提示semantic tokens来预测语义标记。它的作用是理解文本内容并将其映射到相应的语义空间。
• 语义到声学模型：在得到语义标记后，这个模型会基于这些语义标记来预测声学标记，即将语义信息进一步转换为声学特征，这些声学特征更接近于实际的语音波形。
• 语音声学编解码器：最后，这个部分负责从声学标记重建语音波形，即将预测的声学特征转换成可以被听到的语音信号。

在训练期间，MaskGCT学习基于给定条件和提示预测掩码的语义或声学标记。在推理期间，模型以并行方式生成指定长度的标记。MaskGCT模型是基于10万小时数据集Emilia训练而来的，精通中英日韩法德6种语言的跨语种合成。数据集Emilia是全球最大且最为多样的高质量多语种语音数据集之一。

MaskGCT模型实验性能

可以看出 MaskGCT模型整体性能超了CosyVoice,XTTS-v2模型性能。

MaskGCT模型运行占用显存(大约10G左右)

部署和使用教程：【又又一款王炸级别TTS模型】趣丸科技&港中大开源MaskGCT语音大模型,性能超过CosyVoice，XTTS-v2！

1. https://arxiv.org/pdf/2409.00750
2. https://hf-mirror.com/amphion/MaskGCT
3. https://maskgct.github.io/
4. github: https://github.com/open-mmlab/Amphion/tree/main/models/tts/maskgct
5. 在线体验: https://huggingface.co/spaces/amphion/maskgct

F5-TTS语音模型

https://github.com/SWivid/F5-TTS

E2-TTS 语音模型介绍：

E2-TTS是由微软公司（Microsoft Corporation, USA）的研究团队开发的,具有以下特点:

1. 简单架构：E2-TTS具有非常简单的架构，仅由填充标记的文本序列和基于流匹配的mel频谱图生成器组成。
2. 无需额外组件：E2-TTS不需要额外的组件，例如持续时间模型（duration model）、字素到音素转换器（grapheme-to-phoneme converter）或复杂的对齐搜索技术（如单调对齐搜索）。
3. 高性能：尽管架构简单，E2-TTS在零样本（zero-shot）TTS能力上达到了与之前工作相当或更好的性能，包括Voicebox和NaturalSpeech 3。
4. 灵活性：E2-TTS在输入表示上具有灵活性，允许在推理期间提高可用性。

F5-TTS 语音模型介绍 ：

F5-TTS是一款基于流匹配的全非自回归文本到语音转换模型，由上海交通大学（Shanghai Jiao Tong University）、剑桥大学（University of Cambridge）、以及极氪汽车研究院（Geely Automobile Research Institute (Ningbo) Company Ltd.）的研究团队联合开发的。具有以下特点:

1. 改进的文本表示：F5-TTS使用ConvNeXt对输入文本进行细化，以改善与语音的对齐，解决了E2-TTS中存在的鲁棒性问题。
2. Sway Sampling策略：F5-TTS提出了一种新的推理时采样策略，称为Sway Sampling，它显著提高了模型的性能和效率。这种采样策略可以轻松地应用于现有的基于流匹配的模型，而无需重新训练。
3. 更快的训练与推理：F5-TTS的设计允许更快的训练，并且在推理时实现了0.15的实时因子（Real-Time Factor, RTF），与现有的基于扩散的TTS模型相比，这是一个显著的改进。
4. 零样本能力：F5-TTS在公共100K小时多语言数据集上训练，展示了高度自然和富有表现力的零样本能力，以及无缝的代码切换能力。
5. 开源：F5-TTS的代码和检查点被开源，以促进社区发展。

F5-TTS在E2-TTS的基础上进行了改进，特别是在文本表示的细化和推理时采样策略上。这些改进使得F5-TTS在保持简单架构的同时，提供了更好的性能和更快的推理速度。此外，F5-TTS的零样本能力更强，且完全开源。开源协议MIT。

F5-TTS模型性能介绍

这是F5-TTS和E2-TTS在测试集上的结果；

可以看出F5-TTS模型的整体效果是超过CosySense效果的；

部署和使用教程：【克隆TTS领域又更新啦】上海交大开源F5-TTS: 只需要2秒就能克隆语音，可商用，合成语音效果让我震惊不已！

1. https://github.com/SWivid/F5-TTS
2. F5-TTS: https://arxiv.org/pdf/2410.06885
3. E2-TTS:https://arxiv.org/pdf/2406.18009
4. https://hf-mirror.com/SWivid/F5-TTS
5. https://hf-mirror.com/SWivid/E2-TTS

FishSpeech1.4模型

https://hf-mirror.com/fishaudio/fish-speech-1.4

https://github.com/fishaudio/fish-speech

fish.audio团队最新开源的FishSpeech1.4;支持中文、英文等8种语音，具有以下特点:

• 零样本和少样本文本转语音（TTS）：输入一个10到30秒的语音样本，即可生成高质量的TTS输出。有关详细指南，请参见语音克隆最佳实践。
• 多语言和跨语言支持：只需将多语言文本复制粘贴到输入框中——无需担心语言问题。目前支持英语、日语、韩语、中文、法语、德语、阿拉伯语和西班牙语。
• 无需音素依赖：该模型具有强大的泛化能力，不依赖于音素进行TTS。它可以处理任何语言脚本的文本。
• 高度准确：对于5分钟的英文文本，实现了约2%的低CER（字符错误率）和WER（词错误率）。
• 快速：借助fish-tech加速技术，在Nvidia RTX 4060笔记本电脑上实时因子约为1:5，在Nvidia RTX 4090上为1:15。
• WebUI推理：功能强大，基于Gradio的Web UI，兼容Chrome、Firefox、Edge等浏览器。
• GUI推理：提供与API服务器无缝协作的PyQt6图形界面。支持Linux、Windows和macOS。见GUI。
• 部署友好：可以轻松设置推理服务器，原生支持Linux、Windows和MacOS，最小化速度损失。目前在huggingface社区下载量高达5.1K!

部署和使用教程： 【又一款王炸级别语音克隆TTS模型】FishSpeech重磅开源1.4版本！语音合成更逼真！跟最近爆火F5-TTS相比如何呢？

1. https://hf-mirror.com/fishaudio/fish-speech-1.4
2. https://speech.fish.audio/zh/inference/#_2
3. https://github.com/fishaudio/fish-speech
4. https://hf-mirror.com/SWivid/F5-TTS
5.  https://github.com/SWivid/F5-TTS

CosyVoice模型

https://github.com/FunAudioLLM/CosyVoice

CosyVoice 是一个语音生成模型，能够合成自然声音，适用于多种应用。模型支持五种语言：中文、英语、日语、粤语和韩语。CosyVoice 包含三个开源模型：

• CosyVoice-base-300M：擅长准确代表说话者身份，无需微调即可适应不同上下文，能够跨语言克隆声音。
• CosyVoice-instruct-300M：能够生成富有情感表现力的语音，允许通过指令文本进行精细调整。
• CosyVoice-sft-300M：已针对七位多语言说话者进行了微调，适合立即部署使用。

语音合成模型 CosyVoice 功能特点：

• 多语言支持：CosyVoice 支持包括中文、英文、日语、粤语和韩语在内的五种语言。
• 零样本学习：能够无需训练即可适应新说话者（zero-shot in-context learning），能够在不同语言之间复制声音。
• 情感共鸣：能够创建情感共鸣的声音， CosyVoice-instruct 版本通过情感指令显著提高了情感控制的准确性。
• 高质量语音合成：生成的样本在词错误率（WER）和说话者相似性方面达到人类水平。
• 语音定制化：能够根据特定说话者生成多语言语音，适应新说话者而无需训练。
• 语音克隆与风格迁移：支持在不同语言之间进行语音克隆和情感风格迁移。

部署和使用教程：【语音领域-又双叒更新】阿里开源FunAudioLLM: 2大核心模型、5大亮点功能！效果炸裂！手把手带你理论+实战部署推理!

1. CosyVoice: https://github.com/FunAudioLLM/CosyVoice
2. SenseVoice: https://github.com/FunAudioLLM/SenseVoice
3. FunAudioLLM论文报告: https://fun-audio-llm.github.io/pdf/FunAudioLLM.pdf
4. CosyVoice论文报告: https://fun-audio-llm.github.io/pdf/CosyVoice_v1.pdf
5. https://fun-audio-llm.github.io/
6. https://www.modelscope.cn/studios/iic/SenseVoice
7. https://www.modelscope.cn/studios/iic/CosyVoice-300M

参考链接

1. https://github.com/SWivid/F5-TTS
2. https://hf-mirror.com/amphion/MaskGCT
3. https://hf-mirror.com/fishaudio/fish-speech-1.4
4. https://github.com/RVC-Boss/GPT-SoVITS
5. https://github.com/FunAudioLLM/CosyVoice

ArXiv: https://arxiv.org/abs/2407.05361
GitHub: https://github.com/open-mmlab/Amphion/tree/main/preprocessors/Emilia
Homepage: https://emilia-dataset.github.io/Emilia-Demo-Page/
HuggingFace: https://huggingface.co/datasets/amphion/Emilia

Emilia 数据集是一个全面的多语言数据集，具有以下功能：

• 包含超过 101K 小时的语音数据;
• 涵盖六种不同的语言：英语 （En）、中文 （Zh）、德语 （De）、法语 （Fr）、日语 （Ja） 和韩语 （Ko）;
• 包含来自互联网上各种视频平台和播客的各种说话风格的多样化语音数据，涵盖脱口秀、访谈、辩论、体育评论和有声读物等各种内容类型。

Language 语言	Duration (hours) 持续时间 （小时）
English 英语	46,828
Chinese 中文	49,922
German 德语	1,590
French 法语	1,381
Japanese 日语	1,715
Korean 朝鲜语	217

Emilia 数据集结构:

|-- openemilia_all.tar.gz (all .JSONL files are gzipped with directory structure in this file)
|-- EN (114 batches)
|   |-- EN_B00000.jsonl
|   |-- EN_B00000 (= EN_B00000.tar.gz)
|   |   |-- EN_B00000_S00000
|   |   |   `-- mp3
|   |   |       |-- EN_B00000_S00000_W000000.mp3
|   |   |       `-- EN_B00000_S00000_W000001.mp3
|   |   |-- ...
|   |-- ...
|   |-- EN_B00113.jsonl
|   `-- EN_B00113
|-- ZH (92 batches)
|-- DE (9 batches)
|-- FR (10 batches)
|-- JA (7 batches)
|-- KO (4 batches)

JSONL 文件示例：

{"id": "EN_B00000_S00000_W000000", "wav": "EN_B00000/EN_B00000_S00000/mp3/EN_B00000_S00000_W000000.mp3", "text": " You can help my mother and you- No. You didn't leave a bad situation back home to get caught up in another one here. What happened to you, Los Angeles?", "duration": 6.264, "speaker": "EN_B00000_S00000", "language": "en", "dnsmos": 3.2927}
{"id": "EN_B00000_S00000_W000001", "wav": "EN_B00000/EN_B00000_S00000/mp3/EN_B00000_S00000_W000001.mp3", "text": " Honda's gone, 20 squads done. X is gonna split us up and put us on different squads. The team's come and go, but 20 squad, can't believe it's ending.", "duration": 8.031, "speaker": "EN_B00000_S00000", "language": "en", "dnsmos": 3.0442}

Emilia-Pipe 概述 👀

Emilia-Pipe 是第一个开源预处理管道，旨在将原始的野生语音数据转换为高质量的训练数据，并带有用于语音生成的注释。此管道可以在几分钟内将一小时的原始音频处理为模型就绪数据，只需要原始语音数据。
Emilia 和 Emilia-Pipe 的详细说明可以在我们的论文中找到。

The Emilia-Pipe includes the following major steps:
Emilia-Pipe 包括以下主要步骤：

0. Standardization：Audio normalization
   标准化：音频标准化
1. Source Separation: Long audio -> Long audio without BGM
   源分离： 长音频 -> 无 BGM 的长音频
2. Speaker Diarization: Get medium-length single-speaker speech data
   说话人分类：获取中等长度的单个说话人语音数据
3. Fine-grained Segmentation by VAD: Get 3-30s single-speaker speech segments
   按 VAD 进行精细分割：获取 3-30 秒的单说话人语音片段
4. ASR: Get transcriptions of the speech segments
   ASR：获取语音段的听录
5. Filtering: Obtain the final processed dataset
   筛选：获取最终处理后的数据集

具体使用的模型:

• Source Separation: UVR-MDX-NET-Inst_HQ_3
• VAD: snakers4/silero-vad
• 说话人分类： pyannote/speaker-diarization-3.1
• ASR: m-bain/whisperX, using faster-whisper and CTranslate2 backend.
• DNSMOS 预测：DNSMOS P.835

关于ASR：

缺乏文本转录限制了 Emilia 数据集在 TTS 任务中的直接使用。为了解决这个问题，我们应用 ASR 技术对分段的语音数据进行转录。为了平衡速度和准确性，我们使用了最先进的多语言 ASR 模型 Whisper-Medium。为了进一步提高效率，我们使用了 WhisperX ，它基于更快的 Whisper 后端和 CTranslate2 8 推理引擎。该设置的速度是官方 Whisper 实现的四倍，同时几乎保持相同的准确性。为了避免重复处理，我们绕过了 WhisperX 的 VAD 组件，直接使用VAD的结果。此外，我们还实现了基于更快 Whisper 后端的批处理推理，以并行转录语音数据。这些优化显著提高了整个流程的效率。

关于筛选：

在实际场景中，一些噪声可能无法通过源分离完全处理，Whisper 模型可能会出现幻觉，某些原始语音数据可能质量较低。为了确保生成数据集的质量，我们应用以下过滤标准。首先，我们使用 Whisper 模型的语言识别结果，丢弃任何未被预测为我们目标语言（英语、法语、德语、中文、日语、韩语）或模型语言置信度低于 80% 的语音数据。其次，我们使用 DNSMOS P.835 OVRL 评分来评估整体语音质量，仅保留评分高于 3.0 的语音数据。最后，对于每个原始语音样本，我们计算其对应片段的平均字符持续时间。平均音素持续时间超出第三四分位数上方 1.5 倍四分位距（IQR）或低于第一四分位数的片段被视为异常值，相关的语音片段将被丢弃。经过过滤后，生成的数据集将用于训练语音生成模型。

DNSMOS：评估噪声抑制效果的非侵入性客观语音质量指标。人类主观评估语音质量时音频质量的“黄金标准”。传统音频评估指标需要参考干净的语音信号，这无法对真实的应用环境中的音频作出准确评估。因为真实应用中干净的语音信号难以获得。然而，传统的无参考方法与人类主观评估质量相关性很差，没有被广泛采用。本文介绍了来自微软的深度学习多阶段噪声抑制评估方法