分类： 数据集

📑 Paper    |    🐙 GitHub    |    🤗 HuggingFace
🎤 Demo Page    |    💬 Contact Us

WenetSpeech-Chuan 包含10000小时大规模川渝方言语音语料，标注丰富，是目前川渝方言语音研究最大的开源资源。涵盖十大领域：短视频、娱乐、直播、纪录片、有声读物、戏剧、访谈、新闻等。开发并开源了Chuan-Pipeilne(方言语音数据处理框架)， 收集了大规模的、自然界中的语音录音，涵盖故事讲述、戏剧、评论、视频博客、美食、娱乐、新闻和教育等多个领域。这些长录音通过语音音频检测 (VAD) 被分割成短片段，从而生成用于转录和质量评估的话语级数据。

Chuan-Pipeline

 Chuan-Pipeline流程能系统地将原始、未标注的音频转化为一个内容丰富、标注完善的语料库，用于语音识别（ASR）和语音合成（TTS）。

Pre-Processing and Labeling

管道的初始阶段主要关注数据获取、分割，以及为语音片段添加多维副语言标签。原始数据的获取始于从在线视频平台挖掘元数据，以识别可能包含四川方言的内容。经过初步人工审核以确认目标方言的存在后，获取的音频流将进入多阶段处理流程：

1. VAD 与分割：使用语音活动检测（VAD）将长音频流切分为 5–25 秒的片段，同时去除沉默和噪声等非语音部分。
2. 单说话人选择与聚类：首先使用 pyannote 工具包隔离单说话人片段。随后，使用 CAM++ 模型提取说话人嵌入，并进行聚类，为同一说话人的所有语句分配一致的说话人 ID。
3. 副语言注释：

• 性别识别：使用预训练分类器（准确率 98.7%）确定说话人性别。
• 年龄估计：基于 Vox-Profile 基准评测，将年龄划分为儿童、青少年、青年、中年和老年阶段。
• 情绪标注：通过 Emotion2vec 和 SenseVoice 的预测结果进行多数表决，覆盖七类情绪：高兴、愤怒、悲伤、中性、恐惧、惊讶和厌恶。

质量评估

自动化质量评估：用时间戳对齐的语音作为输入，提取音频时长和信噪比（SNR）等指标。随后，这些特征用于计算词级虚拟主观评价分数（WVMOS），作为感知音频质量的替代指标。低质量的音频样本将被丢弃。

LLM-GER纠错处理

为了提高自动语音识别（ASR）转写的准确性，并在已有研究的基础上，我们提出了一套针对四川方言的鲁棒 ASR 转写框架。我们的方法被称为 基于大语言模型生成的错误纠正 ROVER（LLM Generative Error Correction based ROVER, LLM-GER），旨在将多个 ASR 系统的输出融合为单一、准确且可靠的转写结果。

首先，三套不同的 ASR 系统（FireRed-ASR、SenseVoice-Small 和 TeleASR）生成初步候选转写。随后，这些转写由 Qwen3 进行融合，利用其强大的方言理解能力，并结合我们精心设计的提示（prompt）进行错误纠正，同时保持原始语义和 token 长度不变。

通过这种方法，充分发挥了大语言模型（LLM）在规范化四川方言表达方面的能力，同时整合了多套 ASR 系统的互补优势。这样的组合为 WenetSpeech-Chuan 数据集生成了高质量的转写结果。对测试集的计算结果显示，与单一 ASR 系统的转写相比，LLM-GER 平均可将转写准确率提高约 15%。

标点符号预测

带标点的准确转写对于 TTS 训练至关重要，但仅依靠文本的标点预测往往与实际语音停顿不匹配。为此，我们提出了一种结合音频与文本模态的多模态标点预测方法。

在音频模态方面，我们使用 Kaldi 模型对音频与文本进行强制对齐，从而获得每个词的时间戳和停顿时长，并根据阈值将停顿划分为短停顿或长停顿（例如，短停顿 0.25 秒，长停顿 0.5 秒）。

在文本模态方面，我们使用 BiLSTM 标点模型在停顿候选位置预测标点：短停顿对应逗号，长停顿对应句号、问号或感叹号。阈值通过人工反馈进行迭代优化，以确保标点与实际语音停顿保持一致。

ps：该方法存在的的问题：由于不涉及语音信息，单模态模型时常无法获知说话人的情感态度，这会导致模型在一些句子末尾难以抉择以句号还是问号作为结束符。

WenetSpeech-Chuan Corpus

通过将 Chuan-Pipeline 应用于收集到的多源原始数据，我们构建了 WenetSpeech-Chuan 语料库，这是一个面向四川方言的大规模、多标签、多领域的资源。本节将详细介绍该语料库，包括其元数据、音频格式、数据多样性以及训练集和评估集的设计原则。

为每个音频片段分配一个置信度，用于衡量自动语音识别（ASR）转录的质量。 如表 1 所示，我们选取了 3,714 小时的强标签数据（Strong Label），其置信度大于 0.90。 6,299 小时的弱标签数据（Weak Label），置信度介于 0.60 与 0.90 之间，被保存在我们的元数据中，用于半监督训练或其他用途。 总的来说，WenetSpeech-Chuan 共包含 10,013 小时的原始音频。

WenetSpeech-Chuan 的来源领域，共包含 9 个类别。 其中，短视频占比最大（52.83%），其次是 娱乐（20.08%） 和 直播（18.35%）。 其他领域包括纪录片、有声书、访谈、新闻、朗读和电视剧，占比较小，但提升了数据集的多样性。

基于 WVMOS 指标 计算得到的音频质量评分主要集中在 2.5 到 4.0 区间，其中 3.0 到 3.5 之间存在一个显著峰值。 这一分布表明，语料库的大部分音频属于 中高质量语音，在干净录音与真实环境声学条件之间取得了平衡，从而使其在训练通用语音模型时具备较强的鲁棒性。

WenetSpeech-Chuan Eval Benchmark：

ASR 评测集：人工标注9.7 小时的评测集划分为 Easy 和 Hard 两个子集

TTS 评测集：

• WSC-Eval-TTS-easy：包含来自多个领域的方言词句子；
• WSC-Eval-TTS-hard：由长句子和大语言模型（LLM）生成的多样化风格句子组成，例如绕口令、俗语和情感化语音。

Experiments

ASR

如表 3 所示，不同类型的模型在四川方言测试集上的表现存在差异。 首先，在所有开源模型中，FireRedASR 在多个评测集上表现出相对稳定的识别性能。 值得注意的是，FireRedASR-AED 在所有测试集上的平均词错误率（WER）为 15.14%，成为表现最优的开源模型。 相比之下，Qwen2.5-omni 和 kimi-audio 等模型在 MagicData-Dialogue 测试集 上的错误率显著偏高，表明其对方言语音的适应性不足。

我们经过微调的模型展现出明显的性能提升。在 WenetSpeech-Chuan 上对 Paraformer 和 Qwen2.5-omni 进行微调后，整体性能分别提升了 11.7% 和 11.02% ，彰显了 WenetSpeech-Chuan 在提升方言识别能力方面的显著效果。此外，在额外使用 1000 小时内部数据进行持续微调后，Paraformer 在所有测试集上均达到了 13.38% 的平均 CER，达到了当前最佳水平 ，这证明了 ASR 模型在使用高质量方言数据训练时具有强大的迁移能力和适应性。

综上所述，我们的评估结果清楚地表明，在保持普通话识别能力没有明显下降的同时，WenetSpeech-Chuan 大大增强了模型识别四川方言的能力。

Speech Synthesis

CosyVoice2-WSC 在客观和主观指标上均展现出极具竞争力的表现。在简单分类下，其 CER 达到 4.28%，接近 Qwen-TTS 的 4.13%，同时实现了更高的感知质量和最佳的说话人相似度。在困难分类下，其 CER 上升至 8.78%，而 Qwen-TTS 仅为 7.35%，但仍保持了更高的感知质量，SIM 高于 62%，在挑战性场景中展现出更佳的鲁棒性。

与错误率较高的 Step-Audio-TTS 和 CosyVoice2 基线相比，CosyVoice2-WSC 在准确率和感知质量之间取得了更佳的平衡。经过微调后，CosyVoice2-WSC-SFT 取得了进一步的提升。在简单划分中，其 CER 最低，为 4.08%，SIM 最高，为 78.84%，同时 MOS 家族得分也处于领先地位。在困难划分中，其 CER 降至 7.22%，并保持了最佳 AMOS 得分，这表明微调能够同时提升准确率和感知质量。

总而言之，这些结果证实了 WenetSpeech-Chuan 数据集为构建稳健、高质量的四川方言 TTS 系统奠定了坚实的基础。

结论

WenetSpeech-Chuan，这是目前中国最大的四川方言开源语料库，包含超过 10,000 小时的多维语音标注。为了构建该数据集，我们开发了 Chuan-Pipeline，这是一个功能全面的数据处理工具包，能够支持这一大规模资源的创建。

下载：https://huggingface.co/datasets/speechcolab/gigaspeech2

• GigaSpeech 2 数据集下载地址：https://huggingface.co/datasets/speechcolab/gigaspeech2
• 大规模语音识别数据集自动化构建流程代码：https://github.com/SpeechColab/GigaSpeech2
• 预印版论文：https://arxiv.org/pdf/2406.11546

语言：泰语、印尼语、越南语
GigaSpeech 2 raw：30,000 小时的泰语、印尼语和越南语自动转录语音。
GigaSpeech 2 精炼：泰语 10,000 小时，印尼语和越南语各 6,000 小时。
GigaSpeech 2 DEV 和 TEST：每种语言的 DEV 时间为 10 小时，TEST 时间为 10 小时，由专业人工注释员转录，富有挑战性和现实性。

“Giga”一词源于“gigantic”[“巨大”]，互联网上具有海量音频资源，但语音质量良莠不齐，高质量音频文本对数据十分稀缺且标注成本高昂，特别是在小语种领域。GigaSpeech 是一个非常成功的英文开源数据集，以 YouTube 和 Podcast 为音频来源，提供了上万小时的高质量文本标注语音数据集，获得了广泛关注和应用。针对多语言领域仍存在的语音识别性能较差、可用高质量标注数据缺乏等问题，我们提出了利用 in-the-wild 无标注音频，构建高质量大规模语音识别数据集的新范式，制作出面向真实场景的大规模、多领域、多语言的语音识别数据集 GigaSpeech 2。基于Gigaspeech 2 数据集训练的语音识别模型在三个东南亚语种（泰语、印尼语、越南语）上达到了媲美商业语音识别服务的性能。我们怀揣着技术应当普惠大众的理念，致力于开源高质量语音识别数据集和模型，促进多语言文化沟通。

GigaSpeech 2 是一个持续扩展的、多领域多语言的大规模语音识别语料库，旨在促进低资源语言语音识别领域的发展和研究。GigaSpeech 2 raw拥有 30000 小时的自动转录音频，涵盖泰语、印尼语、越南语。经过多轮精炼和迭代，GigaSpeech 2 refined拥有 10000 小时泰语、6000 小时印尼语、6000 小时越南语。我们也开源了基于 GigaSpeech 2 数据训练的多语种语音识别模型，模型性能达到了商业语音识别服务水平。

数据集构建：

GigaSpeech 2 的制作流程也已同步开源，这是一个自动化构建大规模语音识别数据集的流程，面向互联网上的海量无标注音频，自动化地爬取数据、转录、对齐、精炼。这一流程包含利用 Whisper 进行初步转录，使用 TorchAudio 进行强制对齐，经过多维度过滤制作出 GigaSpeech 2 raw。随后，采用改进的 Noisy Student Training (NST) 方法，通过反复迭代精炼伪标签，持续提高标注质量，最终制作出GigaSpeech 2 refined。

GigaSpeech 2 在主题上涵盖了多样化话题领域，包括农业、艺术、商业、气候、文化、经济、教育、娱乐、健康、历史、文学、音乐、政治、两性关系、购物、社会、体育、科技和旅行。同时，在内容形式上涵盖了多种类型，包含声书、解说、讲座、独白、电影电视剧、新闻、访谈、视频博客。

GigaSpeech 2 raw: Automated Crawling and Transcription

音频收集

由于低资源语言中人工标注数据的稀缺性，我们的数据集采集策略仅关注音频内容，而不考虑是否存在或文本配对的质量。这种策略使我们能够收集更广泛范围的音频数据。考虑到低资源语言的资源稀缺性和分布不均，我们有策略地重点爬取 YouTube 频道中的视频，基于两个关键假设：

1. 优先选择热门频道可以确保一致的领域特征和音频质量；
2. 不同频道之间没有说话人重叠，从而简化后续的数据划分。

数据收集流程首先由人工定义感兴趣的内容类别，所选主题包括：农业、艺术、商业、气候、文化、经济、教育、娱乐、健康、历史、文学、音乐、政治、人际关系、购物、社会、体育、科技和旅游。除了多样的主题外，我们还考虑了不同的内容格式，包括：有声书、评论、讲座、独白、电影、新闻、访谈和 vlog。这种广泛的选择确保了数据集在多个领域的全面性，可支持研究与分析。

在准备好 YouTube 频道列表后，我们使用 yt-dlp 工具下载所有音频文件，格式为 WebM。随后，这些文件被转换为单声道的 WAV 格式，并重采样为 16 kHz 的采样率。

训练 / 开发 / 测试集的划分：为确保各数据集之间没有说话人重叠，我们通过人工方式验证不同频道间无重叠说话人，并将来自不同 YouTube 频道的数据分配至不同的子集。数据集被划分为三个独立的子集：训练集（TRAIN）、开发集（DEV）和测试集（TEST）。

其中，DEV 和 TEST 集各包含 10 小时内容，均由专业人员手动转录，其余部分则分配至训练集。表1展示了这三种语言的数据量分布。更详细的分析见附录B。

使用 Whisper 进行转录：我们使用 OpenAI 的 Whisper large-v3 模型自动转录音频文件。对于每段音频，从中间选择一个 30 秒的片段进行语言识别，仅对与目标语言匹配的音频进行转录。

使用 TorchAudio 进行强制对齐：虽然 Whisper 可生成时间戳，但经过检验发现其精度不足。因此，我们采用了 TorchAudio 中的强制对齐模型【参考多语言数据的强制对齐 CTC 强制对齐 API 教程】，它能为嘈杂的转录文本提供可靠的对齐，支持在 GPU 上高效处理，并能更好地处理较长的音频序列。

文本标准化：对转录文本进行标准化处理，包括：

• 应用 Unicode NFKC（兼容性分解与合成）规范；
• 将所有字符转换为大写；
• 去除标点符号；
• 将阿拉伯数字映射为对应语言中的文本数字。

多维度过滤：为了排除质量较差的样本，我们在文本和音频两个模态上设计了一系列启发式的过滤规则：

• 字符集过滤（Charset Filtering）：仅保留那些只包含目标语言字符集内字符的片段。
• 语言置信度过滤（Language Confidence Filtering）：使用 fastText 提供的语言识别（LID）模型，根据语言识别的置信度分数进行过滤，仅保留那些置信度高于预设阈值的片段。该方法能有效排除无意义或重复的内容。需要注意的是，基于音频的语言识别在文本转录之前已经完成。
• 音频时长过滤（Audio Duration Filtering）：根据音频时长进行过滤，仅保留长度在预设的最短和最长时间阈值之间的片段。
• 样本平衡（Balancing）：我们对因频道特定内容造成的转录文本重复进行精细控制，同时尽可能保留自然的语言使用模式。

GigaSpeech 2 精炼：迭代标签优化（Iterative Label Refinement）

由于 Whisper 转录的不准确性以及强制对齐边界不精确，部分样本的质量仍然较低。为了解决这个问题，我们设计了一种改进的 神经自监督训练（NST） 方法。如图 1 右下角所示，该方法以一部分质量不佳的伪标签样本为起点训练一个教师模型，并通过迭代方式不断扩展训练集、生成新的伪标签，并对其进行过滤。随后训练一个与教师模型等大或更大的学生模型，使用优化后的伪标签进行训练，并将其作为新的教师模型。

在每次 NST 步骤中，我们引入了 SpecAugment、Bypass和 特征遮盖（feature mask）来注入噪声。其中：

• Bypass 是一种随机深度机制，它通过学习通道级的标量权重，在模块输入与输出之间进行加权组合；
• Feature mask 在前馈层和卷积层的隐藏维度上执行 Dropout，但在时间维度上保持共享。

这种有意识地加入噪声的方式，可以使学生模型学习在有噪声扰动下仍能保持与教师模型一致的行为，而教师模型在生成伪标签时则不会受到这些扰动 。

通过这样的迭代过程，数据质量将逐步得到提升。详细的算法步骤见附录 A 中的算法 1。

数据集组成：

GigaSpeech 2 提供了两个版本的数据集，分别为 raw 和 refined 版本，适用于有监督训练任务。训练集时长详情如下表所示：

GigaSpeech 2 开发集和测试集由海天瑞声的专业人员对语音数据人工标注得到，时长详情如下表所示：

主题和内容分布详情如下图所示，外圈表示主题领域，内圈表示内容形式：

实验结果：

我们将使用 GigaSpeech 2 数据集训练的语音识别模型与业界领先的 OpenAI Whisper (large-v3、large-v2、base)、Meta MMS L1107、Azure Speech CLI 1.37.0 和 Google USM Chirp v2 模型在泰语、印尼语和越南语上进行比较。性能评估基于 GigaSpeech 2、Common Voice 17.0 以及 FLEURS 三个测试集，通过字符错误率（CER）或单词错误率（WER）指标进行评估。结果表明：

1）在泰语上，我们的模型展现出卓越的性能，全面超越了所有竞争对手，包括微软和谷歌商用接口。值得一提的是，我们的模型在达到这一显著成果的同时，参数量仅为 Whisper large-v3 的十分之一。

2）在印尼语和越南语上，我们的系统与现有的基线模型相比表现出具有竞争力的性能。