- Github：https://github.com/DataoceanAI/Dolphin
- ModelScope：https://modelscope.cn/organization/DataoceanAI
- HuggingFace：https://huggingface.co/DataoceanAI
- 技术报告: http://arxiv.org/abs/2605.08961
Dolphin-CN-Dialect 是由 Dataocean AI 与清华大学联合开发的多方言语音识别（ASR）模型，专注于中文方言识别及实际部署场景。相较于之前的 Dolphin 系列，Dolphin-CN-Dialect 在分词器设计、方言均衡训练、流式处理能力、热词偏置以及部署效率等方面均实现了显著改进。
该模型支持普通话及 22 种中文方言，同时保留了 Dolphin 系列原有的多语言 ASR 能力。Dolphin-CN-Dialect 同时支持流式与非流式推理，可在实时转录和工业级语音识别系统等对延迟敏感的应用中实现高效部署。
通用语音识别模型在普通话上表现越来越好，但面对四川话、吴语、闽南语、上海话、温州话等方言或强口音语音时，错误率仍然很高。Dolphin-CN-Dialect 的目标不是单纯堆大模型，而是在较小参数规模下，把中文多方言识别、流式推理、热词增强和部署效率做成一个实用系统。
论文的核心结论可以概括为：通过温度采样缓解方言数据长尾，通过中文字符级 tokenizer 改善 CTC-AED 对齐，通过流式/非流式统一推理与热词增强提升落地能力，Dolphin-CN-Dialect-0.4B 在多方言平均 CER 上达到 5.74%，在 sub-1B 模型组里明显优于 Paraformer、SenseVoice、Qwen3-0.6B 和 FunASR-Nano。
1. 背景：中文 ASR 的难点不只是普通话
近几年 ASR 的主流路线大致包括三类：自监督语音模型、LLM 集成式模型，以及 Whisper 风格的大规模监督或弱监督序列到序列模型。这些模型在公开普通话测试集上已经很强，但真实应用中的中文语音远比标准普通话复杂：说话人可能带有明显地区口音，甚至直接使用方言；语音长度、录音设备、噪声环境、说话风格也高度不一致。
报告指出，一个关键问题是训练数据的长尾分布。标准普通话数据通常占主导，低资源方言数据远少于普通话。如果按原始数据比例训练，模型会过度偏向普通话；如果简单平均采样每个方言，又会过度重复少量方言样本，带来过拟合。Dolphin-CN-Dialect 的数据采样策略就是围绕这个矛盾设计的。
2. 方法总览：不是换骨干，而是补齐中文方言工程链路
Dolphin-CN-Dialect 基本沿用 Dolphin 的核心 CTC-AED 架构与训练配置。真正的改动集中在几个工程层面：数据采样、tokenizer、训练稳定性、流式推理、热词增强和部署优化。这个取向很重要，因为报告关注的是“能不能在真实中文多方言场景中稳定工作”，而不是只在某一个标准 benchmark 上刷分。
作者列出的关键改进包括：用温度采样平衡普通话和低资源方言；将词表从 40,000 缩减到 18,173；中文采用字符级建模，英文和其他拼音文字采用 BPE subword；额外设计方言/地区 token；支持 streaming 和 non-streaming；提供 encoder-level contextual biasing 与 prompt-based hotword biasing 两种热词方案。
3. 数据采样：用温度系数处理长尾方言
论文先定义了两种极端采样策略。第一种是自然采样，即第 i 个数据集的采样概率与它的数据量成正比：
这种方式保留了原始分布，但会导致普通话占比过高，低资源方言曝光不足。第二种是均匀采样，每个方言或数据集概率相同：
\( p_i=\frac{1}{N} \)均匀采样能显著增加低资源方言的训练机会，但会反复采样极小数据集，容易过拟合，也可能损害普通话和整体泛化。Dolphin-CN-Dialect 采用第三种折中方式：温度采样。
\( p_i=\frac{n_i^{\alpha}}{\sum_j n_j^{\alpha}} \)其中 n_i 是第 i 个数据集大小，α 位于 0 到 1 之间。α=1 时退化为自然采样，α=0 时变成均匀采样。取中间值可以提升低资源方言采样概率，同时保留高资源普通话数据的影响。报告称，这一策略带来了 38% 的方言识别准确率提升和 16.3% 的整体 CER 相对下降，普通话性能只出现约 0.2% 的边际退化。
4. Tokenizer：中文用字符级，方言用可扩展 token
Tokenizer 是这篇报告里容易被低估的一部分。Dolphin-CN-Dialect 将词表从 40,000 降到 18,173。对中文，报告采用字符级建模，因为中文字符天然适合 CTC-AED 的单调对齐；对英文和其他拼音文字，则继续采用 BPE subword，以平衡词表规模和表达能力。
此外，模型引入了结构化特殊 token，包括任务 token、结束 token、时间戳 token、方言/地区 token，并预留 80 个额外方言 token 槽位。这意味着后续如果要支持更细粒度的地区变体，不需要完全重做 tokenizer。这是一个明确面向可扩展部署的设计。
5. 热词增强：同时做 encoder-level 和 prompt-based biasing
实际 ASR 系统经常需要识别专有名词、人名、地名、产品名、术语等热词。报告将热词增强分为两条路线。第一条是 encoder-level contextual biasing，用上下文 embedding 在编码器侧引导模型；第二条是 prompt-based hotword biasing，把热词以提示形式交给解码器，使模型在生成时更偏向这些词。
这两种方式各有取舍。encoder-level 方法更稳定、可控，适合常规热词增强；prompt-based 方法更直接，尤其适合长尾或罕见热词，但也更依赖解码器对提示的利用能力。报告分别在 AISHELL 和 CommonVoice 构造热词测试集，并统计 WER、BWER、UWER 和 RER。
6. 实验结果：0.4B 模型在方言上很有竞争力
多方言 CER 是这篇报告最关键的结果之一。下表摘取平均 CER 与几个代表模型，数值越低越好。
| 模型 | 参数量 | 多方言平均 CER | 说明 |
|---|---|---|---|
| Paraformer_zh | 220M | 22.76 | 传统中文 ASR baseline |
| SenseVoice-S | 234M | 18.80 | 小型开源 ASR 模型 |
| Dolphin-CN-Dialect-0.1B | 0.1B | 10.46 | 小参数版本 |
| Dolphin-CN-Dialect-0.4B | 0.4B | 5.74 | sub-1B 组最佳 |
| Qwen3-0.6B | 0.6B | 12.74 | 更大但方言平均不如 Dolphin-CN-Dialect |
| FunASR-Nano-2512 | 0.8B | 12.73 | sub-1B 对比模型 |
| FireRed-AED | 1.2B | 6.85 | billion-scale 组最佳之一 |
| Qwen3-1.7B | 1.7B | 10.04 | 大模型对比 |
| FireRed-LLM | 8.3B | 7.17 | 大参数 LLM-ASR 对比 |
从分方言结果看，Dolphin-CN-Dialect-0.4B 在台湾普通话、四川话、吴语、闽南语、上海话、甘肃、山东、云南、河北、安徽、辽宁、福建、湖南、温州、湖北、河南、天津、陕西、宁夏等多数方言/地区测试上都取得 sub-1B 组最优。它不是只在少数方言上提升，而是整体降低了中文区域语音识别错误率。
7. 开放测试集：KeSpeech 和 Common Voice tw
报告还在 KeSpeech 和 Common Voice 的台湾中文子集上做了比较。Dolphin-CN-Dialect-0.4B 在两个测试集上分别达到 5.04 和 5.62 CER，在 sub-1B 组中最好。
| 模型 | 参数量 | KeSpeech CER | CV-tw CER |
|---|---|---|---|
| Dolphin-CN-Dialect-0.1B | 0.1B | 8.797 | 8.964 |
| SenseVoice-S | 234M | 17.84 | 19.41 |
| Paraformer_zh | 220M | 14.46 | 8.18 |
| Dolphin-CN-Dialect-0.4B | 0.4B | 5.04 | 5.62 |
| Qwen3-0.6B | 0.6B | 7.07 | 5.92 |
| FunASR-Nano-2512 | 0.8B | 7.85 | 5.64 |
| FireRed-AED | 1.2B | 3.97 | 1.61 |
| Qwen3-1.7B | 1.7B | 5.73 | 3.92 |
| FireRed-LLM | 8.3B | 3.58 | 4.20 |
8. 热词结果：降低 BWER，但可能牺牲少量 UWER
热词实验中，报告区分整体 WER、热词相关错误 BWER，以及非热词错误 UWER。一个典型现象是：加入热词后，BWER 会显著下降，但 UWER 可能略微上升。这说明热词 biasing 会把模型注意力推向热词，提升专名和关键词召回，但也可能带来少量非热词误识别。
| 数据集 | 方法 | 无热词 WER | 有热词 WER | RER |
|---|---|---|---|---|
| AISHELL | Dolphin-CN-Dialect encoder-level attention | 1.20 | 1.09 | 9.20% |
| AISHELL | Dolphin-CN-Dialect encoder-level rescoring | 1.23 | 1.10 | 10.6% |
| CommonVoice | Dolphin-CN-Dialect encoder-level attention | 7.54 | 6.95 | 7.8% |
| CommonVoice | Dolphin-CN-Dialect encoder-level rescoring | 7.63 | 7.03 | 7.9% |
| AISHELL | Dolphin-CN-Dialect prompt-based | 1.26 | 1.11 | 11.9% |
| CommonVoice | Dolphin-CN-Dialect prompt-based | 7.11 | 6.08 | 14.5% |
9. 工程问题：流式模型的 CTC 删除错误
报告专门提到一个工程问题：流式模型在 WenetSpeech 上出现 CTC decoding degradation，表现为删除错误率偏高，也就是模型更容易漏掉 token。作者通过消融发现，根因与训练和测试语音长度分布不匹配有关：训练集中短语音不足，而测试集包含大量短音频。
解决办法不是改网络，而是改数据：增强短语音样本覆盖，使模型在训练时见到更多短时长输入。这一点很工程化，但很重要。ASR 系统的真实性能经常被数据分布问题限制，而不是被模型结构本身限制。
Dolphin-CN-Dialect 的贡献不在于提出一个全新的 ASR backbone，而在于把中文多方言 ASR 里容易被忽略的实际问题系统处理了一遍：长尾采样、中文字符级对齐、方言 token 扩展、流式推理、热词增强、短语音覆盖和部署优化。对中文 ASR 来说，这些问题往往比单纯扩大模型更关键。
从结果看，0.4B 版本是一个比较实用的平衡点。它在多方言平均 CER 上达到 5.74，在 KeSpeech 和 CV-tw 上也明显优于其他 sub-1B 模型。对需要中文普通话、方言、口音、热词和低延迟同时兼顾的应用，这类设计比一个单纯“更大”的模型更有部署价值。
11. 总结
Dolphin-CN-Dialect 是一个面向中文多方言真实场景的 ASR 技术报告，它用温度采样解决方言数据不均衡，用中文友好的 tokenizer 改善对齐和表达，用热词增强覆盖专名长尾，并在较小参数规模下取得了很有竞争力的多方言识别效果。