分类： 音频方向

Qwen2-Audio：让LLM 拥有“耳朵”

Qwen2-Audio-7B 🤖 | 🤗  ｜ Qwen-Audio-7B-Instruct 🤖 | 🤗  ｜ Demo 🤖 | 🤗 

论文链接–https://arxiv.org/abs/2407.10759

代码链接–github.com/QwenLM/Qwen2-Audio

Qwen2-Audio作为一个大规模音频语言模型，Qwen2-Audio能够接受各种音频信号输入，并根据语音指令执行音频分析或直接响应文本。我们引入两种不同的音频交互模式：

  • 语音聊天：用户可以自由地与Qwen 2-Audio进行语音交互，无需文字输入;
  • 音频分析：用户可以在交互过程中提供音频和文本指令进行分析;
  • 多语言支持：该模型支持超过8种语言和方言，例如：中文、英语、粤语、法语、意大利语、西班牙语、德语和日语。

Qwen 2-Audio是一个大规模的音频语言模型，它能够接受各种音频信号输入，并对语音指令进行音频分析或直接的文本响应。与复杂的分层标签相比，我们通过利用不同数据和任务的自然语言提示简化了预训练过程，并进一步扩大了数据量。我们提升了Qwen 2-Audio的语音追踪能力，并实现了语音聊天和音频分析两种不同的音频交互模式。在语音聊天模式下，用户可以自由地与Qwen 2-Audio进行语音交互，无需文字输入。在音频分析模式下，用户可以在交互过程中提供音频和文本指令进行分析。请注意，我们不使用任何系统提示来在语音聊天和音频分析模式之间切换。 Qwen 2-Audio能够智能地理解音频中的内容，并按照语音命令做出适当的响应。例如，在同时包含声音、多说话者对话和语音命令的音频片段中，Qwen 2-Audio可以直接理解命令并提供对音频的解释和响应。

Qwen2-Audio、Qwen-Audio 以及之前 LALM 顶级产品的性能，例如 SpeechT5 、SpeechNet、 SpeechLLaMA、SALMONN、Whisper、Pengi，和 SpeechVerse。 我们展示了 10 个数据集的测试集结果，涵盖自动语音识别 (ASR)、语音到文本翻译 (S2TT)、语音情绪识别 (SER)、声音分类 (VSC) 和指令跟踪基准。 ASR 数据集（例如 Librispeech 和 Aishell2）的结果参考 1 – WER%。 CoVoST2的结果是七个翻译方向（en-de、de-en、en-zh、zh-en、es-en、fr-en和it-en）的平均BLEU得分。 AIR-Bench 聊天基准测试的结果包含四个维度：语音、声音、音乐和混合。 每个维度的分数由 GPT-4 自动评估，值范围为 0 到 10。 Qwen2-Audio 无需任何针对特定任务的微调即可实现卓越的性能，超越了同类产品。
图2：Qwen2-Audio的三阶段训练过程概述。

介绍

音频是人类和其他生物之间互动和交流的重要媒介，承载着丰富的信息内容。 全面理解各种形式的音频信号对于实现通用人工智能 (AGI) 至关重要。Qwen2-Audio主要重点是增强其指令跟踪能力。 Qwen2-Audio 是一种大型音频语言模型 (LALM)，旨在处理音频和文本输入以生成文本输出。 与之前的模型相比，Qwen2-Audio 显着扩展了训练数据集。 为了减少训练前和训练后阶段之间的差距，我们通过直接使用自然语言提示各种数据和任务来简化预训练过程，如下图所示。 遵循大语言模型（OpenAI，2023；Qwen，2023）的实践，我们进一步进行指令调优和直接偏好优化，使模型的输出与人类偏好保持一致。

Qwen2-Audio 以两种不同的模式运行：音频分析和语音聊天。 这两种模式从功能上有所区别，但用户在使用过程中无需区分。 在音频分析模式下，用户可以利用Qwen2-Audio来分析多种音频类型，包括语音、声音、音乐或各种混合音频形式。 命令可以通过音频或文本发出，Qwen2-Audio 将自动识别音频中的命令片段。 相反，在语音聊天模式下，用户可以与 Qwen2-Audio 进行交互，就好像它是一个会话代理一样，进行不受限制的对话。 提供音频交互，用户可以随时切换到文本交互。 例如，如果用户输入一个音频剪辑，其中初始部分是键盘打字的声音，然后用户询问“这是什么声音？”在口语中，Qwen2-Audio 预计会直接回复“这是键盘的声音”。

方法

模型架构

Qwen2-Audio的训练过程如图2所示，其中包含音频编码器和大语言模型。 给定配对数据(𝒂,𝒙)，其中𝒂和𝒙表示音频序列和文本序列，训练目标是最大化下一个文本词符的概率为：

以音频表示和先前文本序列 𝒙<t 为条件，其中 θ 和 ϕ 分别表示大语言模型和音频编码器的可训练参数。

与Qwen-Audio不同的是，Qwen2-Audio的音频编码器的初始化是基于Whisper-large-v3模型。 为了预处理音频数据，我们将其重新采样到 16kHz 的频率，并使用 25ms 的窗口大小和 10ms 的跳跃大小将原始波形转换为 128 通道梅尔频谱图。 此外，还合并了步长为 2 的池化层，以减少音频表示的长度。 因此，编码器输出的每一帧大约对应于原始音频信号的 40ms 片段。 Qwen2-Audio 仍然采用大型语言模型 Qwen-7B 作为其基础组件。 Qwen2-Audio的总参数为8.2B参数。

预训练数据集的统计（小时）。

预训练

在预训练阶段，我们用自然语言提示替换分层标签。 如图2所示。 我们发现使用语言提示可以提高更好的泛化能力和更好的指令跟随能力。

有监督微调

Qwen2-Audio的彻底预训练使模型对音频内容有了全面的理解。 在此基础上，我们采用基于指令的微调技术来提高模型与人类意图保持一致的能力，从而形成交互式聊天模型。 我们的初步研究强调了 SFT 数据的质量和复杂性对模型性能的关键影响。 因此，收集了一组精心策划的高质量 SFT 数据，并实施了严格的质量控制程序。

我们考虑两种不同的人类互动模式：

  • 音频分析：在音频分析模式下，用户可以灵活地让 Qwen2-Audio 分析各种音频。 用户指令可以通过音频或文本给出。该模式常用于音频文件的离线分析。
  • 语音聊天：在语音聊天模式下，鼓励用户与Qwen2-Audio进行语音对话，提出各种问题。 请随意将其视为您的语音聊天助手。该模式常用于与 LALM 的在线交互。

为了一致性和模型统一性，两种交互模式都经过联合训练，用户在使用过程中不会出现模式差异化，也无需使用单独的系统提示在不同模式之间切换。 两种模式在实际使用中是无缝结合的。

直接偏好优化(DPO)

我们采用 DPO (Rafailov 等人, 2024) 来进一步优化模型以遵循人类偏好。 通过获取带有三元组数据(𝒙,𝒚𝒘,𝒚𝒍)的数据集𝒟，其中𝒙是带有输入音频的输入序列，𝒚𝒘和𝒚𝒍 分别是人工注释的好响应和坏响应，我们对模型 𝒫θ 进行如下优化：

其中𝒫ref表示用𝒫θ初始化的参考模型，σ表示sigmoid函数，β是超参数。 图2说明了Qwen2-Audio的三阶段训练过程。

实验

在实践中，我们发现之前的许多测试数据集都非常有限，无法充分反映现实场景中的性能，例如一些SLU（口语理解）和SER（语音情感识别）数据集。 因此，我们主要直接在AIR-Bench上评估性能。 我们发现 AIR-Bench 的分数更符合实际的用户交互体验。 同时，为了评估Qwen2-Audio的通用理解能力，如表1所示，我们仍然进行了涵盖各种任务的综合评估，即自动语音识别（ASR）、语音识别-文本翻译（S2TT）、语音情感识别（SER）、语音分类（VSC）。 评估是在 13 个数据集上进行的。 评估数据集被严格排除在训练数据之外，以避免数据泄露。 我们比较的模型包括开源模型和可调用的 API，例如 Gemini。

表2：自动语音识别 (ASR)、语音到文本翻译 (S2TT)、语音情绪识别 (SER)、声音分类 (VSC) 和 AIR-Bench 聊天基准测试的结果。 请注意，对于 Qwen2-Audio，Fleurs 的结果是零样本，而 Common Voice 的结果不是零样本。

案例：

结论：

在本文中，我们提出了 Qwen2-Audio，它建立在 Qwen-Audio 分析各种类型音频的能力之上，同时还被赋予了语音交互能力。 在预训练阶段，我们针对不同的数据和任务利用自然语言提示，进一步扩大了数据量。 在SFT阶段，我们通过提高SFT数据的数量、质量和复杂性来增强Qwen2-Audio与人类交互的一致性，从而实现无缝的语音和文本交互。 此外，我们还通过 DPO 阶段提高了 Qwen2-Audio 的响应质量。 在不同基准上测试的客观指标证明了 Qwen2-Audio 在音频理解和对话能力方面的熟练程度。 论文中的案例也说明了Qwen2-Audio流畅灵活的语音交互能力。

补充：语音/文本嵌入融合

Qwen-audio-chat模型如何将音频特征与文本提示无缝融合，通过特征编码、位置标记和信息整合，提升模型的跨模态理解能力。

系统会提取音频的特征，然后对文本提示进行嵌入（Embedding）处理。具体来说，它通过将音频特征转换成一个三维向量（如[1,56,4096]），并将这个向量嵌入到文本提示中。例如，考虑到一个文本提示信息，其中包括标记转换为ID的过程，随后是与音频特征的结合，即在文本中通过和标签指明音频的开始与结束位置。

在融合过程中，系统通过ID定位到这些标签所代表的位置，并用音频特征向量A替换掉文本提示中的“Audio_path/audio_name.flac”相对应的向量表示。这样，音频特征就被有效地融合到文本提示中，形成了一个语言模型能够理解的向量表示。

 // A code block
     <|im_start|>system
    You are a helpful assistant.<|im_end|>
    <|im_start|>user
    Audio 1:<audio>Audio_path/audio_name.flac</audio>
    what does the person say?<|im_end|>
    <|im_start|>assistant

代码实现：

// An highlighted block
bos_pos = torch.where(input_ids == self.config.audio['audio_start_id'])
eos_pos = torch.where(input_ids == self.config.audio['audio_start_id'] + 1)
audio_pos = torch.stack((bos_pos[0], bos_pos[1], eos_pos[1]), dim=1)
if audios is not None:
	for idx, (i, a, b) in enumerate(audio_pos):
	     hidden_states[i][a : b+1] = audios[idx]
	output_shape = input_shape + (hidden_states.size(-1),)

LLaMA-Omni 开源语音交互大模型

LLaMA-Omni是基于Llama-3.1-8B-Instruct构建的低延迟、高质量的端到端语音交互模型，旨在实现GPT-4o级别的语音功能。

HF链接–https://huggingface.co/ICTNLP/Llama-3.1-8B-Omni

论文链接–https://arxiv.org/pdf/2409.06666

代码链接–https://github.com/ictnlp/LLaMA-Omni

总的来说，LLaMa-Omni的训练方法第一阶段类似Qwen2Audio模型，都是用whisper large作为音频编码器，“输入文本-语音特征-文本”的输入，输出文本，用于训练LLM和 Speech Adaptor 。第二阶段，为了将文本输出转成语音输出，固定LLM和 Speech Adaptor, 用 LLM输出的隐藏状态作为输入，生成与语音响应对应的HUBERT离散单元序列，然后使用该序列合成语音。缺点：hubert token合成的语音生硬、缺乏声学信息，后续可以替换为WavTokenizer 或者 RVQ【encodec、soundsream】的方法合成带声学特征的语音。因为输出的是离散的hubert token，可以一边输出，一边流式合成语音。第一阶段本质上是让LLM拥有“耳朵”，第二阶段是让LLM能够”说话“。但一二阶段分离训练会不会导致第一阶段LLM学习到的都是一些语义知识，声学信息都损失掉了，这样的话即使在第二阶段替换不同的token方法也很难从LLM的输出中学习到声学信息。另外，在数据集的制作上，使用LJSpeech数据集训练了一个TTS，缺乏丰富的情感控制，后续可以考虑使用Seed-TTS /cosyvoice/SeedTTS 等情感可控的等语音合成方法来合成响应的音频。 对于LLM主干网络的选择，可以考虑使用Qwen2Qudio这样的经过音频预训练过的LLM模型和语音编码器作为主干，只需要对音频解码器进行第二步的解码器微调训练。

“自从OpenAI推出了GPT-4o之后，它开启了语音交互大模型的大门。国内相继也有很多大公司和创业公司开始模仿它，计划推出自己的语音交互大模型。ChatGPT等大语言模型通常只支持基于文本的交互，而GPT4o的出现使得通过语音与LLM交互成为可能，按照极低的延迟响应用户的指令，并显著提升了用户体验。然而，开源社区在构建基于LLM的语音交互模型方面仍然缺乏探索。当前，实现与LLM的语音交互的最简单方法是通过基于自动语音识别（ASR）和文本到语音（TTS）模型的三段式级联系统，其中ASR模型将用户的语音指令转录为文本，TTS模型将LLM的响应合成为语音。然而，由于级联系统顺序输出转录文本、文本响应和语音响应，因此整个系统往往具有更高的延迟。   

为了解决这个问题，作者提出了LLaMA-Omni，这是一种新的模型架构，旨在与LLM进行低延迟和高质量的语音交互。LLaMA-Omni集成了预训练语音编码器、语音适配器、LLM和流式语音解码器。它消除了对语音转录的需要，并且可以直接从语音指令中以极低的延迟同时生成文本和语音响应。LLaMA-Omni在内容和风格上都能提供更好的响应，响应延迟低至226ms。此外，整个LLaMA-Omni模型仅需要在4个GPU上训练3天左右。

💪 基于Llama-3.1-8B-Instruct构建，确保高质量的响应。

🚀 低延迟语音交互，延迟低至226 ms。

🎧 同时生成文本和语音响应。

♻️ 仅️使用4个GPU，在不到3天的时间内完成训练。

语音交互大语言模型发展历程

SpeechGPT算法简介

  2023年，Dong Zhang, Shimin Li等人提出“SpeechGPT: Empowering large language models with intrinsic cross-modal conversational abilities”算法。本文提出了SpeechGPT，这是一种具有内在跨模态会话能力的大型语言模型，能够感知和生成多模型内容。通过离散语音表示，作者首先构建了SpeechInstruct，这是一个大规模的跨模态语音指令数据集。此外，作者采用了一种三阶段训练策略，包括模态适应预训练、跨模态教学微调和模态教学链微调。大量的实验结果表明：SpeechGPT具有令人印象深刻的能力，可以遵循多模态人类指令，并突出了用一个模型处理多种模态的潜力。

SALMONN算法简介

   2024年，Changli Tang, Wenyi Yu等人提出“SALMONN: Towards generic hearing abilities for large language models”算法。SALMONN是一个支持语音、音频事件和音乐输入的大型语言模型（LLM），由清华大学电子工程系和字节跳动共同开发。SALMONN可以感知和理解各种音频输入，从而获得多语言语音识别和翻译以及音频语音协同推理等新兴功能，而不是仅语音输入或仅音频事件输入。这可以被视为赋予了LLM“耳朵”和认知听觉能力，这使SALMONN朝着有听觉功能的通用人工智能迈出了一步。

Qwen2-audio算法简介

2024年7月，Yunfei Chu, Jin Xu等人提出“Qwen2-audio technical report”算法。作为一个大规模音频语言模型，Qwen2-Audio能够接受各种音频信号输入，并根据语音指令执行音频分析或直接响应文本。作者介绍了两种不同的音频交互模式：语音聊天 voice chat 和音频分析 audio analysis。语音聊天：用户可以自由地与 Qwen2-Audio 进行语音互动，而无需文本输入；音频分析：用户可以在互动过程中提供音频和文本指令对音频进行分析；作者已经开源了 Qwen2-Audio 系列的两个模型：Qwen2-Audio-7B和Qwen2-Audio-7B-Instruct。

LLaMA-Omni背景简介

 以ChatGPT为代表的大型语言模型（LLM）已经成为强大的通用任务求解器，它们能够通过对话交互帮助人们解决日常生活中的问题。然而，大多数LLM目前只支持基于文本的交互，这限制了它们在文本输入和输出不理想的情况下的应用场景。最近，GPT4o的出现使得通过语音与LLM交互成为可能，按照极低的延迟响应用户的指令，并显著提升了用户体验。然而，开源社区在构建基于LLM的语音交互模型方面仍然缺乏探索。因此，如何利用LLM实现低延迟和高质量的语音交互模型是一个亟待解决的重大挑战。    当前，实现与LLM的语音交互的最简单方法是通过基于自动语音识别（ASR）和文本到语音（TTS）模型的三段式级联系统，其中ASR模型将用户的语音指令转录为文本，TTS模型将LLM的响应合成为语音。然而，由于级联系统顺序输出转录文本、文本响应和语音响应，因此整个系统往往具有更高的延迟。

    相比之下，学者们相继已经提出了一些多模态语音语言模型，这些模型将语音离散化为标记，并扩展LLM的词汇表从而支持语音输入和输出。这种语音语言模型理论上可以直接从语音指令生成语音响应，而无需产生中间文本，从而实现极低的响应延迟。然而，在实践中，由于涉及复杂的映射，直接根据语音生成语音可能具有挑战性，因此通常会生成中间文本来实现更高的生成质量，然而这会牺牲一些响应延迟。

LLaMA-Omni算法简介

LLaMA-Omni由语音编码器、语音适配器、LLM和流式语音解码器组成。LLM用户的语音指令由语音编码器编码，然后由语音适配器编码，然后输入到LLM中。LLM直接从语音指令解码文本响应，而不首先将语音转录成文本。语音解码器是非自回归（NAR）流式传输Transformer，其将LLM的输出隐藏状态LLM作为输入并使用连接主义时间分类（CTC）来预测对应于语音响应的离散单元的序列。 在推理过程中，当LLM自回归生成文本响应时，语音解码器同时生成相应的离散单元。为了更好地适应语音交互场景的特点，我们通过重写现有的文本指令数据并进行语音合成来构建一个名为InstructS 2S-200 K的数据集。

 大量的实验结果表明，与之前的语音语言模型相比，LLaMA-Omni在内容和风格上都能提供更好的响应，响应延迟低至226ms。此外，整个LLaMA-Omni模型仅需要在4个GPU上训练3天左右，为未来高效开发语音语言模型铺平了道路。

图1：LLaMA-Omni可以根据语音指令同时生成文本和语音响应，响应延迟极低。

LLaMA-Omni组成和算法流程

图2：左：LLaMA-Omni的模型架构。右图：LLaMA-Omni的两阶段培训策略示意图。

如上图所示，左图展示了LLaMA-Omni的模型的整体架构。它由一个语音编码器、语音适配器、LLM和语音解码器组成。详细的步骤如下所述：

  • 首先，将用户的提问语音输入到一个Speech Encoder模块中执行语音编码操作，作者使用Whisper-large-v3的编码器作为语音编码器E；
  • 然后，将其结果送入一个Speech Adaptor模块中。为了使LLM能够理解输入语音，作者引入了一个可训练的语音适配器，它能够将语音连续特征表示映射到LLM的嵌入空间中；
  • 接着，将语言适配器的结果送入一个大语言模型中。作者使用Llama-3.1-8B-Instruct3，这是目前最先进的开源LLM。它具有很强的推理能力，与人类的偏好非常一致。
  • 最后，将大语言模型的结果经过上采样之后送入一个Speech Decoder模块中。为了在生成文本响应的同时生成语音响应，作者在LLM之后添加了一个流式语音解码器D。它由几个与LLaMA具有相同架构的标准Transformer层组成，每个层都包含一个因果自我注意模块和一个前馈网络。

右图展示了LLaMA- Omni的两阶段训练策略示意图。在第一阶段中，作者训练模型直接从语音指令中生成文本响应。具体而言，语音编码器被冻结，语音适配器和LLM使用方程中的目标Lllm进行训练。在此阶段，语音解码器不参与训练。在第二阶段，训练模型从而生成语音响应。在此阶段，语音编码器、语音适配器和LLM都被冻结，只有语音解码器使用目标Lctc进行训练。

Speech Encoder

使用Whisper-large-v3的编码器作为语音编码器 ℰ 。Whisper是一种基于大量音频数据训练的通用语音识别模型，其编码器能够从语音中提取有意义的表示。具体地，对于用户的语音指令 XS ，编码语音表示由 𝐇=ℰ⁢(XS) 给出，其中 𝐇=[𝐡1,…,𝐡N] 是长度为 N 的语音表示序列。我们在整个训练过程中保持语音编码器的参数冻结。

Speech Adaptor

为了使LLM能够理解输入语音，我们结合了一个可训练的语音适配器 𝒜 ，它将语音表示映射到LLM的嵌入空间中。我们的语音适配器首先对语音表示 𝐇 进行下采样以减小序列长度。具体地，每 k 个连续帧沿特征维度被沿着连接：

接下来， 𝐇′ 通过线性层之间具有ReLU激活的2层感知器，产生最终的语音表示 𝐒，非离散的特征 。上述过程可以形式化如下：

Large Language Model

我们使用Llama-3.1-8B-Instruct 作为LLM ℳ ，这是目前最先进的开源LLM。它具有强大的推理能力，并且与人类的偏好保持一致。提示模板 𝒫⁢(⋅) 如图3所示。将语音表示序列 𝐒 填充到对应于<speech>的位置，然后将整个序列 𝒫⁢(𝐒) 输入到LLM中。LLM最后，LLM自回归直接基于语音指令生成文本响应 YT=[y1T,…,yMT] ，并使用交叉熵损失进行训练：

Speech Decoder

对于语音响应 YS ，我们首先遵循Zhang等人将语音离散化为离散单元。具体来说，我们使用预训练的HuBERT模型来提取语音的连续表示，然后使用K均值模型将这些表示转换为离散聚类索引。随后，将连续的相同索引合并成单个单元，从而产生最终的离散单元序列 YU=[y1U,…,yLU],yiU∈{0,1,…,K−1},∀1≤i≤L ，其中 K 是簇的数目，并且 L 是离散单元序列的长度。离散单元可以用附加的基于单元的声码器 𝒱 转换成波形

为了与文本响应同时生成语音响应，我们在LLM之后添加了流式语音解码器 𝒟 。LLM它由几个标准的Transformer组成具有与LLaMA相同架构的层，每个包含因果自我注意模块和前馈网络。与Ma等人（2024 a）; Zhang等人（2024 b）2024 a）类似，语音解码器以非自回归方式运行，将LLM输出的隐藏状态作为输入，生成与语音响应对应的离散单元序列。LLM具体地，对应于文本响应的输出隐藏状态被表示为 𝐂=[𝐜1,…,𝐜M] ，其中

LLaMA-Omni算法实现细节

提示词模版

 上图展示了提示模板P。语音表示序列S被填充到与<speech>对应的位置，然后整个序列P（S）被输入到LLM中。最后，LLM直接基于语音指令自回归生成文本响应结果，整个过程使用交叉熵损失进行训练。

Training

如图2所示，作者采用两阶段训练策略为LLaMA-Omni。在第一阶段，作者训练模型直接从语音指令生成文本响应。具体而言，语音编码器被冻结，而语音 Adapter 和LLM使用公式（3）中的目标进行训练。在这一阶段，语音解码器不参与训练。在第二阶段，作者训练模型生成语音响应。在此阶段，语音编码器、语音 Adapter 和LLM都被冻结，只有语音解码器使用公式（5）中的目标进行训练。

Inference

在推理过程中，LLM 自动回归地生成文本响应。同时，由于作者的语音解码器使用因果注意力，一旦 LLM 生成一个文本响应前缀 ，对应的 upsampled 隐藏状态  可以被输入到语音解码器中，生成一个部分对齐 ，从而得到与生成的文本前缀对应的离散单元。

为了进一步实现语音波形的 Stream 合成，当生成的单元数量达到预定义的块大小  时，作者将这个单元段输入到 vocoder 中，合成一个语音段，然后立即播放给用户。因此，用户可以在等待完整文本响应生成完成之前开始听语音响应，确保低响应延迟，该延迟不受文本响应长度的影响。

此外，由于语音解码器使用非自回归建模，每个文本令元  对应的对齐  都在块内并行生成。因此，同时生成文本和语音的解码速度与仅生成文本的速度之间没有显著差异。

在推理过程中，LLM根据语音指令自回归生成文本响应。同时，由于其语音解码器使用因果注意力机制，一旦LLM生成文本响应前缀，相应的上采样隐藏状态就可以被馈送到语音解码器中生成部分对齐结果，这反过来又产生了与生成的文本前缀对应的离散单元。

    为了进一步实现语音波形的流式合成，当生成的单元数量达到预定义的块大小时，作者将该单元段输入到声码器中以合成语音段，然后立即向用户播放。因此，用户可以开始收听语音响应，而无需等待生成完整的文本响应，从而确保不受文本响应长度影响的低响应延迟。

INSTRUCTS2S-200K数据集构建细节

 为了训练LLaMA-Omni，作者需要利用由<语音指令、文本响应、语音响应>组成的三元组数据。然而，大多数公开的指令数据都是文本形式的。因此，作者通过以下步骤来基于现有的文本指令数据构建语音指令数据集。

步骤1–指令重写。由于语音输入与文本输入具有不同的特征，作者根据以下规则重写文本指令：1）在指令中添加适当的填充词（如“hey”、“so”、“uh”、 “um”等），来模拟自然语音模式。2） 将指令中的非文本符号（如数字）转换为相应的口语形式，从而确保TTS的正确合成。3） 修改说明，使其相对简短，不要过于冗长。作者利用Llama-3-70BInstruct4模型根据这些规则重写指令。

步骤2–响应生成。在语音交互中，来自文本指令的现有响应不适合直接用作语音指令响应。这是因为，在基于文本的交互中，模型倾向于使用复杂的句子生成冗长的响应，并可能包含有序列表或括号等非语言元素。然而，在语音交互中，简洁而信息丰富的回答通常是首选。因此，作者使用Llama-3-70B-Instruct模型根据以下规则生成语音指令的响应：1）响应不应包含TTS模型无法合成的内容，如括号、有序列表等。2）响应应非常简洁明了，避免冗长的解释。

步骤3–语音合成。在获得适合语音交互的指令和响应后，作者需要使用TTS模型将其进一步转换为语音。对于指令，为了使合成的语音听起来更自然，作者利用CosyVoice-300M-SFT模型为每条指令随机选择男声或女声。对于响应，作者使用在LJSpeech数据集上训练的VITS模型将响应合成为标准语音。

LLaMA-Omni算法性能评估

实验配置

训练数据集：

作者使用第3节中提到的InstructS2S-200K数据集（包含20万条语音指令数据）。为了提取对应目标语音的离散单元，作者使用了一个预训练的K-means分箱器9，它从HuBERT特征中学习了1000个簇。预训练的高保真GAN解码器用于将离散单元合成为波形。

对于评估数据，作者从Alpaca-Eval10中选择了两个子集：_helpful_base_和_vicuna_，因为它们的问题更适合语音交互场景。作者删除了与数学和代码相关的问题，总共得到199条指令。为了获得语音版本，作者使用CosyVoice-300M-SFT模型将指令合成为语音。作者将在以下章节中将其称为InstructS2S-Eval测试集。

模型配置：

作者使用Whisper-large-v3的编码器作为语音编码器，使用LLama-3.1-8B-Instruct作为LLM。语音 Adapter 对语音表示进行5倍下采样。语音解码器由2个与LLaMA相同的Transformer层组成，具有4096个隐藏维度、32个注意力头和11008个 FFN 维度，其中包含425M参数。上采样因子λ设置为25。对于输入语音编码器的最小单位块大小Ω，作者在主要实验中设置Ω=+∞，这意味着作者等待整个单位序列生成后再将其输入到语音合成器进行语音合成。在后续实验中，作者将分析如何调整Ω的值来控制响应延迟，以及延迟和语音质量之间的权衡。

训练全功能的LLaMA-Omni遵循两阶段的训练过程。在第一阶段，作者使用32个批量的语音 Adapter （speech adapter）和语言模型（LLM），训练3个周期，每次迭代32步。作者使用余弦学习率调度器，前3%的步骤用于 Warm up ，峰值学习率设置为2e-5。在第二阶段，作者使用相同的批量大小、步骤数和调度器训练语音解码器，但峰值学习率设置为2e-4。整个训练过程大约需要65小时，在4个NVIDIA L40 GPU上运行。

Evaluation

由于LLaMA-Omni可以根据语音指令同时生成文本和语音响应，作者评估模型在两个任务上的性能：语音到文本指令遵循（S2TIF）和语音到语音指令遵循（S2SIF）。作者使用贪心搜索以确保可重复的实验结果。从以下方面对模型进行评估：

为了评估模型遵循语音指令的能力，作者使用 GPT-4o对模型的响应进行评分。对于S2TIF任务，评分基于语音指令的转录文本和模型的文本回复。对于S2SIF任务，作者首先使用 Whisper-large-v3 模型将模型的语音回复转录为文本，然后像S2TIF任务一样以相同的方式进行评分。 GPT-4o 在两个方面给出评分：内容和风格。 内容评分评估模型回复是否充分解决了用户指令，而风格评分评估模型回复的风格是否适合语音交互场景。详细说明可以在附录A中找到。

语音文本对齐为了评估文本响应和语音响应之间的对齐情况，作者使用Whisper-large-v3模型将语音响应转录为文本，然后计算转录文本和文本响应之间的Word Error Rate（WER）和Character Error Rate（CER）。作者将这些指标分别称为ASR-WER和ASR-CER。

为了评估生成的语音的质量，作者使用了名为UTMOS11的Mean Opinion Score（MOS）预测模型，该模型能够预测语音的MOS分数以评估其自然度。作者将这个指标称为UTMOS分数。

响应延迟latency是语音交互模型的一个关键指标，它指的是从输入语音指令到语音响应开始之间的时间间隔，这对用户体验有显著影响。此外，当语音响应开始时，作者还计算出已经生成的文字数量，称为**#滞后词**。

Baseline Systems

作者将以下语音语言模型作为基准系统：

SpeechGPT 是一种支持语音输入和输出的语言模型。作者使用原论文中采用的连续模态 Prompt 进行解码，根据语音指令依次输出文本指令、文本响应和语音响应。

SALMONN (+TTS) 是一种能够接受语音和音频输入并作出文本响应的LLM，使其能够执行S2TIF任务。对于S2SIF任务，作者在SALMONN之后添加了一个VITS TTS模型，以分阶段方式生成语音响应。

Qwen2-Audio (+TTS) 是一种强大的通用音频理解模型，能够执行各种与音频相关的任务，包括S2TIF任务。作者还构建了一个Qwen2-Audio和VITS ConCat 的系统，以完成S2SIF任务。

主要结果

表1展示了在InstructS2S-Eval基准测试上的主要结果。首先，对于S2TIF任务，从内容角度来看，LLaMA-Omni相较于之前的模型有显著提高。这主要是由于LLaMA-Omni是基于最新的LLaMA-3.1-8B-Instruct模型开发的，利用其强大的文本指令遵循能力。从风格角度来看，SALMONN和Qwen2-Audio的得分较低，因为他们是语音转文本模型。他们的输出风格与语音交互场景不匹配，经常产生格式化内容并包含大量冗余解释。

相比之下，SpeechGPT作为语音转语音模型，实现了更高的风格分数。同样，作者的LLaMA-Omni也获得了最高的风格分数，表明在经过作者InstructS2S-200K数据集的训练后，输出风格已经与语音交互场景很好地对齐。对于S2SIF任务，LLaMA-Omni在内容和风格得分上都优于之前的模型。这进一步证实了LLaMA-Omni能够在简洁高效的方式下，有效地处理用户的指令。

此外，在语音与文本响应的对齐方面，LLaMA-Omni实现了最低的ASR-WER和ASR-CER分数。相比之下，SpeechGPT在将语音与文本响应对齐方面表现不佳，这可能是由于其顺序生成文本和语音的缘故。

级联系统的语音-文本对齐，如SALMONN+TTS和Qwen2-Audio+TTS，也是次优的，主要原因是生成的文本响应可能包含无法合成为语音的字符。这个问题在Qwen2-Audio中尤为明显，它偶尔会输出中文字符，导致语音响应中出现错误。相比之下，LLaMA-Omni实现了最低的ASR-WER和ASR-CER分数，表明生成的语音与文本响应之间的对齐程度更高，进一步验证了同时生成文本和语音响应的优势。

Case Study

    上图展示了该模型与多个不同模型（Qwen2-Audio、SALMOON、Speech GPT）针对输入指令（“我该如何把礼物包装整齐？”）的输出结果。通过观察与分析，我们可以发现：Qwen2 Audio的响应相当长，包括换行符和括号等无法合成语音的元素。SALMONN的回应也有点长。SpeechGPT的响应风格更适合语音交互场景，但其响应中包含的信息量较少。相比之下，LLaMA Omni给出的响应更详细、更有用，同时保持了简洁的风格，在语音交互场景中优于之前的模型。

语音质量和响应延迟之间的权衡

LLaMA-Omni 可以同时生成文本响应和与语音响应对应的离散单元。如第2.6节所述，为了进一步实现流形波生成，当生成的离散单元数量达到一定块大小Ω时，该块单元被输入到语音合成器中进行合成和播放。通过调整Ω的值，作者可以控制系统的延迟，其中较小的Ω对应较低的系统延迟。当Ω=+∞时，意味着在合成语音之前等待所有单元生成。同时，Ω的值也影响生成的语音质量。较小的Ω意味着将语音分割成更多段进行合成，这可能导致段与段之间的断续，可能降低语音的整体连贯性。

为了更好地理解Ω的影响，作者研究了系统的延迟、语音与文本响应的对齐以及不同Ω设置下生成的语音质量。如表2所示，当Ω设置为10时，系统的响应延迟低至226毫秒，甚至低于GPT-4o的平均音频延迟320毫秒。此时，语音响应在开始时平均滞后1.82个词。当Ω设置为无穷大时，延迟增加到约2秒。对于ASR-WER和ASR-CER指标，作者惊讶地发现，随着块大小的增加，错误率也增加。作者认为可能有两个原因。

  • 一方面， vocoder可能比长序列更可靠地处理短单元序列，因为它通常训练在较短序列上。
  • 另一方面，作者使用的ASR模型Whisper-large-v3具有很强的鲁棒性。即使语音与较小Ω的较小连续性，对ASR识别精度影响很小。

因此，作者进一步使用UTMOS指标评估生成的语音自然度。它显示，随着Ω的增加，语音的自然度提高，因为语音的不连续性减少。总之，作者可以根据不同的场景调整Ω的值，以实现响应延迟和语音质量之间的权衡。

Decoding Time

表3列出了不同模型在S2TIF和S2SIF任务上的平均解码时间。对于S2TIF任务，SpeechGPT需要先输出文本指令，然后输出文本回复，而SALMONN和Qwen2-Audio倾向于产生冗长的回复。

相比之下，LLaMA-Omni能直接提供简洁的答案，导致解码时间显著降低，每条指令的平均解码时间仅为1.49秒。对于S2SIF任务，SpeechGPT逐条输出文本和语音回复，导致解码时间比仅生成文本回复时大约延长6倍。相比之下，LLaMA-Omni同时输出文本和语音回复，并采用非自动回归架构生成离散单元。因此，总生成时间仅增加1.28倍，证明了LLaMA-Omni在解码速度上的优势。

客观指标性能评估

上表展示了该算法与多个SOTA算法在InstructS2S评估基准上的评估结果。首先，对于S2TIF任务，从内容的角度来看，LLaMA Omni与之前的模型相比有了显著改进。这主要是因为LLaMA Omni是基于最新的LLaMA-3.1-8BInstruct模型开发的，利用了其强大的文本指令跟踪功能。

从风格角度来看，SALMONN和Qwen2 Audio的得分较低，因为它们是语音转文本模型。它们的输出风格与语音交互场景不一致，通常会产生格式化的内容，并包含大量冗余的解释。相比之下，SpeechGPT作为一种语音对语音模型，其风格得分更高。同样，LLaMA Omni获得了最高的风格得分，这表明在该算法InstructS2S-200K数据集上训练后，输出风格与语音交互场景非常一致。    对于S2SIF任务，LLaMA Omni在内容和风格得分方面也优于之前的模型。这进一步证实了LLaMA Omni能够以简洁高效的方式通过语音有效地处理用户的指令。

摘自：https://mp.weixin.qq.com/s/pjCIJaGNyfWiwGwP03zMNg

WavTokenizer-突破语音表征瓶颈

突破音频语言表征的瓶颈! 1s音频仅需40个Token，就能够高质量重建音频

  论文：Wavtokenizer: An Efficient Acoustic Discrete Codec Tokenizer For Audio Language Modeling

  论文地址：https://arxiv.org/pdf/2408.16532

  Github地址：https://github.com/jishengpeng/WavTokenizer

  HuggingFace地址：https://huggingface.co/novateur/WavTokenizer

浙江大学，联合阿里通义语音实验室和Meta研究员发表了一篇题为“Wavtokenizer: An Efficient Acoustic Discrete Codec Tokenizer For Audio Language Modeling”的论文。该论文研究了如何将多码本（RVQ）语音声学编解码器模型简化为单码本（VQ）结构，它不仅在压缩率和重构质量上超越了现有的最先进Codec模型，在UTMOS主观感知质量等指标上实现了SOTA的性能，还在语义信息建模上取得了重要进展，极致的序列压缩将有效提升下游语音大语言模型/多模态大语言模型的建模能力。

背景动机：解决音频语言建模的瓶颈，迈向更高效的音频处理

在大规模语言模型快速发展的背景下，音频处理领域依赖于离散化声学编解码器模型将音频信号转换为离散token，使其能被语言模型处理。然而，当前的技术在以下几个方面存在显著的局限性：

  1. 压缩与重构质量的权衡：大多数现有模型（如DAC、Encodec）通过多量化器层的设计来提升音频重构质量，但这也增加了计算复杂性和资源消耗。例如，DAC模型在9个量化器层的条件下，每秒需要900个token来重构一秒音频。如此高的压缩比率和计算成本，使得下游应用和模型部署变得复杂且代价高昂。
  2. 缺乏语义信息的丰富表达：当前的声学编码模型大多专注于音频的重构，而未能有效捕捉和保留语音和音频中的语义信息，这是重建任务和下游生成任务本身的训练gap。一些研究通过添加独立的语义模块来增强语义内容，但这通常需要多阶段的模型架构，增加了训练复杂度，并导致难以统一建模语音、音乐和其他音频数据。
  3. 单量化器模型的探索潜力：多量化器模型的复杂性推动了研究者对单量化器模型的探索，但在极端压缩条件下保持高质量重构仍是一个挑战。单量化器模型的优势在于更简单的架构和更低的计算成本，但如何优化矢量量化（VQ）空间以增强表示能力，并设计出避免重构伪影的解码器结构，依然是未解决的问题。

基于这些挑战，我们提出了 WavTokenizer。通过创新设计扩展VQ空间、优化解码器架构、扩展上下文建模窗口和引入多尺度判别器，我们的模型实现了极致的压缩效果，同时显著提升了音频重构质量和语义信息表达能力。这一工作不仅为音频语言建模提供了新方向，也在音频生成和理解的未来应用中展现出巨大潜力。

它与SOTA声学编解码器相比，在音频领域具有以下几个优点：

1）极限压缩。通过压缩量化器的层次和离散编解码器的时间维度，24kHz采样率的一秒音频仅需要具有40或75个令牌的单个量化器。

2)提高主观质量。尽管减少了令牌的数量，但WavTokenizer仍能以出色的UTMOS得分实现最先进的重建质量，并固有地包含更丰富的语义信息。 

实现细节：WavTokenizer的核心技术设计

图1：WavTokenizer和最先进的声学编解码器模型之间的比较。纵轴UTMOS表示更接近人类听觉感知的重构质量，横轴kbps表示音频压缩水平。圆圈的大小表示每秒离散令牌的数量。

为了突破当前音频语言建模中存在的压缩和重构质量瓶颈，我们设计了一个新的离散声学编解码器模型——WavTokenizer。它在音频压缩、重构质量和语义信息表达能力上实现了前所未有的平衡。

我们的模型建立在VQ-GANs框架上，遵循与SoundStream和EnCodec相同的模式。具体来说，WavTokenizer通过三个模块传递原始音频 X ，编码器模块、量化模块、解码器模块。

1) 采用音频输入并生成潜在特征表示 Z 的全卷积编码器网络;

2) 用于生成离散表示 Zq 的单个量化器来离散化特征Z。

3) 一种改进的解码器，用于从压缩的潜在表示 Zq 中重构音频信号 X~ 。

该模型是端到端训练的，优化了在时间和频率域上应用的重建损失，以及在不同分辨率下操作的鉴别器形式的感知损失。

考虑到WavTokenizer被设计为大型音频语言模型的离散令牌表示，重点应该放在编解码器的主观重建质量（音频保真度）和语义内容信息上。在图1中，我们可视化了比特率和UTMOS度量之间的关系。我们可以观察到WavTokenizer仅用75个令牌就实现了最先进的重建质量。此外，它还探索了极端的压缩比特率，在0.48 kbps时达到了3.6的UTMOS分数。

编码器设计

跟Encodec设计类似，编码器模型由具有C个通道的1D卷积组成，并且核大小为7，随后是B个卷积块。每个卷积块由单个残差单元组成，该残差单元之后是由步长S的两倍的核大小的步长卷积组成的下采样层。残差单元包含两个核大小为3的卷积和一个跳跃连接.每当发生下采样时，通道数量加倍。卷积块之后是用于序列建模的两层LSTM和具有7个核大小和D个输出通道的最终1D卷积层。

扩展矢量量化（VQ）空间，提高码本利用率

在传统的声学编解码器模型中，矢量量化（VQ）空间的大小通常是固定的，这限制了模型对音频信号的表达能力。我们通过将VQ空间从 1024 扩展到4096，显著提升了模型对高维音频数据的压缩和表达能力。为了确保扩展后的VQ空间得到充分利用，WavTokenizer 采用了基于K-means聚类初始化和随机唤醒策略的优化方法。这种设计能够在保证较低码率的同时，维持高质量的音频重构效果，并且能够有效减少信息损失。

图2：WavTokenizer量化码本空间的可视化分析，图（a）说明了LibriTTS测试干净集上每个码本索引（1-16384）的概率分布。图（B）检查了不同码本空间上的重构质量和码本利用率之间的关系。

最初，在不改变任何结构的情况下，我们试图在训练期间仅依赖于单个量化器来进行重构，但发现结果不是最佳的。考虑到自然语言中巨大的词汇空间，我们假设将语音作为一种独特的语言来处理可能会产生更好的结果。因此，我们首先将码本空间从 210 扩展到 214 。我们对LibriTTS进行了585小时的训练，并在LibriTTS测试-清理数据集上可视化了码本的概率分布，如图2（a）所示。 我们观察到语音词汇空间集中在 212 的左侧，表明利用更大的 212 语音词汇空间的潜力。当前的编解码器码本 210 可能没有充分利用语音空间的潜力。

此外，扩展量化码本空间可能导致较低的利用率，

我们使用K均值聚类来初始化码本向量。我们将聚类中心的数量调整为200，以与较大的码本空间对齐。在训练期间，使用衰减为0.99的指数移动平均值来更新每个输入的所选代码，并且用从当前批次中随机采样的输入向量来替换对于若干批次未分配的代码。这种强制激活策略有助于确保大码本空间的有效利用。 如图2（B）所示，我们分析了码本利用率与重构结果的关系，确认了 212 是合适的，与图2（a）的结论一致，适当扩展相应的码本空间可以减少将分层RVQ结构压缩到单个量化器所带来的信息损失。语音可以在串行化量化器结构下有效地重构，其中 212 的码本空间实现利用率和重构质量之间的有利平衡。这表明了将语音与广泛的自然语言词汇对齐的潜力，通过标记器将其作为一种独特的语言进行强有力的映射。

改进的解码器架构：逆傅里叶变换、注意力机制与扩展的上下文窗口结合

传统的编解码器模型通常使用镜像卷积上采样的方法，但这容易产生混叠伪影，影响音频重构质量。为了解决这一问题，WavTokenizer 在解码器设计中基于Vocos模型，采用了基于逆傅里叶变换（iFFT）的方法。iFFT 能在所有深度上保持一致的特征分辨率，有效减少重构伪影，同时更精确地恢复音频信号。在解码器部分中，使用短时傅立叶变换（STFT）来表示目标音频信号 X~ 

此外，WavTokenizer 在解码器中引入了注意力模块，并设计了扩展的上下文窗口来增强语义信息的建模能力。研究表明，使用更大的上下文窗口（例如 3 秒）有助于捕捉更多的语义信息，提升模型对长音频序列的重构质量。这种方法能够更好地处理音频中的静音段，提高了重构结果的连贯性和自然度。通过将注意力网络与逆傅里叶变换结合，WavTokenizer 在极低码率下实现了高质量的音频重构。

将WavTokenizer的上下文建模窗口扩展到3秒，注意力模块将进一步改善训练过程中的编解码器重建。这可能是因为一秒钟的剪辑，包括沉默，可能包含不足的语义信息。增加上下文建模窗口大小有助于编解码器模型更好地捕获上下文。我们通过详细的消融研究验证了这些发现。在我们的实验中，我们还发现在WavTokenizer中引入注意力模块只对解码器有益。

多尺度判别器与复数STFT判别器的设计

为了进一步优化生成音频的质量，WavTokenizer 引入了多尺度判别器（MSD）和复数短时傅里叶变换（STFT）判别器。这些判别器能够在不同时间尺度和频谱范围内对生成的音频进行评估。模型使用了对抗性损失（adversarial loss）和特征匹配损失（feature matching loss）进行联合优化。与现有模型相比，这种创新设计能够更好地保留音频的细节信息和语义内容，提高了音频重构的主观质量。

端到端优化策略，实现高效压缩

WavTokenizer 采用了端到端的优化策略，同时考虑时间域和频率域的重构损失。与现有的多量化器层模型相比，WavTokenizer能够在单量化器条件下实现更高效的音频压缩。在 24kHz 采样率下，每秒音频仅需 40 或 75 个离散token，这大大减少了模型的带宽需求，同时保持了高水平的音频重构质量。

这些技术创新使得WavTokenizer能够在单量化器结构下实现音频的极致压缩和高质量重构，同时提供丰富的语义信息表达能力。我们相信，这一模型将为音频语言建模的未来应用提供新的可能性。

实验验证：WavTokenizer的卓越性能

为了验证 WavTokenizer 在音频语言建模中的实际效果，我们在多个数据集上进行了广泛的实验，涵盖了语音重构、语义信息评估和消融研究。结果显示，WavTokenizer 在多个指标上均优于现有的最先进模型，展现了其卓越的压缩效率、重构质量和语义表达能力。在LibriTTS测试集上的语音重构实验中，WavTokenizer-small在0.9 kbps的压缩率下，仅使用一个量化器和75个token，就实现了4.05的UTMOS得分，显著超越了使用9个量化器和900个token的DAC模型的3.91分。这一结果表明，WavTokenizer在极低码率下依然能够保持卓越的音频重构质量，接近人类听觉感知水平。相比于需要多个量化器的复杂模型，WavTokenizer在使用单一量化器、40个token的条件下，也展现出高效的压缩率和优异的重构效果，大大降低了计算成本。同时，在PESQ等感知语音质量指标上，WavTokenizer表现与多量化器模型相当甚至更优，进一步验证了其在单量化器设置下对音频质量的强大保持能力。

在语义信息评估方面，我们使用ARCH基准评估了WavTokenizer在不同音频任务中的表现。结果显示，WavTokenizer在情感语音、歌曲（RAVDESS）和口语理解（SLURP）等多领域任务中，表现优于使用更多量化器的Encodec和DAC，展现出卓越的语义捕捉能力。这一结果说明，WavTokenizer不仅能够在极限压缩条件下保持高质量的重构，还能在语义信息表达方面提供强大支持，为下游任务带来更高的应用价值。

为了深入研究WavTokenizer中各个模块的贡献，我们还进行了消融实验，验证了VQ空间扩展、上下文窗口长度的作用。实验结果表明，扩展VQ空间能够显著提高音频重构质量，从而验证了VQ空间优化对模型性能的关键作用；增加上下文窗口长度也有助于更好地捕捉语义信息，尤其是在处理长音频序列时表现突出。

通过这些实验，WavTokenizer 展现出在极限压缩率和长序列生成任务中的强大适应性和稳定性，证明了其在音频压缩、重构质量和语义表达能力方面的全面优势。这些结果不仅为音频语言建模提供了新的可能性，也为未来多模态大模型的音频处理与生成提供了一个更高效、更有潜力的解决方案。

进一步探索

由于训练成本较大，我们将在十月之前补充WavTokenizer-medium，WavTokenizer-large版本的实验结果，以及在audio和music领域codec重建性和语义丰富性的实验。同时将进一步探索WavTokenizer模型在下游生成任务例如text-to-speech和GPT-4o范式任务上的性能，并且补充更多的消融实验结果。

总 结

在本文中，我们提出了一个新的离散声学编解码器模型——WavTokenizer，旨在解决音频语言建模中压缩效率和重构质量之间的权衡问题。与现有的多量化器模型相比，WavTokenizer通过一系列技术创新，包括扩展矢量量化（VQ）空间、改进的解码器架构（结合逆傅里叶变换和注意力机制）、扩展的上下文建模窗口、多尺度判别器和复数STFT判别器的设计，实现了在单量化器架构下的高效音频压缩和高质量音频重构。实验结果表明，WavTokenizer在LibriTTS、RAVDESS、SLURP等多个数据集上的重构质量和语义信息表达方面，均优于当前最先进的模型。

通过对模型架构的改进和优化，WavTokenizer在保持高效压缩的同时，成功减少了模型的计算复杂性和带宽需求，在24kHz采样率下每秒音频仅需40或75个离散token。这一工作不仅验证了单量化器模型的可行性，还为音频生成和语义建模的未来发展提供了新的视角和方向。未来，我们计划进一步扩展模型的应用场景，探索WavTokenizer在更多下游任务和多模态数据处理中的潜力。

Soul语音大模型重磅升级：实时端到端语音通话 AI虚拟人堪比真人！

https://www.soulapp.cn/media/news/article-2

在国内“AI+社交”这条赛道上，Soul App即将利用AI注入了新的活力!

最近，Soul官方宣布其语音大模型再次升级，上线自研端到端全双工语音通话大模型。

这次升级带来最惊艳的效果是，可以让用户和虚拟人之间的语音通话就像和真人聊天一样自然流畅!

那么，Soul自研端到端语音通话大模型到底有什么特别之处呢?

根据官方描述，其最大的亮点包括:

  • 具备超低交互延迟
  • 快速自动打断
  • 超真实声音表达
  • 情绪感知理解能力等

超低交互延迟能力意味着，你说话的那一瞬间，AI 就能立刻做出反应，没有任何的延迟，瞬间就能拉近你和 AI 之间的距离。想要和它进行真实的交流，根本不需要等待，简直就像在跟真人对话一样。

Soul 的语音大模型支持快速自动打断功能。也就是说，当你和 AI 交流的时候，如果你想插话，它完全能理解你的意思，轻松打断对方，这样的互动真是太有趣了!

再加上超真实的声音表达和情绪感知理解能力，AI 不仅能听懂你的话，还能感知你的情绪，根据情绪给予适当的的回应。

结合官方展示的视频示例，如果这个功能之后全量上线，估计有一大波用户在Soul上体验的时候，可能会连真人和AI虚拟人都傻傻分不清楚。

Soul方面表示，目前其端到端语音通话大模型已应用于“异世界回响”实时通话场景（内测中），并将在后续拓展至AI苟蛋等多个AI陪伴、AI互动场景。

据了解，早在2020年，Soul已经启动了AIGC技术研发，专注于智能对话、语音技术、虚拟人等关键技术的研发，并把这些AI能力深度融入到社交场景中。

在用AI升级社交的过程中，Soul特别注重实现拟人化、自然化的情感陪伴体验。

为了给用户带来更好的情绪反馈和陪伴感，Soul技术团队一直在关注情绪理解和延迟问题。

社交平台Soul App(以下简称“Soul”)语音生成大模型上线，同时自研语音大模型“伶伦”正式升级，现阶段，Soul语音大模型“伶伦”包括了语音生成大模型、语音识别大模型、语音对话大模型、音乐生成大模型等，可支持真实音色生成、语音DIY、多语言切换、多情感拟真人实时对话等能力。目前，“伶伦”已应用于Soul “AI苟蛋”、站内狼人游戏“狼人魅影”AI语音实时互动、独立新产品“异世界回响”等场景。

Soul自研的端到端语音通话大模型上线了，意味着用户可以享受到更自然的人机交互体验。

在语音探索方面，Soul基于平台沉淀丰富且多风格的高质量公域语音数据，推出自研语音大模型“伶伦”，在深度融入站内“AI苟蛋”等场景提供多模态互动体验外，还推出了系列趣味社交玩法和活动。

如Soul于2023年上线了“Soul次元歌手”活动，帮助每个人打造自己的AI歌手分身，让很多热爱音乐但不一定会唱歌的人，也能实现“唱歌自由”;“懒人KTV”活动则在音色克隆的基础上，创新性实现多人UGC“AI合唱”。基于音乐模型个性化的创作能力，平台的“AI帮你出灵魂专辑“活动，使用户自由输入任意作曲的主题关键词，即可一键完成词曲创作。

此次，新升级的“伶伦”在训练数据规模和模型架构上均实现了拓展和创新，实现了更真实自然、更多样性和更细颗粒度的控制效果以及流式超低延迟的生成。特别是上线的语音生成大模型在多风格多情感可控、超自然人声生成、多语言切换等方面表现出色。

具体来说，在多情感可控上，“伶伦”能够实现对情绪的深度理解和模拟，在语音生成和对话中表现出不同情感;在声音颗粒度上，支持包括吸气、喘气、笑声、结巴/重复、咳嗽 、叹气、哭声等一系列副语言语音合成，声音效果更真实生动。

未来，Soul 还计划进一步推动多模态端到端大模型能力的建设，让人与 AI 的互动更加有趣、沉浸感更强。

ASR语音识别—N-gram 语言模型

最近在做ASR语音识别任务，基于阿里FunASR框架，特此记录下跟语言模型（LM）相关知识。

语言模型解码

传统基于CD-phone声学建模ASR系统解码器普遍采用HCLG构建解码网络，当前方案中paraformer声学模型直接对音素或字符建模，为此我们采用TLG（Token、Lexicon、Grammar）结构构建统一解码网络，直接将音素/字符序列[ paraformer声学模型 ]、发音词典、语言模型编译形成T、L、G三个wfst子网络，再通过composition、determinization、minimization等一系列操作生成统一解码网络。

我们借鉴EESEN方案，基于openfst/kaldi构建TLG解码网络编译pipeline，支持从原始语料和发音词典到最终解码资源的全流程编译，便于用户自行定制适合自身的解码资源。如下是TLG网络编译流程图。

为什么需要语言模型？

为什么有些句子比其他句子更 流畅（fluent），或者说 更自然（natural）？
我们为什么关心这个问题呢？
因为在很多应用中，我们很关心语言的流畅性与自然性。
例如，在语音识别中，你听到一句话，并且想将它转换成文本，所以你需要区分这段语音可能对应的不同文本，并从中选择更加流畅和自然的版本。比如下面两个句子的发音很接近：recognise speech > wreck a nice beach，从流畅和自然的角度考虑，显然，左边的句子更有可能代表了讲话者的本意。而语言模型可以帮你做到这一点，它会告诉你 “recognise speech” 是人们更倾向表达的意思。

  • 那么，我们如何衡量这种 “优度（goodness）”（或者说流畅度、自然度）呢？
    我们用 概率 来衡量它，而语言模型提供了一种很自然的方式来估计句子的概率。
  • 在此基础上，一旦你构建了一个语言模型，你还可以用它来 生成（generation） 语言。

语言模型可以用于哪些任务呢？

  • 主要用于：
    • 语音识别（Speech recognition）
    • 拼写纠错（Spelling correction）
    • 查询补全（Query completion）
    • 光学字符识别（Optical character recognition）
  • 其他生成任务：
    • 机器翻译（Machine translation）
    • 概括（Summarisation）
    • 对话系统（Dialogue systems）

N-gram 语言模型

N-Gram是基于一个假设：第n个词出现与前n-1个词相关，而与其他任何词不相关（这也是隐马尔可夫当中的假设）。整个句子出现的概率就等于各个词出现的概率乘积。各个词的概率可以通过语料中统计计算得到。通常N-Gram取自文本或语料库。

概率：从联合概率到条件概率

我们的目标是得到一个由 m 个单词组成的任意序列（即一个包含 m 个单词的句子）的概率：

P(w1,w2,…,wm)

第一步是利用链式法则（chain rule）将联合概率转换成条件概率的连乘形式：

P(w1,w2,…,wm)=P(w1)P(w2∣w1)P(w3∣w1,w2)⋯P(wm∣w1,…,wm−1)

马尔可夫假设（The Markov Assumption）

目前，这仍然是一个比较棘手的问题，因为随着上下文的不断增加，我们构建的模型中将包含越来越多的参数。所以这里，我们采用一种称为 “马尔可夫假设” 的简化假设：某个单词出现的概率不再依赖于全部上下文，而是取决于离它最近的 n 个单词。因此，我们得到： P(wi∣w1,…,wi−1)≈P(wi∣wi−n+1,…,wi−1)

对于某个很小的 n：

  • 当 n=1 时，一个 unigram 模型：P(w1,w2,…,wm)=∏i=1mP(wi)在 unigram 模型中，我们假设一个句子出现的概率等于其中每个单词单独出现的概率的乘积，这意味着每个单词出现的概率之间相互独立，即我们并不关心每个单词的上下文。
  • 当 n=2 时，一个 bigram 模型：P(w1,w2,…,wm)=∏i=1mP(wi∣wi−1)在 bigram 模型中，我们假设句子中每个单词出现的概率都和它前一个单词出现的概率有关。
  • 当 n=3 时，一个 trigram 模型：P(w1,w2,…,wm)=∏i=1mP(wi∣wi−2,wi−1)在 trigram 模型中，我们假设句子中每个单词出现的概率都和它前两个单词出现的概率有关。

最大似然估计

我们如何计算这些概率？

非常简单，我们只需要一个大的用于训练的语料库（corpus），然后我们就可以根据语料库中各个单词的计数（counts），利用最大似然估计来估计该单词出现的概率：

  • 对于 unigram 模型：

其中，C 是一个计数函数，C(wi) 表示单词 wi 在语料库中出现的次数，M 表示语料库中所有单词 tokens 的数量。

  • 对于 bigram 模型：

其中，C(wi−1,wi) 表示单词 wi−1 和单词 wi 前后相邻一起出现的次数。

  • 对于 n-gram 模型：

同理，我们计算 n-gram 出现的次数，除以 (n-1)-gram（即上下文）出现的次数。

序列的开头和结尾表示

在我们进入例子之前，我们需要用一些特殊的记号表示一个序列的开始和结束：

  • <s> 表示句子的开始
  • </s> 表示句子的结束

Trigram 例子

现在，让我们来看一个玩具例子，假设我们有一个只包含两个句子的语料库。

语料库：

可以看到，每个句子开头有两个起始标记，因为我们采用的是 trigram 模型。

我们希望知道下面的句子在一个 trigram 模型下的概率是多少？

说明：

  • 首先，我们对要计算的句子的概率按照 trigram 模型拆分成条件概率的连乘形式。
  • 然后，对于等式右边的每一个条件概率项，按照 trigram 模型中的条件概率计算公式，分别统计 “当前单词连同它的上下文” 以及 “单独的上下文部分” 在语料库中出现的次数，并将两者相除，得到该项的计算结果。
    例如，对于上面等式右边第一个条件概率项，我们考虑句子中第一个单词 “yes” 及其相邻的 bigram 上下文 “<s><s>”：

可以看到，子序列 “<s><s>yes” 在语料库中只出现过 1 次；而子序列 “<s><s>” 在语料库中一共出现了 2 次，所以第一个条件概率项的结果为 12。其余各条件概率项的计算方式同理，另外请注意，在计算第四个条件概率项时，bigram 上下文 “nono” 在语料库中一共出现了 5 次。

N-gram 语言模型的一些问题

  • 语言通常具有长距离效应 —— 需要设置较大的 n 值
    有些词对应的上下文可能出现在句子中距离该词很远的地方，这意味着如果我们采用固定长度的上下文（例如：trigram 模型） ，我们可能无法捕捉到足够的上下文相关信息。例如：The lecture/s that took place last week was/were on processing.在上面的句子中，假如我们要决定系动词 be 是应该用第三人称单数形式 was 还是复数形式 were，我们需要回头看句子开头的主语是 lecture 还是 lectures。可以看到，它们之间的距离比较远，如果我们采用 bigram 或者 trigram 模型，我们无法得到相关的上下文信息来告诉我们当前位置应该用 was 还是 were。这是所有有限上下文语言模型（finite context language models）的一个通病。
  • 计算出的结果的概率通常会非常小
    你会发现，一连串条件概率项连乘得到的结果往往会非常小，对于这个问题，我们可以采用取对数计算 log 概率来避免数值下溢（numerical underflow）。
  • 对于不存在于语料库中的词，无法计算其出现概率
    如果我们要计算概率的句子中包含了一些没有在语料库中出现过的单词（例如：人名），我们应该怎么办？
    一种比较简单的技巧是，我们可以用某种特殊符号（例如：<UNK>）来表示这些所谓的 OOV 单词（out-of-vocabulary，即不在词汇表中的单词），并且将语料库中一些非常低频的单词都替换为这种表示未知单词的特殊 token。
  • 出现在新的上下文（context）中的单词
    默认情况下，任何我们之前没有在语料库中见过的 n-gram 的计数都为 0，这将导致计算出的 整个句子的概率为 0。这个问题和前面的 OOV 单词的问题类似，我们的语料库中可能已经包含了这些单词，但是并没有包含该单词在新句子中对应的特定的 n-gram（即上下文信息）。这意味着该单词在新的句子中对应 n-gram 对于语言模型来说是全新的，而且因为 n-gram 的组合存在如此多的可能性，以至于语料库很难将所有的可能性都覆盖到。例如：假设我们构建了一个 five-gram 语言模型，我们的语料库中一共有 20000 个词汇，那么一共存在多少种可能的 five -gram 组合？答案是：200005。这是一个非常非常大的数字，以至于无论我们的训练语料库有多大，都不可能捕捉到所有的可能性组合。这是一个相当常见的问题，并且很重要。如果我们回顾一下链式法则，可以看到所有的条件概率都连乘在一起，所以只要其中某一项在计算子序列时 n-gram 的计数为 0，那么最终 计算出的整个句子的概率就会为 0。为此，我们需要对语言模型进行 平滑处理（smoothing）。

平滑处理

  • 基本思想：给之前没有见过的事件赋予概率。
  • 必须附加一个约束条件：P(everything)=1
  • 有很多不同种类的平滑处理方法：
    • 拉普拉斯平滑（Laplacian smoothing，又称 Add-one smoothing，即 “加一” 平滑）
    • “加 k” 平滑（Add-k smoothing）
    • Jelinek-Mercer 插值（又称 线性插值平滑）
    • 卡茨回退法（Katz backoff）
    • 绝对折扣（Absolute discounting）
    • Kneser-Ney
    • ……

拉普拉斯平滑（“加一” 平滑）

简单思想：假装我们看到的每一个 n-gram 都比它们实际出现的次数多 1 次。

  • 这意味着即使是那些我们在语料库中没有见过的 n-gram，我们也将它们出现的次数记为 1 次。所以对于一个新句子中的任何东西都至少有 1 次计数。
  • 对于 unigram 模型（V= 词汇表）：

在之前的模型中，我们只是简单的计算单词 wi 在语料库中出现的次数 C(wi) ，然后除以语料库中所有单词 tokens 的数量 M。

现在，对于分子而言，我们总是在它此前的基础上加上 1。然后，为了保证它仍然是一个合法的概率分布，即单词 wi 遍历词汇表中所有可能情况的的概率之和 ∑i=1|V|P(wi)=1，我们需要在此前分母 M 的基础上加上词汇表的长度 |V|（即语料库中所有单词 types 的总数）。

  • 对于 bigram 模型：

同样地，我们在之前分子的基础上加 1，在分母的基础上加 |V|。

所以现在，我们解决了之前新句子中的未知单词或者 n-gram 的计数为 0 从而导致最终计算出的概率为 0 的问题。

“加 k” 平滑

  • “加一” 往往太多了
    但是很多时候，加 1 会显得太多了，我们并不想每次都加 1，因为这会导致原本的罕见事件可能变得有点过于频繁了。并且我们丢弃了所观测的 n-gram 的太多有效计数。
  • 用 “加 k” 来代替 “加一”
    这种方式也被称为 Lidstone 平滑（Lidstone Smoothing）。
  • 对于 trigram 模型，公式如下：

可以看到，和 “加一” 平滑类似，只是我们将分子中的加 1 变成了加 k，并且为了满足单词 wi 遍历词汇表中所有可能情况的概率之和为 1，我们在分母中的 |V| 前面乘了一个系数 k。

  • 必须选择一个 k
    事实上，如何选择一个合适的 k 值对于模型影响非常大。k 在这里实际上是一个超参数，我们需要尝试对其进行调整以便找到一个使模型表现比较好的 k 值。

 Absolute Discounting 平滑

另外一种更好的方法是采用 绝对折扣平滑（Absolute Discounting）：

  • 从每个 观测到的 n-gram 计数中 “借” 一个 固定的概率质量（a fixed probability mass） d。
  • 然后将其 重新分配（redistributes） 到 未知的 n-grams 上。

Backoff 平滑

基本上，我们会按照不断改进的顺序来介绍各种平滑处理方式的变体，由此，我们可以看到对于这些平滑方式的评估。现在，我们继续介绍另一种更好的平滑方式：Backoff 平滑。

  • 在之前的 Absolute Discounting 平滑中，我们从观测到的每个 n-gram 计数中 “借来” 一个固定的概率质量，并将它们重新 平均 分配给所有的未知 n-grams。
  • Katz Backoff：概率质量的重新分配是基于一个 低阶（lower order） 模型（例如：unigram 模型）

例如，假设我们现在有一个 bigram 模型，当我们将概率质量重新分配到未知的 bi-grams 时，我们将基于上下文单词的 unigram 概率进行重新分配。因为比例很简单，如果我们看到上下文出现次数越多，我们就给它更高的权重。

对于一个 bigram 模型，它的 Katz Backoff 平滑的概率公式 如下：

我们为什么将这种方式称为 Backoff（回退） 呢？

因为我们在碰到未知的 n-grams 的时候会将原来的模型回退到一个更低阶的 (n-1)-gram 模型：对于一个 bigram 模型，我们在计算未知 bi-grams 的概率时将回退到 unigram 模型；而对于一个 trigram 模型，我们在计算未知 tri-grams 的时候将回退到 bigram 模型。所以，我们总是只回退一步。

 Kneser-Ney 平滑

现在，我们将介绍一种比 Katz Backoff 更好的平滑处理方式：Kneser-Ney 平滑

  • 概率质量分配基于当前单词 w 出现在 不同上下文 中的次数。
    对于概率质量重新分配的问题，相比 Katz Backoff 中只是简单地基于低阶模型，Kneser-Ney 平滑采用的方法是基于当前单词 w 在多少个 不同的上下文 中出现过，或者说是基于该单词的 多功能性（versatility）。
    回忆前面 “glasses” 和 “Francisco” 的例子，其中 ，“Francisco” 是一个非常特殊的词，它的 versatility 非常低，因为它很可能只在上下文单词 “San” 后面出现过。因此，对于其他绝大多数的上下文单词，它们后面都不太可能出现 “Francisco” 这个词。而相比之下，“glasses” 这个词具有较高的 versatility，它可能在很多不同的上下文单词之后都出现过。
  • 这种度量被称为 多功能性（versatility） 或者 延续概率（continuation probability）

可以看到，对于观测到的 n-grams，Kneser-Ney 概率和 Katz Backoff 概率两者是相同的。而对于那些未知的 n-grams，Kneser-Ney 概率中从观测 n-grams 中 “借来” 的概率质量 α(wi−1) 与之前一样保持不变，而之前关于低阶模型 P(wi) 的部分则由我们所说的延续概率 Pcont(wi) 来替代。

在延续概率 Pcont(wi) 的计算公式中：分子部分计算的是一共有多少个 唯一 的上下文单词 wi−1 和当前单词 wi 共同出现过（co-occurrence）；而分母部分就是将所有可能的单词 wi 对应的不同共现上下文单词数量（即分子部分）进行一个累加。

Interpolation

我们将介绍最后一种也是最好的一种平滑处理方式：插值（Interpolation）

  • 将不同阶数的 n-gram 模型结合起来 的更好的平滑方式。
    我们在前面提到过的 Katz Backoff 平滑：对于一个 trigram 模型，如果我们遇到了一些未知的 tri-grams，我们将回退到一个低阶模型。
    但是一种更好的做法是：将不同阶数的 n-gram 模型结合起来。
  • 逐步缩短的上下文的概率加权求和
    例如，对于一个 trigram 模型，我们计算未知 tri-grams 的平滑概率时会贯穿 trigram、bigram 和 unigram 三种阶数的模型。
  • 一个 trigram 模型下的 Interpolation 平滑概率：


我们可以按照下面的步骤计算单词 wm 在上下文单词 “wm−2” 和 “wm−1” 之后出现的 Interpolation 平滑概率：

  • 首先计算 trigram 概率 P3∗，并将其乘以一个系数 λ3；
  • 然后计算 bigram 概率 P2∗，并将其乘以一个系数 λ2；
  • 然后计算 unigram 概率 P1∗，并将其乘以一个系数 λ1；
  • 最后，将三者相加得到最终结果。

并且，为了保证所得到的仍然是一个合法的概率分布，我们需要满足所有 λ 之和为 1。此外，这些 λ 的值甚至并不需要我们手动设置，而是由模型通过一些留存数据学习到的，因为我们想知道对于这些不同阶数的模型，什么样的 Interpolation 方式是最高效的。

 Interpolated Kneser-Ney 平滑

基于 Interpolation，我们得到了 Kneser-Ney 的最后一种版本：Interpolated Kneser-Ney 平滑。

Interpolation 替代 back-off：

这里，我们所做的唯一改变就是：将之前观测 n-grams 和未知 n-grams 两种情况加在一起，取代了之前的 back-off 操作。所以，相比之前二选一的情况，现在我们都合并在一个公式里。

另外，相比之前的固定概率质量 α(wi−1)，这里我们替换为归一化常数 β(wi−1)，以确保上下文 wi−1 对应的所有可能的 wi 的概率 PIKN(wi∣wi−1) 之和为 1。

这就是我们到目前为止介绍过的最有效的平滑方式，在实际应用中有很多 n-gram 语言模型都是基于 Interpolated Kneser-Ney 平滑实现的。

实践应用

  • 在实践中，我们通常采用 Kneser-Ney 语言模型并将 5-grams 作为最高阶数。
  • 对于每个 n-gram 阶数都有不同的 discount 值。
  • 当我们试图学习如何在它们之间进行 Interpolation 时，我们将从数据中学习。

生成语言

在最后一部分中，我们将介绍如何利用语言模型来 生成语言（Generating Language）。

我们这里讨论的是利用语言模型生成语言的一种通用的方法，并不仅仅局限于 n-gram 语言模型。

但是我们还是会以 n-gram 语言模型作为例子：

  • 给定一个初始单词，从语言模型定义的概率分布中抽取一个词作为下一个出现的单词。
  • 在我们的 n-gram 语言模型中包含 (n−1) 个起始 tokens，用于提供生成第一个单词所需的上下文。
    • 永远不会生成起始标记 <s>，它只作为初始单词的生成条件
    • 生成 </s> 来结束一个序列

例子：Bigram 语言模型

  •  Sentence =<s>
  •  P(?∣<s>)=“a”

这里是一个很简单的例子，我们有一个 bigram 语言模型。现在有一个空句子，即只包含一个起始标记 <s>。我们试图预测在给定一个起始标记 <s> 的条件下，下一个最有可能出现的单词是什么。所以，我们会利用 bigram 语言模型来逐个检查词汇表中每个单词 w 的条件概率 P(w∣<s>)，并选择其中概率最大的那个单词作为我们的预测结果。这里，我们可以看到单词 “a” 出现在一个句子开头的概率最大，我们将它添加到句子中。

  •  Sentence =<s> a
  •  P(?∣a)=“cow”

现在我们的句子有了第一个单词 “a”，我们想知道下一个最有可能出现的单词是什么。还是和之前一样，我们逐一检查词汇表中各个词在给定上下文单词 “a” 的情况下，哪个词对应的条件概率最大。可以看到，这里单词 “cow” 出现在单词 “a” 之后的概率最大，所以我们将它添加到句子中。

  •  Sentence =<s> a cow
  •  P(?∣cow)=“eats”

重复上面的步骤，我们得到了下一个最有可能的单词 “eats” 并将它添加到句子中。

  •  Sentence =<s> a cow eats
  •  P(?∣eats)=“grass”

继续，我们得到单词 “grass” 并将它添加到句子中。

  •  Sentence =<s> a cow eats grass
  •  P(?∣grass)=“</s>”

最终，我们预测单词 “grass” 后面最有可能出现的是结束标记 “</s>”，我们将它添加到句子中。

  •  Sentence =<s> a cow eats grass </s>
  • 完成

现在我们得到了一个由这个 bigram 语言模型生成的句子：a cow eats grass

如何选择下一个单词

  • Argmax：在每一轮中选择与上下文共现概率最高的那个单词。
    • 贪婪搜索（Greedy search ）
      这其实是一种贪婪搜索策略，因为即使在每一步中我们都选择概率最高的那个单词，也无法保证最终生成的句子具有最优的概率。
  • Beam search decoding
    一种更好的方法是 Beam search decoding，它在机器翻译中应用非常广泛。
    • 在每轮中，我们跟踪概率最高的前 N 个单词
    • 我们总是检查这几个候选单词给出的完整句子的概率
    • 这种方法可以生成具有 近似最优（near-optimal） 概率的句子
  • 从分布中随机抽样
    另一种方法是从语言模型给出的概率分布中随机抽样，例如：temperature sampling

评估语言模型

如何评估一个语言模型的质量？

评估

语言模型的评估通常有两种范式：

  • 外部的（Extrinsic）
    这种评估范式常见于下游应用中，我们根据其反馈来评估语言模型的表现。比如对于机器翻译中的某些任务，我们可以比较不同语言模型在完成该任务上的表现。
    • 例如：拼写纠错、机器翻译
  • 内部的（Intrinsic）
    在这种评估范式下，我们不依赖任何下游应用，而是观察我们的语言模型在保留测试集上的 Perplexity。
    • 在保留测试集（held-out test set）上的 Perplexity
    • Perplexity（困惑） 衡量的是我们对于模型在测试数据上给出的预测的置信度。置信度越高，对应的 Perplexity 就越低，代表我们的模型越好。

 Perplexity

  • 整个测试集的逆概率（Inverse probability）
    • 通过单词 tokens（包括结束标记 </s>）的数量实现归一化（Normalization）
  • 假设我们保留的测试集语料库是一个由 m 个单词 w1,w2,…,wm 组成的序列，我们用 PP 表示 Perplexity。从下面的公式可以看到，它是通过对整个测试集的概率 P(w1,w2,…,wm) 取倒数，然后再开 m 次方得到的：
  • 如果我们遇到未知单词（OOV），我们通常是直接忽略掉，因为我们没有办法表示它们。
  • Perplexity 越低，模型表现越好。
    假如我们模型的 Perplexity 只有 1，那么这是最好的情况。因为当我们的测试集语料库上的概率 P(w1,w2,…,wm)=1 时，PP(w1,w2,…,wm)=1。而对于一个非常差的语言模型，可能在测试集上的概率 P(w1,w2,…,wm)=0，此时模型的 Perplexity 将趋近 ∞。所以，最理想的情况是 Perplexity 等于 1，当然，我们永远不可能达到这个值。

总结

  • N-gram 模型在捕捉语言的可预测性方面是一种简单且高效的方法。
    模型的构建很容易：我们只需要一个大的语料库，并且对单词和上下文进行计数即可。
  • 信息可以通过无监督的方式推导得出，可以扩展到大型语料库。
  • 由于稀疏性的存在，需要进行平滑处理才能保证有效性。
    我们需要一些工程上的技巧处理稀疏性问题，例如：smoothing、back-off、interpolation 等。

虽然 n-gram 模型非常简单，但是它在实践中的效果非常好。所以，在构建语言模型时，我们通常会选择将 n-gram 模型作为 baseline，尽管目前有很多模型都采用了深度学习。

思考

思考： Interpolation、Interpolated Kneser-Ney 和 Kneser-Ney 之间有什么区别？我们应当如何判断应该采用哪种方法？

首先，我们应该明确一点：Interpolated（插值）、Smoothing（平滑）和 Backoff（回退）都是用来解决数据稀疏问题（sparsity）的方法。我们在这节课中讨论的前 3 种平滑方法（拉普拉斯、“加 k” 和 Lidstone）都是在 和原先的 N-gram 模型相同的阶数 内重新分配概率，将概率质量从常见情况向罕见情况进行偏移。

Interpolation 和 Backoff 都是通过 结合不同阶数的 N-gram 模型 来解决这个问题。对于 Backoff 而言，如果高阶 higher-gram 的计数为 0，那么它将完全落回低阶 lower-gram；而 Interpolation 则是通过将我们所有的 N-gram 模型加权求和来将它们结合起来。

现在，当我们采用低阶模型时又会带来一个新的问题。例如，对于单词 “Old” 和 “Zealand”，很可能它们的 bi-gram “Old Zealand” 计数为 0，所以我们需要依赖 unigram 模型提供的概率。想象一下，如果单词 “Zealand” 具有一个非常高的 unigram 概率，那么对于这两个词的 bi-gram，我们还是可以得到一个相对较高的共现概率，而这不是我们希望看到的。

Kneser-Ney Smoothing 中引入了所谓 延续计数（continuation count） 的概念。因为在大多数情况下，单词 “Zealand” 只出现在上下文单词 “New” 的后面，所以对于单词 “Zealand” 出现在上下文单词 “Old” 后面这种情况（即 bi-gram “Old Zealand”）的延续计数会非常低。到这里，我们通过 在不同上下文中的频率计数 解决了上述例子中的问题。

回到原问题中提到的哪种方法更好，我们可以在 Backoff 或者 Interpolation 二者中选择一种来使用 Kneser-Ney Smoothing。通常来说，Interpolation 可能更合适，因为这种方式更灵活（因为我们考虑了所有阶数的 N-gram 模型）。

ASR语音识别—Fst热词模型

有限加权【热词】状态转换机（Weighted Finite State Transducers, WFST）

最近在做ASR语音识别任务，基于阿里FunASR框架，特此记录下跟热词模型相关知识。

wfst热词增强

热词构图，我们采用AC自动机结构进行热词网络构图，解决热词前缀重叠场景下难以有效激励的问题。例如热词列表包含“阳光保险”与“保定”两个热词，实际语音内容为“阳光保定”，在匹配到“定”时匹配失败则会根据AC自动机回退机制回退至“保定”热词路径，确保仍可继续匹配的最大子串路径可正常激励。

如下是热词网络实例图。

热词发现与匹配，我们采用对主解码网络弧上ilabel音素/字符序列信息进行热词发现及匹配，而非在网络搜索出词时再对整词匹配，该方式优势是能够更早实现对尚未出词热词路径激励，避免热词路径被过早误裁减，其次也可避免由于热词分词结构不一致而导致匹配失败。

热词激励方式，我们采用过程渐进激励和整词激励相结合的方式，而非热词首字或尾字激励。采用仅首字激励方式可能存在部分case在热词后续字的解码过程中路径仍被裁剪掉的情况，而仅在尾字出词时施加激励则可能激励过晚。

过程渐进激励（incremental bias）对过程中每匹配成功一步即进行等量激励，如在后续扩展过程匹配失败则通过回退弧跳转进行激励减除。

整词激励（word bias）支持用户针对不同的热词做差异化的激励分配置，在热词整词出词时进一步施加对应的补偿或惩罚，进而提高热词综合效果。

FST热词是一种基于 有限状态转换器（Finite State Transducer）的关键词识别技术，它具有较高的准确率和实时性，适用于对大量文本进行快速匹配的场景。 但是，FST热词需要提前构建好词典和规则库，且不支持多语种和变体。

FST目前在语音识别和自然语言搜索、处理等方向被广泛应用。例如，在自然语言处理中，经常会遇到一些针对某些内容法则做出修改的操作，比如：如果c的后面紧接x的话，则把c变为b，FST则是基于这些规则上的数学操作，来把若干个规则整合成一个单程的大型规则，以有效提高基于规则的系统(rule-based system)的效率。其功能类似于字典的功能，但其查找是O(1)的，仅仅等于所查找的key长度。目前Lucene4.0在查找Term时就用到了该算法来确定此Term在字典中的位置。FST 可以表示成FST<Key, Value>的形式，我们可以用O(length(key))的复杂度，找到key所对应的值。除此之外，FST 还支持用Value来查找key以及查找Value最优的key等功能。在查找最优的Value时，会用到求最短路径的Dijikstra算法,但建图过程与此无关。

FST是一种用于映射输入符号序列到输出符号序列的有向图结构。它由一组状态组成，状态之间通过带有权重的转换（transitions）相连。每个转换关联输入符号、输出符号和权重（或代价），用于表示从一个状态转移到另一个状态时的条件。

FST与热词的结合：

  • 提高权重或优先级：FST可以通过增加热词的优先级或降低其识别权重，使得在解码过程中，热词的路径更容易被选择。
  • 热词优先通路：可以通过引入热词的专有路径（transition paths），使得这些词比其他普通词汇更容易通过FST的状态转换。
  • 增强精度：通过调整FST中热词的权重或映射路径，系统在遇到热词时会优先选择包含热词的路径，从而提高识别或转换的准确率。

实现方法：

  • 构建基础FST： 首先，需要基于词典或语言模型构建一个基础FST。这个FST将输入符号（如字母、音素或单词）映射到输出符号。在语音识别中，FST通常将输入的音素序列映射为单词。
  • 加入热词权重：
    • 修改权重：对热词的转换路径赋予更低的权重，降低其状态转换代价，使得解码器（decoder）在搜索时更倾向于选择这些路径。例如，使用一个加权的FST，可以将普通词的转换权重设为较大值，而将热词的权重设为较小值。
    • 插入额外路径：将热词的路径单独插入到FST中，创建直接通路，以便系统在解码过程中直接选择这些热词而不需要复杂的转移。
  • 组合语言模型和热词FST： 在实际应用中，通常会将热词FST与其他语言模型（如N-gram或神经网络语言模型）结合起来。例如：
    • 使用热词FST作为一个小型的子图插入到更大规模的语言模型FST中。
    • 热词FST可以作为一个前端过滤器，预处理输入序列以优先选择热词的路径。
  • 动态插入热词： 热词列表可能会根据应用场景动态变化。例如，在语音助手中，用户可能会要求系统识别特定的品牌名称。在这种情况下，FST需要支持动态更新，即在运行时动态插入或删除热词路径。这可以通过以下几种方式实现：
    • On-the-fly 插入：根据实时需求，将新的热词添加到现有FST结构中，可能使用备用状态机或其他支持增量更新的FST实现。
    • 重构FST：当热词发生较大变化时，重新构建FST，以反映新的热词权重。

Seed-ASR基于大型语言模型（LLM）的语音识别模型

https://arxiv.org/abs/2407.04675

https://bytedancespeech.github.io/seedasr_tech_report/

字节推出Seed-ASR,支持复杂场景、语种、多方言超精准识别

Seed-ASR是一种基于大型语言模型（LLM）的语音识别模型。Seed-ASR是在音频条件大语言模型（AcLLM）框架上开发的，利用了大型语言模型的强大能力，将连续的语音表示和上下文信息输入到语言模型中。通过分阶段的大规模训练以及语言模型中上下文感知能力的引入，Seed-ASR 在综合评估集上（涵盖多个领域、口音/方言和语言）比传统的端到端模型有了显著提升。

摘要

ASR模型需要在各种应用场景中准确地转录给定特定上下文信息的各种语音信号（来自不同领域、语言、口音等）。融合了额外语言模型的经典端到端模型表现良好，但主要应用在数据匹配场景中，并且逐渐接近瓶颈。Seed-ASR基于大语言模型（LLM）的语音识别模型。Seed-ASR是基于audio conditioned LLM（AcLLM）的框架开发的，通过将连续语音表示与上下文信息一起输入到LLM中来利用LLMs的功能。 通过阶段式大规模训练和LLM中的上下文感知能力的启发，Seed-ASR在综合评估集（包括多个域，口音/方言和语言）上展示了端到端模型的显着改进。此外，Seed-ASR可以进一步部署，以支持各种场景中的特定需求，而无需额外的语言模型。与最近发布的大型ASR模型相比，Seed-ASR在中文和英文公共测试集上的单词（对于中文字符）错误率降低了10%-40%，进一步证明了其强大的性能。

Introduction

Seed-ASR，一个基于LLM的大规模ASR模型。为了成为一个“更智能”的语音识别模型，通过将连续语音表示与指令和上下文信息一起输入到LLM中，利用LLMs的能力。Seed-ASR具有五大特点：

Seed-ASR 具有高识别率、大模型容量、多语言支持、上下文感知和分阶段训练五大特点。通过2000万小时语音和90万小时ASR数据训练，Seed-ASR（CN）和Seed-ASR（ML）在多个数据集上表现优异。其采用了包含20亿参数的音频编码器和数百亿参数的MoE大语言模型，支持普通话、13种方言以及多种语言，并计划扩展至40多种语言。通过整合包括历史对话、视频编辑历史和会议参与详细信息，来捕获与语音内容相关的重要指标。这种集成大大提高了各种场景中ASR评估集中的关键词召回率。【关键字召回率可以定义为 ASR 系统成功识别出的关键字的数量占所有实际出现的关键字数量的比例】，增强了多场景下的表现。Seed-ASR的开发经历了一个简单而有效的训练方案：音频编码器的自监督学习（SSL） → 监督微调（SFT） → 上下文SFT → 强化学习（RL）。每个阶段都有不同的作用，确保Seed-ASR的性能逐步提高。

数据集测评：

我们建立了一个高质量评估集的系列，包括广泛的语音输入，作为不同的主题，口音/方言，语言和语音持续时间。这些集合还包括一个ASR系统在不同应用场景下的定制能力评估（例如，对话场景下的关键词识别准确性和一致性）。在Seed-ASR设计中，我们选择了大规模训练的路径，利用了大模型容量和扩展训练数据以增强泛化性。 我们考虑到提供给 AcLLM 框架的上下文，通过训练模型以来详细说明其定制化能力，从而形成一个适用于不同场景的统一且紧凑的模型结构。在我们的多维评估集上，与经典的端到端模型相比，Seed-ASR展示了更全面、更强大的模型能力。Seed-ASR的性能优势在公共测试集和我们的主观理解评估中得到了进一步证明。

Motivation

ASR模型的升级可以从LLM的技术进步中得到启发，主要可以归结为三个方面：

·统一模型框架。LLM采用基于下一个令牌预测的仅解码器框架。它对输入输出文本进行排序，依靠自注意机制建立序列中标记之间的依赖关系，从而统一文本理解和文本生成;

·缩放定律的力量。大规模模型参数为LLM提供了从不同数据源学习知识的关键能力。例如，从GPT-2 到GPT-3 ，参数数量从15亿增加到1750亿，使GPT-3表现出更好的泛化和涌现能力。

·全面的训练pipline，ChatGPT经历三个阶段：预训练，监督微调（SFT）和带有人类反馈的强化学习（RLHF）。在预训练阶段，LLM是在大量的文本数据上训练的，这使得它存储了大量的知识。在SFT阶段，LLM进一步针对更高质量的面向任务的数据进行微调，增强其根据上下文进行推理和理解任务指令的能力。最后，在RLHF阶段，训练目标转变为在强化学习的帮助下使LLM的行为与人类偏好保持一致;

由于ASR的任务是将语音转换为文本，因此其文本生成过程与LLMs一致。存储在LLMs中的广泛的文本知识和上下文推理能力使它们成为向ASR提供语义指导的潜在成分。剩下的核心挑战是如何使LLMs更好地“理解”语音，这是一种不同于文本的模态。

方法

Framework and Training Recipe

基于上述动机，我们提出了Seed-ASR，一个大规模的语音识别模型建立在音频条件LLM（AcLLM）的框架。通过将编码的连续语音表示与任务指令和相关上下文一起输入到预先训练的LLM中，Seed-ASR可以利用LLM的丰富文本知识和推理能力来生成语音的相应文本转录。总体框架如图2所示。

音频是与文本不同的模态。为了使LLMs更好地理解不同的语音输入，我们在LLMs中采用了大规模预训练的概念。具体来说，我们构建了一个具有近20亿个参数的音频编码器，并对数千万小时的数据进行了自监督学习（SSL）。预训练的音频编码器获得了强大的语音表示能力，这有助于在监督微调（SFT）期间快速收敛。在大规模SSL阶段之后，我们在AcLLM框架内实现了一个简单有效的阶段式训练方法（如图3所示）。在SFT阶段，我们通过对大量的语音-文本对进行训练，建立语音和文本之间的映射关系。在上下文SFT阶段，我们使用相对少量的上下文-语音-文本三元组来引出LLM从上下文中捕获语音相关线索的能力。 这些三重数据可以根据具体场景进行定制。在强化学习阶段，我们应用MWER的训练标准[传统Attention-based Sequence-to-Sequence model使用cross-entropy作为损失函数，不是直接对WER指标进行优化，而真正的目标是直接或间接地最小化WER => MWER Training]和一些改进来进一步加强我们模型的能力。在下面的小节中，我们将更详细地介绍这些方法。

语音编码器的自监督预训练

大规模SSL使音频编码器能够从语音中捕获丰富的信息。受基于BERT的语音SSL框架的启发，我们开发了我们的音频编码器，这是一种conformer-based的模型[Conformer 是 Google 在 2020 年提出的语音识别模型，主要结合了 CNN 和 Transformer 的优点，其中 CNN 能高效获取局部特征，而 Transformer 在提取长序列依赖的时候更有效。 Conformer 则是将卷积应用于 Transformer 的 Encoder 层，用卷积加强Transformer 在 ASR 领域的效果。]，可以捕获存储在音频信号中的全局和局部结构。在这项工作中，我们主要关注语音信号。由于它是在大规模无监督数据上训练的，因此我们将训练后的音频编码器称为LUISE，它代表L大规模无监督迭代SpeechEncoder。

LUISE秉承BERT的概念，采用掩蔽语言预测的学习范式。训练过程如图4所示。具体地，首先将从波形提取的梅尔滤波器组特征的序列输入到 tokenizer模块以获得每个帧的离散标签。然后，使用交叉熵准则进行LUISE的训练，仅针对被掩蔽的帧计算损失函数。训练后，softmax层被移除，LUISE的编码器部分用于后续的监督微调。

我们利用一个迭代的固定 tokenizer的方法来获得相应的离散标签的每一帧。在第一次迭代中，我们应用随机projection层将语音特征投影到随机初始化的码本中，并通过找到码本中最近的向量将它们映射到离散标签。在第二次迭代中，我们对先前训练的编码器的中间层的表示执行K均值聚类以获得新的码本。然后通过在新码本中找到与来自相同中间层的表示最接近的向量来获得离散标签。在中间层的选择过程中，我们冻结了第一次迭代中训练的编码器参数，并为每个中间层添加了映射层和连接主义时间分类（CTC）损失，以进行监督微调。 图5显示了通过对每个中间层的表示进行监督微调获得的字错误率（WER）。对于具有20亿个参数的LUISE，第25层（32层中）的输出展示了最佳的语义表示，并用于在后续迭代中生成离散标签。

有监督微调SFT

经过对大规模纯语音数据的训练，LUISE已经开发出强大的语音表示能力。它以40ms/帧速率输出包含丰富语音和语义信息的连续表示。为了使AcLLM更好地理解语音中相应的文本内容，我们需要将编码表示的语义信息映射到LLM的语义空间中。LLM为了实现这一点，我们使用以下两种方法：

  1. 在模型结构中，我们引入了一个转换器模块来连接我们的音频编码器（LUISE）和LLM（如图2所示）。转换器包括下采样模块和线性投影层。我们发现不同的下采样方法同样有效，因此我们使用最简洁的方法：帧拼接。具体来说，我们在特征维度上拼接4个连续的语音表示帧，然后输入到线性层中。因此，输入到LLM中的语音表示帧率为160毫秒；
  2. 在训练方法上，我们采用“可学习音频编码器+可学习转换器+固定LLM“的策略，在保持LLM参数不变的情况下，最大限度地保留了LLM丰富的语义知识和推理能力。可学习的音频编码器和转换器参数确保语音表示中包含的语义信息与LLM的语义空间对齐。LLM在训练过程中，使用交叉熵损失函数，只有生成转录文本的标记位置参与交叉熵计算;

上下文SFT

在大规模语音-文本对数据上进行训练后，我们的SFT模型在覆盖多个领域的测试集上表现出色。然而，SFT模型的训练方式决定了它缺乏在给定上下文信息（上下文）的情况下识别模糊语音内容的能力。这些问题在涉及口音（语音歧义）和同音异义词或稀有词（语义歧义）的情况下更加明显。因此，我们引入了上下文感知训练和联合波束搜索的方法，以增强模型有效利用上下文的能力（图6中给出了一个示例）。

  • 上下文感知训练：首先，我们使用我们的内部大型语言模型来生成与语音转录相关的上下文。在我们的实验中，它比使用长段语音中的开头和结尾的转录文本作为上下文表现得更好。使用生成的自然语言上下文还可以提供更完整的语义，从而除了从上下文复制相关转录内容之外还能够学习推理。然后，我们构建了一个<context，speech，text>三元组的数据集，并将其与一定比例的一般ASR数据（语音-文本对数据）混合用于上下文感知训练。如图2所示，在上下文感知训练期间，我们将上下文和语音表示输入到LLM中。LLM这种训练的目标是增强模型从上下文中捕获语音内容相关线索的能力。
  • 联合波束搜索：我们发现，直接使用本地波束搜索存在严重的幻觉问题。为了解决这个问题，我们提出了一种联合波束搜索的解码策略来缓解这个问题。具体地，我们使用联合波束搜索来找到最佳得分 Pjoint⁢(𝒚|𝒙,𝒄) ，其中 𝒚 表示预测的假设， 𝒙 是语音信息，并且 𝒄 是给定的上下文信息。超参数 α 用于在解码期间平衡语音信息和上下文信息的重要性：

同时，我们引入了一种修剪策略，首先使用上下文无关的得分 P⁢(𝒚|𝒙) 过滤出声学上不可信的候选令牌，然后对剩余的候选令牌应用联合波束搜索。修剪策略在缓解幻觉中起着重要作用。

强化学习

由于SFT和上下文SFT阶段中的训练基于交叉熵目标函数，因此与推断期间使用的评估度量（例如WER）不匹配。随着强化学习（RL）的发展，它可以在序列建模任务中学习相对最优的决策策略。因此，我们通过构建基于ASR度量的奖励函数来引入RL阶段。

单词错误率（WER）通常被认为是评估ASR模型性能的核心指标，但句子中的某些内容（例如关键字）在理解整个句子中起着更关键的作用。因此，我们还引入加权WER（WWER）作为额外的奖励函数，强调关键字错误的重要性。具体来说，我们应用最小字错误率（MWER）作为另一个训练目标，在我们的RL阶段中使用交叉熵目标 ℒCE 进行插值：

    在传统的 MLE 训练中，损失函数通常是基于每个时间步的交叉熵损失。这意味着模型优化的目标是每个时间步的预测概率分布，这可能导致最终的序列输出与实际参考输出在词级别上不匹配。MWER 训练则直接优化序列的 WER，这是更接近于最终应用的评价标准，尤其是在语音识别和自然语言处理任务中。

MWER 训练的实现方法:
候选序列生成：在 MWER 训练过程中，模型会先使用其当前参数生成多个候选的输出序列（通常使用采样或束搜索策略）。这些候选序列代表了模型对给定输入的不同潜在输出。

损失计算：计算每个候选序列的词错误率（WER），然后通过比较这些候选序列与参考序列之间的WER来评估损失。具体来说，损失函数会惩罚那些与参考序列WER较高的候选序列，同时奖励那些WER较低的候选序列。

最小化损失：使用反向传播算法更新模型参数，以最小化平均 WER 损失。由于损失函数直接反映了序列级别的错误率，这种方法能够更有效地训练模型来生成更准确的输出。

为了提高强化学习的训练效率，我们部署了一个远程服务来生成假设，并在更新当前服务器上的模型参数的同时计算MWER损失。在强化学习训练过程中：1）我们使用前一阶段训练的上下文SFT模型初始化模型参数; 2）我们利用高质量的数据进行强化学习训练，数据规模为数千小时。3)为了保持初始化模型的上下文感知能力，我们的训练数据还包括一定比例的上下文、语音、文本三元组。在完成RL训练之后，我们获得了我们的Seed-ASR模型。

表1：RL阶段的消融研究。作为奖励函数的加权WER在所有三个评估集上显示出比WER更好的性能（这些集的详细信息在第4.1节中介绍）。在强化学习阶段使用的上下文、语音、文本三元组的训练数据保证了上下文感知能力的不下降。Seed-ASR使用最后一行中的策略。WER或加权WER的度量计算中文、日文和韩文的字符错误，以及英文和其他语言的单词错误。

Observations

在改进Seed-ASR性能的过程中，我们也得到了一些观察：

Scaling Law

在LLM领域，可以观察到，较大的模型可以通过在更多数据上进行训练来不断降低损失值。据我们所知，在基于LLM的框架下，没有关于音频编码器的缩放律的相关研究。在SSL阶段，我们进行实验，以探讨不同的模型大小的LUISE的性能。具体来说，我们选择了五组型号尺寸：75 M、0.2B、0.6B、2B和5B。训练数据包括770万小时的无监督语音数据，覆盖多个领域，确保模型容量的充分利用。不同大小的模型在大多数训练配置中保持一致性，只是随着模型大小的增加，我们会按比例扩大模型的宽度和深度，适当增加批量大小和权重衰减，并降低学习率。

图7：（a）描绘了我们的音频编码器（LUISE）的预训练损失与模型参数大小的以2为底的对数之间的相关性。(b)描述了SFT之后的贪婪WER与模型参数大小的以2为底的对数之间的相关性。(c)描述了SFT之后的贪婪WER与LUISE的预训练损失之间的相关性。

我们首先关注验证集上的交叉熵预训练损失值与模型大小之间的相关性。如图7所示，我们观察到两者之间几乎呈线性相关。此外，我们比较了基于训练的LUISE的小规模SFT数据训练后的性能。使用贪婪搜索进行推理。如图7所示，多域评估集上的WER度量也与LUISE的模型大小呈现出近乎线性的相关性。此外，这揭示了SFT之后测试集上的WER度量与图7中SSL阶段中的损失函数值之间的正相关性。这些关于缩放律的发现为我们的编码器选择（考虑性能和效率的平衡）和后续优化提供了指导。

Long-form Ability

我们的Seed-ASR是在AcLLM的框架下建模的，它自然地利用LLM的语义知识和长上下文建模能力。因此，我们还探索了直接将整个长格式语音输入LLM进行识别的选项。该方法有效地避免了与对多个独立推断的长形式语音进行分割相关联的两个问题：1）分割过程可能导致边界处的信息丢失，从而降低识别准确性; 2）分割过程破坏了长形式语音中的强全局上下文信息，从而影响识别的准确性和一致性。

具体来说，我们构建了一系列长格式视频测试集，包括来自不同来源的5个数据集。在训练过程中，整个长格式数据被输入到模型中，而没有任何分割处理。测试集的持续时间分布与训练集的持续时间分布相当。如表2所示，使用长形式数据进行训练和测试，与短形式训练相比，相对WER降低了近8.8%，短形式训练采用域自适应VAD将长形式语音分割成几个部分进行训练和测试。长格式视频测试集的最大持续时间为5分钟，并具有显著长度延长的调度器。

模型与评价

目前，我们专注于在多样化场景下全面提升中文和多语种（不含中文）语音识别性能。因此，我们提出了两个具有相同模型结构和训练配方的Seed-ASR模型：汉语多方言模型，称为Seed-ASR（CN），和多语言模型，称为Seed-ASR（ML）。虽然我们也有同时支持中文和多语言的模型，但本报告将特别详细介绍两种分别专注于中文和多语言（不包括中文）的Seed-ASR模型。

Seed-ASR（CN）不仅可以用单个模型对普通话和13种汉语方言进行转录，而且在多领域、多方言、多口音和公共集等多维评估集上，与其他已发布的大型模型相比，性能有了显著的提高。此外，在上下文SFT阶段的训练赋予种子ASR（CN）有效的上下文感知能力，如在对话上下文评估集上所示。同样，Seed-ASR（ML）在8种多语言公共集（包括英语）和多领域评估集上取得了与其他已发布模型相比具有竞争力的结果，并且正在扩展到40多种语言。在下面的部分中，字错误率（WER）的度量被用作主要的客观度量。除非另有说明，否则WER的度量计算中文、日语、韩语的字符错误，并计算英语和其他语言的单词错误。

Seed-ASR (CN)

Seed-ASR（CN）遵循图3所示的完整训练管道。在SSL阶段，我们使用了具有近2B参数的LUISE编码器，并对来自各个领域的近800万小时的普通话和汉语方言语音数据进行了训练。在SFT阶段，我们使用经过训练的LUISE和具有超过百亿个参数的LLM进行模型初始化。训练数据包括包含多个域的普通话数据和方言数据的混合。SSL和SFT阶段的详细数据分布见附录A.3。在上下文SFT阶段，我们使用一定比例的SFT阶段数据与一些上下文、语音、文本三元数据混合进行训练。在RL阶段，我们使用训练好的上下文SFT模型进行初始化，并构建高质量的训练数据进行训练。在这个全面的训练过程之后，我们获得了Seed-ASR（CN）

为了全面评估Seed-ASR（CN）模型的ASR能力，我们在公开数据集上将其与其他已发布的模型进行了比较，并构建了一系列评估集，包括多领域集、多源视频集、硬案例集、多方言集、多口音集、上下文感知集和主观可懂度评估。

最后的结果是上述6个测试集的WER（中文字符）的平均值。我们用于比较的基线包括Paraformer-Large、Qwen-Audio和最近发布的基于LLM的ASR模型，其结构为Hubert+ Baichuan 2。他们的研究结果来自他们各自的论文。如表3所示。Seed-ASR（CN）表现出比其他模型更显著的性能优势，在这些公共数据集上获得了最先进的结果。对于6套的平均WER，Seed-ASR（CN）比其他已发布模型实现了超过24%-40%的WER降低。

对多域多源视频集的评估:

我们还对多领域评估集进行了全面的性能比较，该评估集包含来自视频，直播，语音搜索，会议，智能助手等各种场景的高质量评估数据，并将多领域集合中总共7个集合的加权平均WER作为最终指标。我们选择基于传感器的端到端模型[20]，其具有MoE编码器和超过300 M的参数作为基线之一。此外，我们还在多域评估集上运行Paraformer-large（离线解码）的结果作为另一个基线。从表4中的结果来看，Seed-ASR（CN）显示出显著的性能优势，与我们强大的端到端模型相比，WER指标相对降低了47%以上。在覆盖7个不同子集的视频评估集上，Seed-ASR（CN）也获得了相当大的性能改善。 这些结果证明了Seed-ASR（CN）强大的基础能力。

此外，我们通过引入10个硬案例测试集来评估高级ASR能力，这些测试集覆盖了包括书名、汽车名称、成语、药品名称、电影名称、古诗、产品名称、音乐名称等在内的话语。这些测试集旨在评估模型识别包含专有名词的语音内容的能力，这些专有名词具有很强的专业性和领域特异性，反映了ASR模型的知识储备和识别准确率。硬案例集的评估指标是每个句子中给定关键字的F1分数。如表4所示，与端到端模型基线相比，Seed-ASR（CN）模型实现了F1值3. 3%的绝对增长，证明了AcLLM模型框架在利用LLM常识知识和语义推理能力方面的有效性。

多方言集和多口音集的评估:

由于我们的Seed-ASR（CN）模型支持普通话和13种汉语方言的识别，我们还引入了方言评估集。这套共包括13种方言（广东话、西南话、吴语、吉鲁话、中原话、闽语等）。并使用汉字的相同或相似发音对文本进行人工标注。我们的方言评估集的具体演示可在我们的网站2上获得。我们使用WER作为这个方言评估集的客观度量。

我们使用微调的Whisper Medium-v2，769 M参数作为我们的基线。为了进行公平的比较，我们使用相同的方言训练集训练Whisper Medium-v2和Seed-ASR（CN）。Seed-ASR（CN）需要在保持普通话综合能力的同时提高方言上的ASR性能，因此它使用来自多个领域的更大比例的普通话数据进行训练。相比之下，Whisper Medium-v2在多域集等综合评估集上显示出较差的结果。尽管如此，具有更大建模能力的Seed-ASR（CN）模型在13种方言集上仍然显示出优于基线的性能优势，13种方言的平均WER从21.68下降到19.2（相对WER降低11.4%），并且在单个方言测试集上相对WER降低超过21%。

为了进一步验证Seed-ASR（CN）对不同语音的识别性能，我们引入了一系列口音评估集，包括来自安徽、福建、甘肃、广东、贵州、湖南、江西、辽宁、陕西、山西和云南的11个中国口音。具体的口音语音样本也可在我们的网站2.如表6所示，与从头开始训练的强E2 E模型相比，Seed-ASR（CN）在口音测试集上表现出显着的改进。我们还通过在训练过程中移除重音SFT数据来进行消融研究，但Seed-ASR（CN）仍然在重音集上实现了强大的性能。在多方言、多口音评价集上的实验结果表明，该算法对不同地区的汉语语音识别具有较强的鲁棒性。

对对话上下文集的评估:

在语境感知的评估中，我们构建了一个高质量的对话语境集，其中对话历史被用作语境信息。如图8所示，我们提供了两个对话示例。每个测试用例包括对应的对话历史文本和当前识别的语音内容。我们将对话语境评估分为严格和宽松两个子集。严格子集包含对历史对话有很强依赖性的样本，以准确识别语音内容，例如人名。松散子集的历史对话和演讲内容之间的依赖性较弱，如专有名词。我们使用关键字召回作为评估指标。

总结:

在包括SFT → context SFT → RL的逐步训练配方之后，我们的Seed-ASR（CN）模型产生了。在上述综合评估集上，我们观察到我们的Seed-ASR（CN）模型的某些能力在不同的训练阶段得到了增强。在这里，我们对每个阶段的效果进行了详细的消融研究，结果如表9所示。首先，RL阶段的引入带来了对大多数评估集的改进，例如多域，多源视频，多方言，硬案例和代码切换。重音测试集中的轻微降级可能是由于训练数据比率。此外，上下文SFT阶段的训练对大多数测试集产生了积极的影响，特别是在上下文严格测试集上的召回度量方面带来了显着的改善。这进一步证明了我们的上下文感知训练和解码策略在上下文SFT阶段的有效性。

Seed-ASR (ML)

如上所述，Seed-ASR（CN）在识别普通话和汉语方言方面表现出很强的性能。为了将这些优势扩展到其他国家用户使用的语言，我们还将Seed-ASR方法应用于多语言场景，从而形成了我们的多语言模型：Seed-ASR（ML）。Seed-ASR（ML）的训练与Seed-ASR（CN）的主要区别在于训练数据。Seed-ASR（CN）专注于普通话和中国方言，而Seed-ASR（ML）则是在各种多语言数据集上进行训练的。在SSL阶段，Seed-ASR（ML）的音频编码器也使用了具有2B参数的LUISE，并使用来自多域源的数千万小时无监督多语言数据进行训练。在随后的阶段中，我们从我们的多语言ASR训练集中选择训练数据，这些训练数据总计数十万小时，涵盖9种语言：英语，中文，阿拉伯语，西班牙语，法语，印度尼西亚语，日语，韩语和葡萄牙语。 SSL和SFT阶段的详细数据分布见附录A.3。我们对多个评估集和公共数据集进行性能比较。

Evaluation on Multi-domain and Multi-accent Sets:

在多域评估集上，覆盖的域与第4.1.2节中介绍的种子ASR（CN）上的多域评估集相同。硬盒测试集涵盖了医疗健康、食品和饮料、体育、技术、服装、游戏、娱乐和美容等领域。我们还建立了对不同口音的英语的评估，包括来自英国，美国，澳大利亚，加拿大，中国，印度，新加坡，新西兰和南非的发言者。对于多语言评估，我们报告了7种非英语语言的平均WER性能：阿拉伯语（AR），西班牙语（ES），法语（FR），印度尼西亚语（ID），日语（JA），韩语（KO）和葡萄牙语（PT）。如表10所示，用于比较的基线包括Google USM [50]（API call 3）、Whisper Large v3 [39]（离线解码）和Universal-1 [41]（API调用4）。由于Universal-1在我们的多语言多域评估集中仅支持3种语言，因此其相应结果未包含在此处。我们将这些模型在多语言多域评估集上的语言性能比较附在附录A.1中。从表10中的结果来看，与最强的基线相比，Seed-ASR（ML）在英语和多语言多领域评估集上分别表现出相对超过42%和40%。在英语多重音和硬格评估集上也观察到类似的显着改进。

除了内部多域评估集之外，我们还将Seed-ASR（ML）与英语和其他语言的公共测试集上的其他模型进行了比较，包括Librispeech[36] test clean/other，MLS[38]，Tedo 3[24]，Callhome，Switchboard[19]，AMI[30]和Fleurs[13]。测试集的详细信息见附录A.2。结果如表11所示。请注意，基线模型的所有结果都是由基线模型的相应论文或技术报告的WER（Whisper Large-v3结果来自Universal-1的技术报告[41]）。 如表11所示，Seed-ASR（ML）在不同语言的大多数测试集上都实现了最佳性能，提高了10%到40%，这表明Seed-ASR（ML）对训练期间看不到的领域具有泛化能力。

与Seed-ASR（CN）类似，Seed-ASR（ML）在广泛的评估集上表现出与多个强基线相比的卓越性能。该模型在识别具有不同声学环境、语义上下文和多种语言口音的语音方面表现出色，强调了该模型的泛化能力及其在训练过程中处理来自各种看不见的领域的语音的有效性。总体而言，上述中文和多语言环境下的评估集的结果证明了Seed-ASR在涵盖多语言，多方言，多口音，多领域和多定制需求的多种应用场景中的泛化能力和强大的基础能力。

总结

通过包括SFT、上下文SFT和RL在内的逐阶段训练的Seed-ASR模型，与最近发布的强大端到端模型相比，在不同声学和语义领域、口音/方言/语言和长距离语音持续时间的各种评估集上展示了上级能力。大规模的LUISE预训练和连接LUISE和LLMSFT赋予Seed-ASR理解不同语音内容的能力。上下文SFT阶段的引入显著提高了模型对相关上下文的关键词的召回率，展示了模型在利用LLMs的上下文感知能力方面的强大定制能力。RL阶段进一步巩固了Seed-ASR的文本生成行为与准确转录的要求之间的一致性，特别是语义重要部分的转录。 总体而言，结果肯定了Seed-ASR作为涉及多种语言，方言，口音，域和定制需求的各种应用程序的最佳ASR模型的地位。未来，我们将专注于扩展Seed-ASR在单个模型中处理多个任务的能力，进一步增强长格式能力并增加支持的语言数量。

OpenVoice-语音克隆用于批量合成高质量语音数据

OpenVoice: Versatile Instant Voice Cloning

https://github.com/myshell-ai/OpenVoice

它能够仅使用一小段参考发言者的音频片段来复制其声音，然后能生成多种语言的语音。 OpenVoice被设计为尽可能地解耦语音中的组件。语言、音色和其他重要的语音特征的生成是相互独立的，从而能够灵活地操纵各个语音风格和语言类型。 解耦的结构降低了对模型大小和计算复杂性的要求 ,同时不使用自回归或者扩散模型，加快推理速度。支持训练数据集之外的说话人和语言，适合为语音大模型提供大规模的合成语音数据。【核心:将语音克隆任务解耦为独立的子任务，其中每个子任务都比耦合的任务更容易实现。 】

主要功能：【可以用于合成音频数据】

1.准确的音色克隆。OpenVoice可以准确地克隆参考音色，并生成多种语言和口音的语音。

2.灵活的语音风格控制。OpenVoice支持对语音风格的精细控制，例如情感和口音，以及其他风格参数，包括节奏、停顿和语调。

3.零样本跨语言语音克隆。即使这些语言未在训练集中出现也能进行声音复制。

4、支持的语言包括英语（英国、美国、印度、澳大利亚）、西班牙语、法语、中文、日语、韩语

OpenVoice V2的新增特性：

  • 更好的音频质量： 采用新的训练策略以提升音频质量。
  • 原生多语言支持： V2 版本原生支持英语、西班牙语、法语、中文、日语和韩语。
  • 集成 MeloTTS： V2 版本引入了 MeloTTS 技术，通过 pip install git+https://github.com/myshell-ai/MeloTTS.git 进行安装，这是一个新的文本到语音转换系统，增强了声音的自然度和表现力。
  • 免费商业使用： 自2024年4月起，V1和V2版本均以 MIT 许可证发布，支持商业和研究用途的免费使用。
  1. 声音样式和语言的解耦设计：
    • OpenVoice 的设计哲学是将声音的不同特性（如音色、风格、语言）进行解耦，使得可以独立控制各个参数，从而达到灵活调整的目的。这一设计减少了模型的大小和复杂性，提高了操作的灵活性和推断速度。
  2. 基础发音者TTS模型与音色转换器：
    • 基础发音者TTS模型：这一模型允许对风格参数进行控制，如情绪和口音等。它是一个单发音者或多发音者模型，可以通过改变输入的风格和语言嵌入来输出不同风格的语音。
    • 音色转换器：这一组件采用编码器-解码器结构，负责将基础发音者的音色转换为参考发音者的音色。通过这种方式，即使基础声音与目标声音风格不同，也能保持原有风格的同时改变音色。
  3. 训练策略和数据处理：
    • 在训练过程中，采用了大量的多语种、多风格的音频样本。通过这些样本，模型学习如何准确复制音色并控制声音的不同风格。使用特定的损失函数来确保在保留风格的同时去除或转换音色，从而实现高质量的声音生成。

背景

目前语音克隆有以下问题：

1、除了克隆音色，如何灵活控制其他重要的风格参数，如情感，重音，节奏，停顿和语调？这些特征对于生成上下文中的自然语音和对话至关重要，而不是单调地叙述输入文本。以前的方法只能克隆参考说话人的单调音色和风格，但不允许灵活操纵风格。

2、zreo-shot能力：如果要生成的说话人没有训练集里 或者 要说话者的语言没有出现在训练集里，模型可以克隆参考语音并生成该语言的语音吗？

3.如何在不降低质量的情况下实现超高速实时推理，这对于大规模商业生产环境至关重要。

为了解决前两个问题，OpenVoice被设计为尽可能地解耦语音中的组件。语言、音色和其他重要的语音特征的生成是相互独立的，从而能够灵活地操纵各个语音风格和语言类型。这是在不标记MSML训练集中的任何语音风格的情况下实现的。我们想澄清的是，本研究中的零激发跨语言任务与VALLE-X中的任务不同。在VALLE-X中，所有语言的数据都需要包含在MSML训练集中，并且模型不能泛化到MSML训练集之外的未知语言。相比之下，OpenVoice被设计为推广到MSML训练集之外的完全看不见的语言。第三个问题是默认解决的，因为解耦的结构降低了对模型大小和计算复杂性的要求。 我们不需要一个大模型来学习一切。此外，我们避免了自回归或扩散成分，以加快推理。

方法

将说话人音色和说话人风格、语言解耦，分别进行处理，base speaker TTS用于合成说话人风格参数（例如，情感、重音、节奏、停顿和语调）、重音和语言 。提取器用于控制合成音色信息。

很明显，同时为任何说话者克隆音色、实现对所有其他风格的灵活控制以及轻松添加新语言可能是非常具有挑战性的。它需要大量的组合数据集，其中受控参数相交，数据对只在一个属性上不同，并被很好地标记，以及一个相对大容量的模型来拟合数据集。

我们还注意到，在常规的单一说话人TTS中，不需要语音克隆，就可以相对容易地添加对其他风格参数的控制以及添加新语言。例如，在10K短音频样本的单说话人数据集，该10K短音频样本具有标记的情绪和语调，足以训练提供对情绪和语调的控制的单说话者TTS模型。添加新的语言或口音也很简单，只需要通过在数据集中添加另一个说话者。

OpenVoice背后的直觉是将IVC任务解耦为独立的子任务，其中每个子任务都比耦合的任务更容易实现。音色的克隆与对所有其余风格参数和语言的控制完全分离。我们提出使用基本说话人TTS模型来控制风格参数和语言，并使用音色转换器来将参考音色体现到生成的语音中。

Model Structure

OpenVoice的两个主要组件是base说话人TTS模型和音色转换器。base说话人TTS模型是单说话人或多说话人模型，其允许控制风格参数（例如，情感、重音、节奏、停顿和语调）、重音和语言。由该模型生成的语音被传递到音色转换器，该音色转换器将base说话人的音色改变为参考说话人的音色。

Base说话人TTS模型。Base Speaker TTS模型的选择非常灵活。例如，可以修改VITS模型，以在其文本编码器和持续时间预测器中接受样式和语言嵌入。其他选项如InstructTTS也可以接受样式提示。也可以使用商业上可用的（和便宜的）模型，例如Microsoft TTS，它接受指定情感，停顿和发音的语音合成标记语言（SSML）。人们甚至可以跳过基本说话人TTS模型，以他们想要的任何风格和语言自己阅读文本。在我们的OpenVoice实现中，我们默认使用VITS模型，但其他选择也是完全可行的。我们将基本模型的输出表示为 𝐗⁢(LI,SI,CI) ，其中三个参数分别表示语言、风格和音色。 类似地，来自参考说话者的语音音频表示为 𝐗⁢(LO,SO,CO) 。

音色转换器. 音色转换器是一个编码器-解码器结构，中间有一个可逆的归一化流程。编码器是一个1D卷积神经网络，它将 𝐗⁢(LI,SI,CI) 的短时傅立叶变换频谱作为输入。所有的卷积都是单步的。由编码器输出的特征图被表示为 𝐘⁢(LI,SI,CI) 。音色提取器是一个简单的2D卷积神经网络，它对输入语音的梅尔频谱图进行操作，并输出一个编码音色信息的单个特征向量。我们将其应用于  𝐗⁢(LI,SI,CI)  以获得矢量 𝐯⁢(CI) ，然后将其应用于 𝐗⁢(LO,SO,CO) 以获得矢量 𝐯⁢(CO) 。

标准化flow层将 𝐘⁢(LI,SI,CI) 和 𝐯⁢(CI) 作为输入，并输出消除色调音色信息但保留所有剩余样式属性的特征表示 𝐙⁢(LI,SI) 。 特征字母表（LI，SI）沿时间维度与国际音标（IPA）沿着对齐。然后，我们在反方向上应用归一化流层，其将 𝐙⁢(LI,SI) 和 𝐯⁢(CO) 作为输入并输出 𝐘⁢(LI,SI,CO) 。这是将来自参考说话者的音色 CO 体现到特征图中的关键步骤。然后 𝐘⁢(LI,SI,CO) 被HiFi-Gan解码为原始波形 𝐗⁢(LI,SI,CO) 。我们的OpenVoice实现中的整个模型是前馈的，没有任何自回归组件。音色转换器在概念上类似于语音转换，但是在其功能性、其模型结构上的归纳偏差和训练目标上具有不同的重点。 音色转换器中的flow层在结构上类似于基于流的TTS方法，但是具有不同的功能和训练目标。

替代方法和缺点。虽然有其他方法来提取 𝐙⁢(LI,SI) ，但我们根据经验发现，所提出的方法实现了最佳的音频质量。可以使用HuBERT来提取离散或连续的声学单元以消除音色信息，但我们发现这种方法也从输入语音中消除了情感和口音。当输入是看不见的语言时，这种类型的方法也存在保留音素的自然发音的问题。我们还研究了另一种方法，该方法仔细构建信息瓶颈以仅保留语音内容，但我们观察到这种方法无法完全消除音调音色。

OpenVoice的贡献在于提供了一个解耦的框架，将语音风格和语言控制从音色克隆中分离出来。这非常简单，但非常有效，特别是当你想控制风格，口音或推广到新的语言。如果想要在XTTS这样的耦合框架上拥有相同的控制权，可能需要大量的数据和计算，并且很难流利地说每种语言。在OpenVoice中，只要单扬声器TTS说话流利，克隆的语音就会流利。 将语音风格和语言的生成与音色的生成脱钩是OpenVoice的核心理念。

Training

为了训练base speaker TTS模型，我们从两个英语说话人（美国口音和英国口音）、一个汉语说话人和一个日语说话人收集了音频样本。共30K句，平均句长7s。中英文数据都有情感分类标签。我们对VITS模型【无需任何情感标注，通过对参考语音使用情感提取模型 提取语句情感embedding输入网络，实现情感可控的VITS合成】进行了改进，并将情感范畴嵌入、语言范畴嵌入和说话人id输入到文本编码器、时长预测器和flow层。培训遵循VITS作者提供的标准程序。训练后的模型能够通过在不同的基本说话人之间切换来改变口音和语言，并以不同的情绪来阅读输入文本。我们还用额外的训练数据进行了实验，证实了节奏、停顿和语调可以用和情绪完全一样的方式学习。

为了训练音色转换器，我们从20 K个人中收集了300 K音频样本。大约180K个样本是英语，60k个样本是中文，60k个样本是日语。这就是我们所说的MSML数据集。音色转换器的训练目标是双重的。首先，我们要求编码器-解码器产生自然的声音。在训练过程中，我们将编码器输出直接馈送到解码器，并使用具有mel频谱图损失和HiFi-GAN损失的原始波形来监督生成的波形。

其次，我们要求流层从音频特征中消除尽可能多的音色信息。在训练过程中，对于每个音频样本，其文本被转换为IPA中的音素序列，每个音素由可学习的向量嵌入表示。向量嵌入的序列被传递到Transformer编码器以产生文本内容的特征表示。将该特征表示为 𝐋∈ℝc×l ，其中 c 是特征通道的数量， l 是输入文本中的音素的数量。音频波形由编码器和流层处理以产生特征表示 𝐙∈ℝc×t ，其中 t 是特征沿时间维度沿着的长度。 然后，我们使用动态时间扭曲（替代方案是单调对齐）沿着时间维度对齐 𝐋 和 𝐙 以产生 𝐋¯∈ℝc×t ，并最小化 𝐋¯ 和 𝐙 之间的KL发散。由于 𝐋¯ 不包含任何音色信息，因此最小化目标将鼓励流层从其输出 𝐙 中移除音色信息。流层以来自音色编码器的音色信息为条件，这进一步帮助流层识别需要消除的信息。此外，我们不提供任何风格或语言信息供流层进行调节，这会阻止流层消除除音色以外的信息。 由于流层是可逆的，因此将它们调节在新的音色信息上并运行其逆过程可以将新的音色添加回特征表示，然后将特征表示解码为包含新的音色的原始波形。

总结

OpenVoice展示了卓越的实例语音克隆能力，并且在语音风格和语言方面比以前的方法更灵活。这种方法背后的直觉是，只要我们不要求模型能够克隆参考说话者的音调颜色，就可以相对容易地训练基本说话者TTS模型来控制语音风格和语言。因此，我们建议将音色克隆与其他语音风格和语言分离，我们认为这是OpenVoice的基本设计原则。

The Dataset of Speech Recognition数据集

语音识别数据集汇总：

https://github.com/double22a/speech_dataset/tree/main?tab=readme-ov-file

Chinese

nameduration/haddressremarkapplication
THCHS-3030https://openslr.org/18/
Aishell150https://openslr.org/33/
ST-CMDS110https://openslr.org/38/
Primewords99https://openslr.org/47/
aidatatang200https://openslr.org/62/
MagicData755https://openslr.org/68/
ASR&SD160http://ncmmsc2021.org/competition2.htmlif available
Aishell21000http://www.aishelltech.com/aishell_2if available
TAL ASR100https://ai.100tal.com/dataset
Common Voice63https://commonvoice.mozilla.org/zh-CN/datasetsCommon Voice Corpus 7.0
ASRU2019 ASR500https://www.datatang.com/competitionif available
2021 SLT CSRC398https://www.data-baker.com/csrc_challenge.htmlif available
aidatatang_1505zh1505https://datatang.com/opensourceif available
WenetSpeech10000https://github.com/wenet-e2e/WenetSpeech
KeSpeech1542https://openreview.net/forum?id=b3Zoeq2sCLqspeech recognition, speaker verification, subdialect identification, voice conversion
MagicData-RAMC180https://arxiv.org/pdf/2203.16844.pdfconversational speech data recorded from native speakers of Mandarin Chinese
Mandarin Heavy Accent Conversational Speech Corpus58.78https://magichub.com/datasets/mandarin-heavy-accent-conversational-speech-corpus/
Free ST Chinese Mandarin Corpus–https://openslr.org/38/

English

nameduration/haddressremark
Common Voice2015https://commonvoice.mozilla.org/zh-CN/datasetsCommon Voice Corpus 7.0
LibriSpeech960https://openslr.org/12/
ST-AEDS-201801004.7http://www.openslr.org/45/
TED-LIUM Release 3430https://openslr.org/51/
Multilingual LibriSpeech44659https://openslr.org/94/limited supervision
SPGISpeech5000https://datasets.kensho.com/datasets/scribeif available
Speech Commands10https://www.kaggle.com/c/tensorflow-speech-recognition-challenge/data
2020AESRC160https://datatang.com/INTERSPEECH2020if available
GigaSpeech10000https://github.com/SpeechColab/GigaSpeech
The People’s Speech31400https://openreview.net/pdf?id=R8CwidgJ0yT
Earnings-2139https://arxiv.org/abs/2104.11348
VoxPopuli24100+543https://arxiv.org/pdf/2101.00390.pdf24100(unlabeled), 543(transcribed)
CMU Wilderness Multilingual Speech Dataset13http://festvox.org/cmu_wilderness/Multilingual
MSR-86K9795.46https://huggingface.co/datasets/Alex-Song/MSR-86KMultilingual

Chinese-English

nameduration/haddressremark
SEAME30https://www.isca-speech.org/archive_v0/archive_papers/interspeech_2010/i10_1986.pdf
TAL CSASR587https://ai.100tal.com/dataset
ASRU2019 CSASR200https://www.datatang.com/competitionif available
ASCEND10.62https://arxiv.org/pdf/2112.06223.pdf

Japanese (ja-JP)

nameduration/haddressremark
Common Voice26https://commonvoice.mozilla.org/zh-CN/datasetsCommon Voice Corpus 7.0
Japanese_Scripted_Speech_Corpus_Daily_Use_Sentence18https://magichub.io/cn/datasets/japanese-scripted-speech-corpus-daily-use-sentence/
LaboroTVSpeech2000https://arxiv.org/pdf/2103.14736.pdf
CSJ650https://github.com/kaldi-asr/kaldi/tree/master/egs/csj
JTubeSpeech1300https://arxiv.org/pdf/2112.09323.pdf
MSR-86K1779.03https://huggingface.co/datasets/Alex-Song/MSR-86KMultilingual

Korean (ko-KR)

nameduration/haddressremark
korean-scripted-speech-corpus-daily-use-sentence4.3https://magichub.io/cn/datasets/korean-scripted-speech-corpus-daily-use-sentence/
korean-conversational-speech-corpus5.22https://magichub.io/cn/datasets/korean-conversational-speech-corpus/
MSR-86K10338.66https://huggingface.co/datasets/Alex-Song/MSR-86KMultilingual

Russian (ru-RU)

nameduration/haddressremark
Common Voice148https://commonvoice.mozilla.org/zh-CN/datasetsCommon Voice Corpus 7.0
OpenSTT20000https://arxiv.org/pdf/2006.08274.pdflimited supervision
MSR-86K3188.52https://huggingface.co/datasets/Alex-Song/MSR-86KMultilingual

French (fr-Fr)

nameduration/haddressremark
MediaSpeech10https://arxiv.org/pdf/2103.16193.pdfASR system evaluation dataset
MSR-86K8316.70https://huggingface.co/datasets/Alex-Song/MSR-86KMultilingual

Spanish (es-ES)

nameduration/haddressremark
MediaSpeech10https://arxiv.org/pdf/2103.16193.pdfASR system evaluation dataset
MSR-86K13976.84https://huggingface.co/datasets/Alex-Song/MSR-86KMultilingual

Turkish (tr-TR)

nameduration/haddressremark
MediaSpeech10https://arxiv.org/pdf/2103.16193.pdfASR system evaluation dataset

Arabic (ar)

nameduration/haddressremark
MediaSpeech10https://arxiv.org/pdf/2103.16193.pdfASR system evaluation dataset
MSR-86K873.84https://huggingface.co/datasets/Alex-Song/MSR-86KMultilingual

noise & nonspeech

nameduration/haddressremark
MUSAN–https://openslr.org/17/
Room Impulse Response and Noise Database–https://openslr.org/28/
AudioSet–https://ieeexplore.ieee.org/document/7952261

The Dataset of Speech Synthesis

Chinese

nameduration/haddressremark
Aishell385https://openslr.org/93/
Opencpop–https://wenet.org.cn/opencpop/download/Singing Voice Synthesis

English

nameduration/haddressremark
Hi-Fi Multi-Speaker English TTS Dataset291.6https://openslr.org/109/
LibriTTS corpus585https://openslr.org/60/
Speechocean762–https://www.openslr.org/101/
RyanSpeech10http://mohammadmahoor.com/ryanspeech/

The Dataset of Speech Recognition & Speaker Diarization

Chinese

nameduration/haddressremarkapplication
Aishell4120https://openslr.org/111/8-channel, conference scenariosspeech recognition, speaker diarization
ASR&SD160http://ncmmsc2021.org/competition2.htmlif availablespeech recognition, speaker diarization
zhijiangcup–https://zhijiangcup.zhejianglab.com/zhijiang/match/details/id/6.htmlif availablespeech recognition, speaker diarization
M2MET120https://arxiv.org/pdf/2110.07393.pdf8-channel, conference scenariosspeech recognition, speaker diarization

English

nameduration/haddressremarkapplication
CHiME-6–https://chimechallenge.github.io/chime6/download.htmlif availablespeech recognition, speaker diarization

The Dataset of Speaker Recognition

Chinese

nameduration/haddressremarkapplication
CN-Celeb–https://openslr.org/82/
KeSpeech1542https://openreview.net/forum?id=b3Zoeq2sCLqspeech recognition, speaker verification, subdialect identification, voice conversion
MTASS55.6https://github.com/Windstudent/Complex-MTASSNet
THCHS-3040http://www.openslr.org/18/

English

nameduration/haddressremark
VoxCeleb Data–http://www.robots.ox.ac.uk/~vgg/data/voxceleb/

中文语音识别数据集总结

OpenSLR国内镜像

http://openslr.magicdatatech.com/

Free ST Chinese Mandarin Corpus

1）基本信息：
参与者：855人
这个语料库是用手机在室内安静的环境中录制的。它有855个speakers。每个演讲者有120个话语。所有的话语都经过人仔细的转录和核对。保证转录精度

语料库包含：
1音频文件；
2转录；
3元数据；

2）链接

下载：（8.2G）

http://www.openslr.org/resources/38/ST-CMDS-20170001_1-OS.tar.gz

国内镜像：

http://cn-mirror.openslr.org/resources/38/ST-CMDS-20170001_1-OS.tar.gz

Primewords Chinese Corpus Set 1

1）基本信息
参与人数：296人
时长：178小时

这个免费的中文普通话语料库由上海普力信息技术有限公司发布。(www.primewords.cn)包含178个小时的数据。该语料由296名以中文为母语的人的智能手机录制。转录精度大于 98%，置信度为 95%。免费用于学术用途。转述和词句之间的映射以 JSON 格式提供。

2）链接

下载：（9.0G）

http://www.openslr.org/resources/47/primewords_md_2018_set1.tar.gz

国内镜像：

http://cn-mirror.openslr.org/resources/47/primewords_md_2018_set1.tar.gz

爱数智慧中文手机录音音频语料库（Mandarin Chinese Read Speech ）

1）基本信息

时长：755小时

参与人数：1000人

音频格式：PCM

MagicData中文手机录音音频语料库包含755小时的中文普通话朗读语音数据，其中分为训练集712.09小时、开发集14.84小时和测试集28.08小时。本语料库的录制文本覆盖多样化的使用场景，包括互动问答、音乐搜索、口语短信信息、家居命令控制等。采集方式为手机录音，涵盖多种类型的安卓手机；录音输出为PCM格式。1000名来自中国不同口音区域的发言人参与采集。MagicData中文手机录音音频语料库由MagicData有限公司开发，免费发布供非商业使用。

2）链接

数据包：

https://freedata.oss-cn-beijing.aliyuncs.com/MAGICDATA_Mandarin_Chinese_Speech.zip

下载地址

http://www.imagicdatatech.com/index.php/home/dataopensource/data_info/id/101

THCHS30

1）基本信息

时长:40余小时

THCHS30是一个经典的中文语音数据集，包含了1万余条语音文件，通过单个碳粒麦克风录取，大约40小时的中文语音数据，内容以文章诗句为主，全部为女声。它是由清华大学语音与语言技术中心（CSLT）出版的开放式中文语音数据库。原创录音于2002年由朱晓燕教授在清华大学计算机科学系智能与系统重点实验室监督下进行，原名“TCMSD”，代表“清华连续”普通话语音数据库’。13年后的出版由王东博士发起，并得到了朱晓燕教授的支持。他们希望为语音识别领域的新入门的研究人员提供玩具级别的数据库，因此，数据库对学术用户完全免费。

2）链接

国内镜像：

https://link.ailemon.me/?target=http://cn-mirror.openslr.org/resources/18/data_thchs30.tgz

国外镜像：

https://link.ailemon.me/?target=http://www.openslr.org/resources/18/data_thchs30.tgz

ST-CMDS

1）基本信息：

时长:100余小时

参与人数：855人

ST-CMDS是由一个AI数据公司发布的中文语音数据集，包含10万余条语音文件，大约100余小时的语音数据。数据内容以平时的网上语音聊天和智能语音控制语句为主，855个不同说话者，同时有男声和女声，适合多种场景下使用。

2）链接

下载地址：

国内镜像：

https://link.ailemon.me/?target=http://cn-mirror.openslr.org/resources/38/ST-CMDS-20170001_1-OS.tar.gz

国外镜像：

https://link.ailemon.me/?target=http://www.openslr.org/resources/38/ST-CMDS-20170001_1-OS.tar.gz

MAGICDATA Mandarin Chinese Read Speech Corpus

1）基本信息

时长：755小时

参与人数：1080人

应用：语音识别，机器翻译，说话人识别和其他语音相关领域

Magic Data技术有限公司的语料库，语料库包含755小时的语音数据，其主要是移动终端的录音数据。邀请来自中国不同重点区域的1080名演讲者参与录制。句子转录准确率高于98％。录音在安静的室内环境中进行。数据库分为训练集，验证集和测试集，比例为51：1：2。诸如语音数据编码和说话者信息的细节信息被保存在元数据文件中。录音文本领域多样化，包括互动问答，音乐搜索，SNS信息，家庭指挥和控制等。还提供了分段的成绩单。该语料库旨在支持语音识别，机器翻译，说话人识别和其他语音相关领域的研究人员。因此，语料库完全免费用于学术用途。

2）链接

下载地址见参考：
https://blog.ailemon.me/2018/11/21/free-open-source-chinese-speech-datasets/
镜像：
http://www.openslr.org/68/

AISHELL

AISHELL开源版1

1）基本信息

时长：178小时

参与人数：400人

采样：44.1kHz & 16kHz 16bit

AISHELL是由北京希尔公司发布的一个中文语音数据集，其中包含约178小时的开源版数据。该数据集包含400个来自中国不同地区、具有不同的口音的人的声音。录音是在安静的室内环境中同时使用3种不同设备： 高保真麦克风（44.1kHz，16-bit）；Android系统手机（16kHz，16-bit）；iOS系统手机（16kHz，16-bit）。进行录音，并采样降至16kHz，用于制作AISHELL-ASR0009-OS1。通过专业的语音注释和严格的质量检查，手动转录准确率达到95％以上。该数据免费供学术使用。他们希望为语音识别领域的新研究人员提供适量的数据。

2）链接

下载地址：

http://www.aishelltech.com/kysjcp

AISHELL-2 开源中文语音数据库

1）基本信息

时长：1000小时

参与人数：1991人

希尔贝壳中文普通话语音数据库AISHELL-2的语音时长为1000小时，其中718小时来自AISHELL-ASR0009-[ZH-CN]，282小时来自AISHELL-ASR0010-[ZH-CN]。录音文本涉及唤醒词、语音控制词、智能家居、无人驾驶、工业生产等12个领域。录制过程在安静室内环境中， 同时使用3种不同设备： 高保真麦克风（44.1kHz，16bit）；Android系统手机（16kHz，16bit）；iOS系统手机（16kHz，16bit）。AISHELL-2采用iOS系统手机录制的语音数据。1991名来自中国不同口音区域的发言人参与录制。经过专业语音校对人员转写标注，并通过严格质量检验，此数据库文本正确率在96%以上。（支持学术研究，未经允许禁止商用。）

2）链接

下载地址：

http://www.aishelltech.com/aishell_2

AISHELL-翻译机录制语音数据库

1）基本信息

时长：31.2小时

参与人数：12人

采样： 44.1kHz & 16kHz 16bit

文件：wav

来自AISHELL的开源语音数据产品：翻译机录制语音数据库

2）链接

下载地址：

http://www.aishelltech.com/aishell_2019C_eval

AISHELL-家居环境近远讲同步语音数据库

1）基本信息

时长：24.3小时

参与人数：50人

采样： 44.1kHz & 16kHz 16bit

文件：wav

AISHELL-2019A-EVAL 随机抽取 50 个发音人。每人从位置 A(高保真 44.1kHz，16bit)与位置 F(Android 系统手机 16kHz，16bit)中，各选取 232 句到 237 句。
此数据库经过专业语音校对人员转写标注，并通过严格质量检验，文本正确率 100%。

AISHELL-2019A-EVAL 是 AISHELL-ASR0010 的子库，共 24.3 小时。

2）链接

下载地址：

http://www.aishelltech.com/aishell_2019A_eval

AISHELL-语音唤醒词数据库

1）基本信息

时长：437．67小时

参与人数：86人

采样： 44.1kHz & 16kHz 16bit

文件：wav

来自希尔贝壳的语音唤醒词数据库

2)链接

下载地址：

http://www.aishelltech.com/aishell_2019B_eval

AISHELL-3 语音合成数据集

1）基本信息
希尔贝壳中文普通话语音数据库AISHELL-3的语音时长为85小时88035句，可做为多说话人合成系统。录制过程在安静室内环境中， 使用高保真麦克风（44.1kHz，16bit）。218名来自中国不同口音区域的发言人参与录制。专业语音校对人员进行拼音和韵律标注，并通过严格质量检验，此数据库音字确率在98%以上。（支持学术研究，未经允许禁止商用。）
2）下载链接
国内镜像： https://openslr.magicdatatech.com/resources/93/data_aishell3.tgz
国外镜像：https://www.openslr.org/resources/93/data_aishell3.tgz

Aidatatang

aidatatang_1505zh（完整的1505小时中文普通话语音数据集）

1）基本信息

参与人数：6408人

时长：1505小时

包含6408位来自中国不同地区的说话人、总计1505小时时长共3万条语音、经过人工精心标注的中文普通话语料集可以对中文语音识别研究提供良好的数据支持。采集区域覆盖全国34个省级行政区域。经过专业语音校对人员转写标注，并通过严格质量检验，句标注准确率达98%以上，是行业内句准确率的最高标准。

2）使用效果：

3）链接

数据申请：

https://www.datatang.com/webfront/opensource.html

Aidatatang_200zh（基于完整数据集精选的200小时中文普通话语音数据集）

1）基本信息
时长：200小时

参与人数：600人

采样： 16kHz 16bit

Aidatatang_200zh是由北京数据科技有限公司（数据堂）提供的开放式中文普通话电话语音库。语料库长达200小时，由Android系统手机（16kHz，16位）和iOS系统手机（16kHz，16位）记录。邀请来自中国不同重点区域的600名演讲者参加录音，录音是在安静的室内环境或环境中进行，其中包含不影响语音识别的背景噪音。参与者的性别和年龄均匀分布。语料库的语言材料是设计为音素均衡的口语句子。每个句子的手动转录准确率大于98％。数据库按7:1:2的比例分为训练集、验证集和测试集。在元数据文件中保存诸如语音数据编码和扬声器信息等详细信息。还提供分段转录本。

2）特点

该语料库旨在为语音识别、机器翻译、声纹识别等语音相关领域的研究人员提供支持。因此，该语料库完全免费供学术使用。

数据堂精选了200小时中文普通话语音数据在OpenSLR发布，并在Kaldi平台提供了训练代码，对应的训练方法也在github平台发布。

3）链接

训练：

https://github.com/datatang-ailab/aidatatang_200zh/blob/master/README.md

国内镜像：

https://link.ailemon.me/?target=http://cn-mirror.openslr.org/resources/62/aidatatang_200zh.tgz

国外镜像：https://link.ailemon.me/?target=http://www.openslr.org/resources/62/aidatatang_200zh.tgz

hkust

  1. 基本信息
    200h，16khz，16bit。中文电话数据集，电话对话，espnet，kaldi里面都有egs。
    2）链接下载链接：http://catalog.ldc.upenn.edu/LDC2005S15

Speechocean 10小时中文普通话语音识别语料库

1）基本信息
这是一个10.33小时的语料库，它同时通过4个不同的麦克风收集。在安静的办公室中，由20位说话者（10位男性和10位女性）录制​​了该语料库。每个扬声器在一个通道中记录了大约120声。包括转录文件。句子的转录精度高于98％。它完全免费用于学术目的。
2）下载链接
百度云盘(提取码：sktk)：https://pan.baidu.com/share/init?surl=1glZHlKIXjlPOOht6_yQXQ

cn-celeb

1)基本信息
此数据是“在野外”收集的大规模说话人识别数据集。该数据集包含来自1000位中国名人的13万种语音，涵盖了现实世界中的11种不同流派。所有音频文件都编码为单通道，并以16位精度以16kHz采样。数据收集过程由清华大学语音与语言技术中心组织。它也由国家自然科学基金61633013和博士后科学基金2018M640133资助。
2）下载链接

HI-MIA

1）基本信息
内容为中文和英文的唤醒词“嗨，米娅”。使用麦克风阵列和Hi-Fi麦克风在实际家庭环境中收集数据。下文描述了基准系统的收集过程和开发。挑战中使用的数据是从1个高保真麦克风和1/3/5米的16通道圆形麦克风阵列中提取的。内容是中文唤醒词。整个集合分为火车（254人），开发（42人）和测试（44人）子集。测试子集提供了成对的目标/非目标答案，以评估验证结果。
2）下载链接
国内镜像(train) ：http://openslr.magicdatatech.com/resources/85/train.tar.gz
国内镜像(dev) ：http://openslr.magicdatatech.com/resources/85/dev.tar.gz
国内镜像(test) ：http://openslr.magicdatatech.com/resources/85/test_v2.tar.gz
国内镜像(filename_mapping)：http://openslr.magicdatatech.com/resources/85/filename_mapping.tar.gz

MobvoiHotwords

1）基本信息
MobvoiHotwords是从Mobvoi的商业智能扬声器收集的唤醒单词的语料库。它由关键字和非关键字语音组成。对于关键字数据，将收集包含“ Hi xiaowen”或“ Nihao Wenwen”的关键字语音。对于每个关键字，大约有36k语音。所有关键字数据均收集自788名年龄在3-65岁之间的受试者，这些受试者与智能扬声器的距离（1、3和5米）不同。在采集过程中，具有不同声压级的不同噪声（例如音乐和电视等典型的家庭环境噪声）会在后台播放。

2）下载链接
国内镜像 ：http://openslr.magicdatatech.com/resources/87/mobvoi_hotword_dataset.tgz
国外镜像：http://www.openslr.org/resources/87/mobvoi_hotword_dataset.tgz

zhvoice: Chinese voice corpus

1）基本信息
zhvoice语料由8个开源数据集，经过降噪和去除静音处理而成，说话人约3200个，音频约900小时，文本约113万条，共有约1300万字。

zhvoice语料比较原始数据而言，更加清晰和自然，减少了噪声的干扰，减少了因说话人说话不连贯造成的不自然。

zhvoice语料包含文本、语音和说话人3个方面的信息，可适用于多种语音相关的任务。

zhvoice语料由智浪淘沙清洗和处理。
2）下载链接
https://github.com/fighting41love/zhvoice

AudioPaLM-可以听说的大模型

AudioPaLM，一个用于语音理解和生成的大型语言模型。AudioPaLM融合了基于文本和基于语音的语言模型，将PaLM-2和AudioLM集成到一个统一的多模式架构中，该架构可以处理和生成文本和语音，可以实现包括语音识别和语音到语音翻译。AudioPaLM继承了AudioLM保留说话人身份和语调等非语言信息的能力，以及仅存在于PaLM-2等文本大型语言模型中的语言知识。我们证明，使用纯文本大型语言模型的权重初始化AudioPaLM可以改善语音处理，成功地利用预训练中使用的大量文本训练数据来帮助语音任务。 由此产生的模型显著优于现有的语音翻译任务系统，并且能够为许多语言执行零样本语音到文本的翻译，这些语言在训练中没有看到输入/目标语言组合。

https://google-research.github.io/seanet/audiopalm/examples/

https://arxiv.org/html/2306.12925

AudioPaLM的核心是一个联合词汇表，它可以用有限数量的离散tokrn来表示语音和文本，结合任务的基本标记描述，允许在涉及任意交织的语音和文本的混合任务上训练单个仅解码器模型。这包括语音识别、文本到语音合成和语音到语音翻译，将传统上由异构模型解决的任务统一到单个架构和训练运行中。此外，由于AudioPaLM的底层架构是大型Transformer模型，因此我们可以使用在文本上预训练的大型语言模型的权重来初始化其权重，这允许其受益于诸如PaLM的模型的语言和常识知识。

图1：AudioPaLM模型，以语音到语音翻译和自动语音识别为例。我们采用一个预训练的纯文本模型（虚线），并扩展其嵌入矩阵来建模一组新的音频令牌，这里的token基于w2v-BERT 或者USM-v提取的，但token中同时含有语义信息和说话人声学信息【 k-means聚类之前不对嵌入进行归一化 ，用于保留说话人信息】。模型架构在其他方面没有改变：文本和音频令牌的混合序列作为输入被送入，并且模型解码文本或音频令牌。音频令牌通过后面的AudioLM阶段或SoundStorm转换回原始音频。

我们使用一个只有解码器的Transformer来建模由文本和音频令牌组成的序列。就模型而言，文本和音频只是任意整数的序列，因为输入在馈送到模型之前被标记化，并且任何输出在返回给模型的用户之前都被去token化。通过在有限的词汇表中用离散的标记来表示语音，我们可以构建一个多模态词汇表，它是这个音频词汇表和一个用于表示文本的SentencePiece的结合。因此，原则上，我们的设置和通常的纯文本解码器设置之间几乎没有区别，除了在我们的设置中，一些令牌代表音频和一些文本，并且我们使用预训练的纯文本检查点初始化我们的多模态模型。

方法

音频嵌入和令牌化

将原始波形转换为令牌。这涉及从现有的语音表示模型中提取嵌入，然后将这些嵌入离散化为有限的音频令牌集合。从w2v-BERT模型中提取嵌入，通过K-means进行离散化。在这项工作中，我们实验了以下方法来获得一组离散的音频令牌：

1、我们使用了一个w2v-BERT模型，该模型已经在多语言数据上进行了训练，其次，我们在执行k-means聚类之前不对嵌入进行归一化。虽然Borsos等人发现标准化在不降低性能的情况下删除了说话者身份信息，但我们发现在多语言环境中，标准化确实会导致性能下降【保留了说话人的声学信息，所以这里的token可以认为是声学token+语义token】。该方法以25 Hz的速率产生令牌，令牌词汇表的大小为1024。

2、USM-v1：我们使用更高性能的通用语音模型（USM）编码器执行相同的过程，以替换w2v-BERT编码器。我们使用这个多语言语音编码器的最大2B参数变体，并从中间层提取嵌入。与w2v-BERT类似，该方法以25 Hz的速率生成令牌，令牌词汇表的大小为1024。

修改纯文本解码器以适应文本和音频

在Transformer解码器中，输入预处理后模型的第一层是标记嵌入矩阵 𝐄 ，它将整数值标记映射到密集嵌入;给定 t 标记的词汇表和大小为 m 的嵌入， 𝐄 是 t×m 矩阵，其第 i 行给出第 i 标记的嵌入。 另一个嵌入矩阵 𝐄′ 出现在最后的softmax层中，用于计算每个位置上所有标记的logit;它是一个 m×t 矩阵，与模型的 m 维输出相乘，以获得logit的 t 维向量，每个标记一个。 在PaLM架构中，这些矩阵具有共享变量，因此一个是另一个的转置，即 𝐄′=𝐄⊺ 。

解码器架构的其余部分对建模的令牌数量完全无关。 因此，我们只需要做一个小的修改，将纯文本模型转换为同时对文本和音频进行建模的模型：我们将嵌入矩阵 𝐄 的大小扩展为大小 (t+a)×m ，其中 a 是音频令牌的数量（ 𝐄′=𝐄⊺ 的大小相应地改变）。

为了利用预训练的文本模型，我们通过向嵌入矩阵 𝐄 添加 a 新行来更改现有的模型检查点。实现细节是前 t 令牌（从零到 t ）对应于SentencePiece文本令牌，而接下来的 a 令牌（从 t 到 t+a ）表示音频令牌。 虽然我们可以重用预训练模型的文本嵌入，但新的音频嵌入是新初始化的，必须经过训练。我们发现有必要训练所有模型参数，而不是保持以前的权重固定。我们使用混合语音和文本任务进行训练。

3、将音频令牌解码为原始音频

为了从音频令牌合成音频波形，我们实验了两种不同的方法：i）自回归解码，遵循AudioLM的设置非自回归解码，ii) 使用最近提出的SoundStorm模型。在这两种情况下，音频令牌首先用于生成声音流令牌，然后用卷积解码器将其转换为音频波形。

AudioLM中的声学生成分两个阶段进行：先将音频token声音流令牌，然后再在合成语音：“阶段2”是仅解码器的Transformer模型，其将AudioPaLM产生的音频令牌和语音调节作为输入，并生成SoundStream令牌，其可用于以所需语音实现语音，但比特率非常低。“阶段3”重建SoundStream的残差矢量量化器的更高级别，这增加了比特率并提高了音频质量。

SoundStorm提出了一种替代的非自回归解码方案，该方案应用了一种迭代方法，该方法在所有令牌上并行进行。SoundStorm产生的音频质量与AudioLM相同，但在语音和声学条件方面具有更高的一致性，同时速度快了两个数量级。

通过提供原始输入语音的一部分作为语音调节，该模型能够在将其语音翻译为不同语言时保留原始说话者的语。

实验

由于 AudioPaLM 是基于 Transformer 模型的大语言模型，它可以使用基础的文本预训练模型来初始化权重，从而受益于 PaLM 或 PaLM 2 等模型的语言和常识知识。由于统一的多模态架构，AudioPaLM 能够使用直接映射或组合任务的方式来解决语音识别、语音合成和语音翻译等问题。单一任务包括自动语音识别（ASR）、自动语音翻译（AST）、语音到语音翻译（S2ST）、文本到语音（TTS）和文本到文本机器翻译（MT）等。为了指定模型在给定输入上执行的任务，可以在输入前加上标签，指定任务和输入语言的英文名称，输出语言也可以选择加上。例如，[ASR French]表示执行法语的自动语音识别任务，[TTS English]表示执行英语的文本到语音任务，[S2ST English French]表示执行从英语到法语的语音到语音翻译任务，而组合任务的标签[ASR AST S2ST English French]表示依次进行从英语到法语的自动语音识别、自动语音翻译、语音到语音翻译。微调使用的数据集包含音频、音频的转录、音频的翻译、音频的翻译文本等。一个数据集可以用于多个任务，将同一数据集中的多个任务结合起来可以提高性能。

AudioPaLM 在语音翻译基准测试中展示了最先进的结果，并在语音识别任务上表现出竞争性能。利用 AudioLM 的语音提示，该模型还可以对未见过的讲话者进行 S2ST，超越现有方法，以客观和主观评估的方式衡量语音质量和声音保持。另外，该模型展示了零样本迁移的能力，可以使用训练中未曾出现过的语音输入/目标语言组合进行 AST。