分类： 语音编解码器

常见的编解码器模型以及压缩token数

目前主流的音频编解码器的一些指标

数据来源：wavtokenizer: an efficient acoustic discrete codec tokenizer for audio language modeling

计算公式：

假设码本大小2^n，每秒语音的hz=BW/（Nq*n），token=Nq* 每秒语音的hz ， 每秒语音的hz =token/Nq

ModelBandwidth Nq ↓量化器数量
(number of quantizers.)		token/s ↓ 码本大小
GT–––
DAC 9.0kpbs 99001024
Encodec6.0kbps86001024
Vocos6.0kbps86001024
SpeechTokenizer6.0kpbs86001024
DAC4.0kbps44001024
HiFi-Codec3.0kbps44002^7.5
HiFi-Codec4.0kbps43002^13
Encodec3.0kbps43001024
Vocos3.0kbps 43001024
SpeechTokenizer3.0kbps 43001024
WavTokenizer-small0.5kbps140 4096
WavTokenizer-small0.9kbps175 4096
Mini 1.1kbps81002048

WavTokenizer-突破语音表征瓶颈

突破音频语言表征的瓶颈! 1s音频仅需40个Token，就能够高质量重建音频

  论文：Wavtokenizer: An Efficient Acoustic Discrete Codec Tokenizer For Audio Language Modeling

  论文地址：https://arxiv.org/pdf/2408.16532

  Github地址：https://github.com/jishengpeng/WavTokenizer

  HuggingFace地址：https://huggingface.co/novateur/WavTokenizer

浙江大学，联合阿里通义语音实验室和Meta研究员发表了一篇题为“Wavtokenizer: An Efficient Acoustic Discrete Codec Tokenizer For Audio Language Modeling”的论文。该论文研究了如何将多码本（RVQ）语音声学编解码器模型简化为单码本（VQ）结构，它不仅在压缩率和重构质量上超越了现有的最先进Codec模型，在UTMOS主观感知质量等指标上实现了SOTA的性能，还在语义信息建模上取得了重要进展，极致的序列压缩将有效提升下游语音大语言模型/多模态大语言模型的建模能力。

背景动机：解决音频语言建模的瓶颈，迈向更高效的音频处理

在大规模语言模型快速发展的背景下，音频处理领域依赖于离散化声学编解码器模型将音频信号转换为离散token，使其能被语言模型处理。然而，当前的技术在以下几个方面存在显著的局限性：

  1. 压缩与重构质量的权衡：大多数现有模型（如DAC、Encodec）通过多量化器层的设计来提升音频重构质量，但这也增加了计算复杂性和资源消耗。例如，DAC模型在9个量化器层的条件下，每秒需要900个token来重构一秒音频。如此高的压缩比率和计算成本，使得下游应用和模型部署变得复杂且代价高昂。
  2. 缺乏语义信息的丰富表达：当前的声学编码模型大多专注于音频的重构，而未能有效捕捉和保留语音和音频中的语义信息，这是重建任务和下游生成任务本身的训练gap。一些研究通过添加独立的语义模块来增强语义内容，但这通常需要多阶段的模型架构，增加了训练复杂度，并导致难以统一建模语音、音乐和其他音频数据。
  3. 单量化器模型的探索潜力：多量化器模型的复杂性推动了研究者对单量化器模型的探索，但在极端压缩条件下保持高质量重构仍是一个挑战。单量化器模型的优势在于更简单的架构和更低的计算成本，但如何优化矢量量化（VQ）空间以增强表示能力，并设计出避免重构伪影的解码器结构，依然是未解决的问题。

基于这些挑战，我们提出了 WavTokenizer。通过创新设计扩展VQ空间、优化解码器架构、扩展上下文建模窗口和引入多尺度判别器，我们的模型实现了极致的压缩效果，同时显著提升了音频重构质量和语义信息表达能力。这一工作不仅为音频语言建模提供了新方向，也在音频生成和理解的未来应用中展现出巨大潜力。

它与SOTA声学编解码器相比，在音频领域具有以下几个优点：

1）极限压缩。通过压缩量化器的层次和离散编解码器的时间维度，24kHz采样率的一秒音频仅需要具有40或75个令牌的单个量化器。

2)提高主观质量。尽管减少了令牌的数量，但WavTokenizer仍能以出色的UTMOS得分实现最先进的重建质量，并固有地包含更丰富的语义信息。 

实现细节：WavTokenizer的核心技术设计

图1：WavTokenizer和最先进的声学编解码器模型之间的比较。纵轴UTMOS表示更接近人类听觉感知的重构质量，横轴kbps表示音频压缩水平。圆圈的大小表示每秒离散令牌的数量。

为了突破当前音频语言建模中存在的压缩和重构质量瓶颈，我们设计了一个新的离散声学编解码器模型——WavTokenizer。它在音频压缩、重构质量和语义信息表达能力上实现了前所未有的平衡。

我们的模型建立在VQ-GANs框架上，遵循与SoundStream和EnCodec相同的模式。具体来说，WavTokenizer通过三个模块传递原始音频 X ，编码器模块、量化模块、解码器模块。

1) 采用音频输入并生成潜在特征表示 Z 的全卷积编码器网络;

2) 用于生成离散表示 Zq 的单个量化器来离散化特征Z。

3) 一种改进的解码器，用于从压缩的潜在表示 Zq 中重构音频信号 X~ 。

该模型是端到端训练的，优化了在时间和频率域上应用的重建损失，以及在不同分辨率下操作的鉴别器形式的感知损失。

考虑到WavTokenizer被设计为大型音频语言模型的离散令牌表示，重点应该放在编解码器的主观重建质量（音频保真度）和语义内容信息上。在图1中，我们可视化了比特率和UTMOS度量之间的关系。我们可以观察到WavTokenizer仅用75个令牌就实现了最先进的重建质量。此外，它还探索了极端的压缩比特率，在0.48 kbps时达到了3.6的UTMOS分数。

编码器设计

跟Encodec设计类似，编码器模型由具有C个通道的1D卷积组成，并且核大小为7，随后是B个卷积块。每个卷积块由单个残差单元组成，该残差单元之后是由步长S的两倍的核大小的步长卷积组成的下采样层。残差单元包含两个核大小为3的卷积和一个跳跃连接.每当发生下采样时，通道数量加倍。卷积块之后是用于序列建模的两层LSTM和具有7个核大小和D个输出通道的最终1D卷积层。

扩展矢量量化（VQ）空间，提高码本利用率

在传统的声学编解码器模型中，矢量量化（VQ）空间的大小通常是固定的，这限制了模型对音频信号的表达能力。我们通过将VQ空间从 1024 扩展到4096，显著提升了模型对高维音频数据的压缩和表达能力。为了确保扩展后的VQ空间得到充分利用，WavTokenizer 采用了基于K-means聚类初始化和随机唤醒策略的优化方法。这种设计能够在保证较低码率的同时，维持高质量的音频重构效果，并且能够有效减少信息损失。

图2：WavTokenizer量化码本空间的可视化分析，图（a）说明了LibriTTS测试干净集上每个码本索引（1-16384）的概率分布。图（B）检查了不同码本空间上的重构质量和码本利用率之间的关系。

最初，在不改变任何结构的情况下，我们试图在训练期间仅依赖于单个量化器来进行重构，但发现结果不是最佳的。考虑到自然语言中巨大的词汇空间，我们假设将语音作为一种独特的语言来处理可能会产生更好的结果。因此，我们首先将码本空间从 210 扩展到 214 。我们对LibriTTS进行了585小时的训练，并在LibriTTS测试-清理数据集上可视化了码本的概率分布，如图2（a）所示。 我们观察到语音词汇空间集中在 212 的左侧，表明利用更大的 212 语音词汇空间的潜力。当前的编解码器码本 210 可能没有充分利用语音空间的潜力。

此外，扩展量化码本空间可能导致较低的利用率，

我们使用K均值聚类来初始化码本向量。我们将聚类中心的数量调整为200，以与较大的码本空间对齐。在训练期间，使用衰减为0.99的指数移动平均值来更新每个输入的所选代码，并且用从当前批次中随机采样的输入向量来替换对于若干批次未分配的代码。这种强制激活策略有助于确保大码本空间的有效利用。 如图2（B）所示，我们分析了码本利用率与重构结果的关系，确认了 212 是合适的，与图2（a）的结论一致，适当扩展相应的码本空间可以减少将分层RVQ结构压缩到单个量化器所带来的信息损失。语音可以在串行化量化器结构下有效地重构，其中 212 的码本空间实现利用率和重构质量之间的有利平衡。这表明了将语音与广泛的自然语言词汇对齐的潜力，通过标记器将其作为一种独特的语言进行强有力的映射。

改进的解码器架构：逆傅里叶变换、注意力机制与扩展的上下文窗口结合

传统的编解码器模型通常使用镜像卷积上采样的方法，但这容易产生混叠伪影，影响音频重构质量。为了解决这一问题，WavTokenizer 在解码器设计中基于Vocos模型，采用了基于逆傅里叶变换（iFFT）的方法。iFFT 能在所有深度上保持一致的特征分辨率，有效减少重构伪影，同时更精确地恢复音频信号。在解码器部分中，使用短时傅立叶变换（STFT）来表示目标音频信号 X~ 

此外，WavTokenizer 在解码器中引入了注意力模块，并设计了扩展的上下文窗口来增强语义信息的建模能力。研究表明，使用更大的上下文窗口（例如 3 秒）有助于捕捉更多的语义信息，提升模型对长音频序列的重构质量。这种方法能够更好地处理音频中的静音段，提高了重构结果的连贯性和自然度。通过将注意力网络与逆傅里叶变换结合，WavTokenizer 在极低码率下实现了高质量的音频重构。

将WavTokenizer的上下文建模窗口扩展到3秒，注意力模块将进一步改善训练过程中的编解码器重建。这可能是因为一秒钟的剪辑，包括沉默，可能包含不足的语义信息。增加上下文建模窗口大小有助于编解码器模型更好地捕获上下文。我们通过详细的消融研究验证了这些发现。在我们的实验中，我们还发现在WavTokenizer中引入注意力模块只对解码器有益。

多尺度判别器与复数STFT判别器的设计

为了进一步优化生成音频的质量，WavTokenizer 引入了多尺度判别器（MSD）和复数短时傅里叶变换（STFT）判别器。这些判别器能够在不同时间尺度和频谱范围内对生成的音频进行评估。模型使用了对抗性损失（adversarial loss）和特征匹配损失（feature matching loss）进行联合优化。与现有模型相比，这种创新设计能够更好地保留音频的细节信息和语义内容，提高了音频重构的主观质量。

端到端优化策略，实现高效压缩

WavTokenizer 采用了端到端的优化策略，同时考虑时间域和频率域的重构损失。与现有的多量化器层模型相比，WavTokenizer能够在单量化器条件下实现更高效的音频压缩。在 24kHz 采样率下，每秒音频仅需 40 或 75 个离散token，这大大减少了模型的带宽需求，同时保持了高水平的音频重构质量。

这些技术创新使得WavTokenizer能够在单量化器结构下实现音频的极致压缩和高质量重构，同时提供丰富的语义信息表达能力。我们相信，这一模型将为音频语言建模的未来应用提供新的可能性。

实验验证：WavTokenizer的卓越性能

为了验证 WavTokenizer 在音频语言建模中的实际效果，我们在多个数据集上进行了广泛的实验，涵盖了语音重构、语义信息评估和消融研究。结果显示，WavTokenizer 在多个指标上均优于现有的最先进模型，展现了其卓越的压缩效率、重构质量和语义表达能力。在LibriTTS测试集上的语音重构实验中，WavTokenizer-small在0.9 kbps的压缩率下，仅使用一个量化器和75个token，就实现了4.05的UTMOS得分，显著超越了使用9个量化器和900个token的DAC模型的3.91分。这一结果表明，WavTokenizer在极低码率下依然能够保持卓越的音频重构质量，接近人类听觉感知水平。相比于需要多个量化器的复杂模型，WavTokenizer在使用单一量化器、40个token的条件下，也展现出高效的压缩率和优异的重构效果，大大降低了计算成本。同时，在PESQ等感知语音质量指标上，WavTokenizer表现与多量化器模型相当甚至更优，进一步验证了其在单量化器设置下对音频质量的强大保持能力。

在语义信息评估方面，我们使用ARCH基准评估了WavTokenizer在不同音频任务中的表现。结果显示，WavTokenizer在情感语音、歌曲（RAVDESS）和口语理解（SLURP）等多领域任务中，表现优于使用更多量化器的Encodec和DAC，展现出卓越的语义捕捉能力。这一结果说明，WavTokenizer不仅能够在极限压缩条件下保持高质量的重构，还能在语义信息表达方面提供强大支持，为下游任务带来更高的应用价值。

为了深入研究WavTokenizer中各个模块的贡献，我们还进行了消融实验，验证了VQ空间扩展、上下文窗口长度的作用。实验结果表明，扩展VQ空间能够显著提高音频重构质量，从而验证了VQ空间优化对模型性能的关键作用；增加上下文窗口长度也有助于更好地捕捉语义信息，尤其是在处理长音频序列时表现突出。

通过这些实验，WavTokenizer 展现出在极限压缩率和长序列生成任务中的强大适应性和稳定性，证明了其在音频压缩、重构质量和语义表达能力方面的全面优势。这些结果不仅为音频语言建模提供了新的可能性，也为未来多模态大模型的音频处理与生成提供了一个更高效、更有潜力的解决方案。

进一步探索

由于训练成本较大，我们将在十月之前补充WavTokenizer-medium，WavTokenizer-large版本的实验结果，以及在audio和music领域codec重建性和语义丰富性的实验。同时将进一步探索WavTokenizer模型在下游生成任务例如text-to-speech和GPT-4o范式任务上的性能，并且补充更多的消融实验结果。

总 结

在本文中，我们提出了一个新的离散声学编解码器模型——WavTokenizer，旨在解决音频语言建模中压缩效率和重构质量之间的权衡问题。与现有的多量化器模型相比，WavTokenizer通过一系列技术创新，包括扩展矢量量化（VQ）空间、改进的解码器架构（结合逆傅里叶变换和注意力机制）、扩展的上下文建模窗口、多尺度判别器和复数STFT判别器的设计，实现了在单量化器架构下的高效音频压缩和高质量音频重构。实验结果表明，WavTokenizer在LibriTTS、RAVDESS、SLURP等多个数据集上的重构质量和语义信息表达方面，均优于当前最先进的模型。

通过对模型架构的改进和优化，WavTokenizer在保持高效压缩的同时，成功减少了模型的计算复杂性和带宽需求，在24kHz采样率下每秒音频仅需40或75个离散token。这一工作不仅验证了单量化器模型的可行性，还为音频生成和语义建模的未来发展提供了新的视角和方向。未来，我们计划进一步扩展模型的应用场景，探索WavTokenizer在更多下游任务和多模态数据处理中的潜力。

SpeechTokenizer: Unified Speech Tokenizer for Speech Language Models

语音语言模型的统一语音标记器

https://github.com/ZhangXInFD/SpeechTokenizer

SpeechTokenizer: Unified Speech Tokenizer for Speech Language Models

SpeechTokenizer是一个统一的语音语言模型的语音分词器，它采用了编码器-解码器架构与残差矢量量化（RVQ）。统一语义和声学标记，SpeechTokenizer在不同的RVQ层上分层地解开语音信息的不同方面。具体地，RVQ的第一量化器输出的代码索引可以被认为是语义令牌，并且其余量化器的输出主要包含音色信息，其用作对由第一量化器丢失的信息的补充。

目前的Speech Langauge Model(speech LM)大多依赖于语音的离散表示。具体来说，这些模型首先将连续的语音信号转换成离散的tokens，进而像处理文本一样以自回归的方式进行训练，再通过一个解码器将离散tokens恢复为语音。

比较常用的语音离散表示大致可分为两种：语义semantic token和 声学acoustic token。token如其名，通常认为semantic token建模语音中较为global的内容信息，它们来自于以mask langauge modeling为training objective的自监督预训练模型，比较常见的有HuBERT, W2VBERT等；acoustic token建模语音中的局部声学细节，通常来自于以reconstruction为training objective的neural audio codec，比较常见的有SoundStream, EnCodec。

基于这两种token，目前已有的speech LM建模范式大致可分为三类：

  1. Semantic language models: 基于semantic token的自回归模型，常外接一个unit-vocoder来恢复语音，比如SpeechGPT。这类模型虽然可以完成一些语音内容相关的任务，但是它们产生的音质比较一般，并且无法完成一些副语言学相关的任务，比如音色转换等。
  2. Acoustic language models: 基于acoustic token的speech LM，比如VALL-E。这类模型产生的语音音质比较好，并且可以较好地完成一些比如zero-shot TTS的任务，但是会存在内容不准确的问题。
  3. Hierarchical speech language models: 这类模型由Semantic language models和Acoustic language models 级联而成，既可以产生比较精确的内容，也可以产生较好的音质，比如AudioPaLM。但是这类模型，建模阶段太多，较为复杂，需要两种tokenizer的参与；而且在semantic token和acoustic token之间其实存在有很大的信息冗余，会带来一些不必要的建模难度。

因此，如果想要打造好的speech LM，需要有一个理想的speech tokens，它应该具有以下两个特征：

  1. 和文本的对齐程度比较高
  2. 保留了语音中各个方面的信息

但是现有的speech tokens都不是专门为构建speech LM而设计的，并不清楚它们和speech LM的适配性。因此我们建立了SLMTokBench来评估不同类型speech token在构建speech LM方面的适用性。它从文本对齐程度和信息保留程度两个方面来量化分析speech tokens，具体评测方法可以看我们论文。通过SLMTokBench，我们发现semantic tokens和文本的对齐程度比较高，但是损失了语音中很大一部分说话人信息。acoustic tokens保留了语音中的各个方面信息，但是和文本的对齐程度不够高。因此，他们都不适合于构建speechLM。

方法

虽然说SoundStream和Encodec这样的基于RVQ-VAE的压缩建模方法包含了语音的声学特征，但其中也不可避免地带入了语义特征。二者提取的实际上更像是一种语义特征和声学特征的混合体。基于此，SpeechTokenizer在二者的基础上，引入了语义引导信息来解耦语义特征和声学特征。语义特征和声学特征的解耦对于最终的语音合成有着相当的重要性。SpeechTokenizer的具体做法是：使用HuBERT的特征对RVQ1的特征做语义蒸馏，其余部分保留声学信息。

基于此，我们想统一semantic token和acoustic token，我们提出了SpeechTokenizer，它基于EnCodec架构，在不同的RVQ层上对语音信息进行解耦和分层建模，从而让第一层token建模语音中的内容信息，剩下几层token补充除内容信息之外的其他信息，如下图。这是首个专为speech LM设计的语音离散化工具。

具体实现方法为在EnCodec的整体框架上，使用HuBERT representation对RVQ-1的quantized output进行semantic guidance，从而达到第一层token建模语音中的内容信息的效果，并且残差结构会使得剩下的几层来补充内容信息之外的其他信息。使用EnCodec的基于卷积的编码器-解码器网络，该网络使用选定的步幅因子执行时间缩减。值得注意的是，我们已经用两层BiLSTM代替了最初在EnCodec编码器中的卷积块之后的两层LSTM，以增强语义建模能力。我们对附录B中的模型结构进行了消融研究。我们使用残差向量量化（RVQ）来量化编码器的输出，RVQ是一种可以在初始量化步骤之后使用不同码本来量化残差的方法。有关模型结构的更多详细信息，请参见附录D。 在训练期间，语义教师提供语义表示以指导残差量化过程。

并且基于SpeechTokenizer，我们可以统一上面讲的三种speech LM建模范式，从而构建unified speech language model(USLM),模型结构如下图。

在SpeechTokenizer上构建一个统一的语音语言模型。它由自回归模型和非自回归模型组成，可以对语音信息进行分层建模。自回归（AR）模型通过对来自第一RVQ量化器的令牌进行建模来捕获内容信息。非自回归（NAR）模型通过从以第一层令牌为条件的后续量化器生成令牌来补充AR模型的语言信息。我们在零拍TTS任务上验证了统一语音语言模型的有效性。

回归（AR）模型通过对来自第一RVQ量化器的令牌进行建模来捕获内容信息。非自回归（NAR）模型通过从以第一层令牌为条件的后续量化器生成令牌来补充AR模型的语言信息。

NAR模型可以是条件流匹配[speech-Gen]、扩散模型 【Seed-TTS】等

在推理过程中，我们将文本输入转换为音素序列，将语音提示转换为语音标记。它们连接在一起形成AR和NAR模型的提示。在此基础上，AR模型生成第一级令牌，而NAR模型迭代地生成后续级别的令牌。由AR和NAR模型生成的令牌然后被连接以构造语音令牌矩阵。最后，我们使用SpeechTokenizer解码器来生成以完整令牌矩阵为条件的波形。

Speech Language Model Token Benchmark：

文本对齐评估：

下游模型采取语音令牌作为输入。具体来说，对于每个离散表示，我们首先建立一个嵌入矩阵，该矩阵可以随机初始化，也可以从离散化过程中获得的k均值质心矩阵或矢量量化码本中导出。我们使用嵌入矩阵来嵌入离散表示并获得连续表示，然后将其输入下游模型。我们在LibriSpeech train-clean-100子集上训练下游模型，并使用dev-clean子集来估计互信息。我们还计算了测试集上的单词错误率（WER）。

信息保存评估：

为了评估离散语音表示中语音信息的保留，我们将语音令牌转换回语音，并通过内容和音质的自动度量来评估重新合成的语音。我们训练一个单元-HiFIGAN（Polyak 等人，2021）在LibriSpeech数据集上将HuBERT单位转换为波形。值得注意的是，为了避免额外信息的干扰，我们在训练期间不提供任何说话人信息。对于Encodec令牌，我们使用Encodec解码器直接产生波形。通过使用Whisper en-medium模型转录重新合成的语音来计算WER来评估内容保存（拉德福 等人，2023年）。通过利用WavLM-TDNN（Chen 等人，2022）来计算合成语音和地面实况语音之间的说话人相似度。 我们从LibriSpeech测试集中随机抽取300个语音样本进行评估。

比较语义 & 声学令牌

我们使用HuBERT L9单元来表示语义令牌，使用EnCodec代码来表示声学令牌语义标记实现了与文本的高互信息，但其重新合成的语音具有低说话人相似性。声学标记实现低WER和高说话人相似度的再合成语音，但与文本的互信息低。

SpeechTokenizer

模型结构

我们的模型基于 RVQ-GAN 框架，遵循与 SoundStream和 EnCodec相同的模式。如图 2 所示，模型使用了 EnCodec 中基于卷积的编码器-解码器网络，通过选择的步长因子进行时间下采样。值得注意的是，我们将 EnCodec 编码器中卷积模块后原本使用的两层 LSTM 替换为两层 BiLSTM，以增强语义建模能力。我们在附录 B 中进行了模型结构的消融研究。我们使用残差矢量量化（RVQ）对编码器输出进行量化，这种方法可以在初始量化步骤后使用不同的码书对残差进行量化。模型结构的进一步细节可参见附录 D。在训练期间，一个语义教师为残差量化过程提供语义表示指导。

语义提炼

为了实现跨不同RVQ层的不同信息的分层建模，我们采用语义指导的第一个量化器，使其能够捕获内容信息。利用残差结构使得后续量化器能够补充剩余的非语言信息。

我们采用HuBERT（Hsu 等人，2021）作为我们在这项研究中的语义老师，因为HuBERT被证明包含大量的内容信息（Mohamed 等人，2022年）。我们介绍了两种类型的蒸馏：连续表示蒸馏和伪标签预测。

对于连续表示蒸馏，我们采用第9层HuBERT表示或所有HuBERT层的平均表示作为语义教师。训练目标是最大化RVQ第一层和语义教师表示的输出之间的所有时间步长在维度级别上的余弦相似性。形式上，连续蒸馏损失定义为：

其中 𝐐1 和 𝐒 分别表示RVQ第一层和语义教师表示的量化输出。 𝐀 表示投影矩阵， D 是语义教师表征的维度。上标 (:,d) 表示包括来自维度 d 处的所有时间步的值的向量。 cos⁡(⋅) 表示余弦相似性， σ⁢(⋅) 表示S形激活。这种连续蒸馏损失函数偏离了常用的方法，该方法基于学生和教师模型在同一时间步输出的表示来计算损失。附录C对这两种方法进行了比较分析。

对于伪标签预测，我们采用HuBERT单元作为目标标签。培训目标如下：

其中 𝐪1t 和 𝐮t 分别表示第一VQ层和HuBERT单元在时间步t的量化输出。 T 表示时间步长的数量， 𝐀 是投影矩阵。

Training Objective

我们的训练方法包括重建任务和语义蒸馏任务。在重建任务中，我们采用了GAN目标，优化了重建项，判别损失项和RVQ承诺损失的组合。在语义蒸馏任务中，训练目标涉及语义蒸馏损失项。在下文中， 𝐱 表示语音信号，并且 𝐱^ 表示通过网络重构的信号.

重建损失重建损失包括时域和频域损失。鉴别损失我们使用与HiFi-CodecYang等人（2023）相同的鉴别器，其中包括三个鉴别器：基于多尺度STFT（MS-STFT）的鉴别器;多周期鉴别器（MPD）和多尺度鉴别器（MSD）。鉴别器的更多详细信息可参见附录D。对抗性损失用于提高感知质量，并且它被定义为在多个鉴别器上和在时间上平均的在多个鉴别器的logits上的铰链损失。RVQ Commitment Loss 我们在预量化值和其量化值之间添加承诺损失 ℒw ，而不为量化值计算梯度。RVQ承诺损失被定义为： ℒw=∑i=1Nq∥𝐳i−𝐳qi∥22. ，其中 𝐳i 和 𝐳qi 分别表示对应码本中的当前残差和最近条目。

通常，生成器被训练以优化以下损失：

RVQ token中信息解耦的效果如何？

我们做了one-shot voice conversion的实验。具体做法为把source speech的RVQ-1 token和reference speech的RVQ-2:8 token拼在一起送到decoder中得到converted speech。我们发现这种简单拼接RVQ token的做法也可以有不错的音色转换的效果，说明信息解耦是比较成功的。可以到我们的demo page上听效果。

SpeechTokenizer能否直接应用到unseen langauge上？

SpeechTokenizer在训练过程中只见过英语，我们直接用它直接来tokenize 德语和中文speech。发现RVQ-1送到decoder得到的speech比较机械，没有音色和韵律，说明也有比较好的解耦效果，大家可以去project page听demo。从下面频谱图也可以看出RVQ-1得到的语音丢掉了一些如共振峰等特征。