Zero-shot TTS –微软研究院 VALL-E系列论文阅读

微软研究院发布了一系列的TTS相关的论文：

• VALL-E
• VALL-E X
• VALL-E R
• VALL-E 2
• MELLE
• RALL-E

微软研究院;https://www.microsoft.com/en-us/research/project/vall-e-x/

VALL-E:https://arxiv.org/abs/2301.02111

VALL-E X https://github.com/Plachtaa/VALL-E-X https://arxiv.org/abs/2303.03926

VALL-E R https://arxiv.org/abs/2406.07855

VALL-E 2 https://arxiv.org/abs/2406.05370

MELLE https://arxiv.org/abs/2407.08551

RALL-E https://arxiv.org/abs/2404.03204

综述：

我们介绍了一种用于文本到语音合成（TTS）的语言建模方法。具体而言，我们使用从一个现成的神经音频编解码器模型中提取的离散编码训练了一个神经编解码器语言模型（称为 VALL-E），并将 TTS 视为一个条件语言建模任务，而不是像以往工作中那样的连续信号回归任务。VALL-E 展现了上下文学习的能力，只需一个未见过的说话者3秒钟的录音作为提示，就可以合成高质量的个性化语音。VALL-E 在语音自然度和说话者相似性方面显著优于现有的零样本 TTS 系统。此外，VALL-E 可以在合成时保留提示音频中的说话者情感和声学环境。为了扩展其能力，VALL-E X 能够适应多语言场景，促进跨语言零样本 TTS。而 VALL-E R 引入了音素单调对齐策略，增强了语音生成的稳健性。通过整合重复感知采样和分组编码建模技术，VALL-E 2 实现了一个突破性的里程碑：在 LibriSpeech 和 VCTK 数据集上达到了零样本 TTS 性能的“人类水平”。这是该领域首次取得如此成就，设立了新的标准。MELLE 是一种新颖的基于连续值标记的语言建模方法，用于文本到语音合成（TTS）。MELLE 直接从文本条件中自回归地生成连续的 mel 频谱图帧，绕过了矢量量化的需求，后者最初是为音频压缩设计的，与 mel 频谱图相比，会牺牲保真度。

尽管VALL-E系列在用GPT 【decoder only 模型】建模token的上下文关系的时候，基于token的层次化特性做了分治处理，可能是限于当前语音数据集的规模(几万小时可能不够)，这种GPT自回归的难度还是相当大的，解码过程存在常见的错误传播现象，鲁棒性非常差，极其不稳定。根据Ilya Sutskever此前对于自回归的论述，GPT自回归相比于BERT这种双向结构是非常data-hungry的，几万小时的数据可能不够，至少需要十几万小时的数据。既然GPT自回归的难度这么大，就有不少人想方设法地来降低GPT学习的难度了。解决方案也非常类似：给GPT提供额外的条件信息不就行了。比较典型的工作就是微软的RALL-E，RALL-E先生成了时长信息和音高信息，作为GPT【only decoder】自回归的先验，之所以会补充时长和音高，这大概是受到FastSpeech2这样的非自回归模型的启发，这两个指标的引入，有助于提升合成的鲁棒性。

VALL-E

论文：https://arxiv.org/abs/2301.02111

VALL·E也和VQVAE类似，将音频量化成一系列离散tokens，其中第一个量化器负责捕捉音频内容和说话者身份特征，后几个量化器则负责细化信号，使之听起来更自然。随后以文本和3秒钟的声音提示作为条件，自回归地输出第一层离散音频编码，NAR根据上一层的输出，并行输出第二到第八层的离散编码。

条件编解码器语言建模。

神经语音编码器模型使我们能够对离散音频表示进行操作。由于神经编码器模型中的残差量化，令牌具有层次结构：来自先前量化器的令牌恢复声学属性，如说话者身份，而连续量化器则学习细微的声学细节。每个量化器的训练旨在建模来自前一个量化器的残差。因此，我们设计了两个以层次方式进行的条件语言模型。

对于来自第一个量化器的离散令牌 C_:,1​，我们训练一个自回归（AR）解码器语言模型。该模型以音素序列 x和声学提示 C^~_:,1​ 为条件，公式化为：

由于 VALL-E 是一个仅解码的语言模型，c^~:,1​ 和 c:,1​ 的拼接形成一个完整的序列，在训练过程中我们并不区分它们或插入特定的标记。只有c:,1​ 在推理时被预测，而前缀 c^~:,1​ 在推理中给出。

对于从第二个到最后一个量化器的离散令牌 c_:,j​（其中 j∈[2,8]），我们训练一个非自回归（NAR）语言模型。由于在 NAR 方式中，令牌之间无法相互访问，因此使用声学提示矩阵 C^~ 作为声学提示，从而约束说话者身份。因此，模型以音素序列 x、声学提示 C^~ 和属于前一个代码本的预测声学令牌 C_:,<j​ 为条件进行训练：

AR 模型和 NAR 模型的结合在语音质量和推理速度之间提供了良好的平衡。一方面，生成语音的速率应与已注册的录音一致，但由于不同说话者的语速可能差异很大，训练一个针对不同说话者的长度预测器是困难的。在这种情况下，AR 模型是更自然的选择，因为它在声学序列长度预测上具有灵活性。另一方面，对于后续阶段，由于输出槽的数量遵循第一阶段的序列长度，NAR 可以将时间复杂度从O(T) 降至 O(1)。总体而言，C 的预测可以建模为：

自回归编解码语言建模：

自回归语言模型生成来自第一个量化器的标记。该模型包括音素嵌入 Wx​、声学嵌入 Wa​、一个变换器解码器和一个预测层。为了生成具有特定内容的语音，我们使用音素序列作为语言模型的音素提示。因此，模型输入是 x 和 c_:,1​ 的连接，并在每个序列后附加两个特殊的 <EOS> 标记。我们为提示和输入标记分别计算波动的位置嵌入。对于因果变换器模型，每个标记 c_t,1​ 可以关注到(x,c_<t,1​)。该模型的优化目标是最大化第一个代码本中下一个标记的概率。我们共享输出投影层的参数与声学嵌入 Wa​ 的参数。

在自回归模型中，我们不在训练时显式提取音频片段作为提示。训练过程完全是因果语言模型训练。通过这种方式，任何前缀序列c_<t,1​ 被视为后续序列 c_≥t,1的提示。在推理过程中，给定已注册的录音，我们应将已注册录音的音素序列与合成的音素序列连接起来。同时，将已注册录音的声学标记序列用作自回归解码中的前缀。

在通过自回归模型获得第一个量化器的代码后，我们使用非自回归（NAR）模型生成其他七个量化器的代码。NAR 模型的架构与 AR 模型类似，只是包含八个独立的声学嵌入层。在每个训练步骤中，我们随机抽取一个训练阶段i∈[2,8]。该模型的训练目标是最大化来自第 i 个量化器代码本的声学标记。来自阶段 1 到阶段i−1 的声学标记被嵌入并求和作为模型输入：

其中 ⋅ 表示索引选择。音素序列同样被视为语言模型的提示。此外，为了克隆给定说话者的独特声音，我们还使用来自已注册语音的声学标记作为声学提示。具体来说，我们首先使用神经编解码模型对已注册语音进行标记，得到C^~T×8​。来自八个代码本的嵌入表示被求和作为声学提示。为了预测来自第 i 个代码本的声学标记，变换器输入是音素嵌入ex​、声学提示 e_^c~​ 和 c_:,<i​ 的连接。位置嵌入也分别为提示和声学序列计算。当前阶段 iii 通过自适应层归一化（AdaLN）操作注入到网络中，即 AdaLN(h,i)=a_i​LayerNorm(h)+b_i​，其中 h 是中间激活，a_i​ 和 b_i​ 是通过阶段嵌入的线性投影获得的。与 AR 不同，NAR 模型允许每个标记在自注意力层中关注所有输入标记。我们还共享声学嵌入层和输出预测层的参数，这意味着第 j 个预测层的权重与第 j+1 个声学嵌入层相同。

VALL-E X

论文：https://arxiv.org/abs/2303.03926

受VALL-E启发的跨语言编解码语言模型VALL-E X：受VALL-E的启发，跨语言编解码语言模型VALL-E X（记为φ）利用一个多语言自回归编解码语言模型和一个多语言非自回归编解码语言模型来生成不同粒度的声学标记，如图2左侧所示。我们还采用了神经编解码模型EnCodec [Défossez等人，2022] 作为声学量化器，这是一个具有L层量化层的编码器-解码器模型。在我们的实验中，我们选择L = 8，每一层以75Hz的频率生成1024个条目的量化码。

多语言自回归编解码语言模型：多语言自回归编解码LM_φMAR是一个单向Transformer解码器，它基于语义标记（音素序列）自回归地生成声学标记。为了使句子级训练更高效并在推理过程中加速解码，类似于VALL-E，跨语言自回归编解码LM_φMAR仅用于预测EnCodec模型第一层量化器的声学标记。

形式上，基于任何语言中的配对语音-转录数据，设S表示转录的音素序列，A_:,1 = {a_i,1 | i = 1, …, N} 表示从语音X中提取的第一层声学标记。解码器φMAR建模拼接序列〈S, A:,1〉，并被训练来自回归地预测A_:,1。通过最大化对数似然来进行优化：

⟨⟩ 表示序列拼接操作。p(⋅) 是softmax函数。

多语言非自回归编解码语言模型：与自回归生成模式不同，多语言非自回归编解码语言模型φMNAR是一个非自回归Transformer语言模型，旨在迭代地从第一层生成其余层的声学标记。它由当前句子的音素序列 S 和具有相同说话人的另一句子的声学标记序列 A^~ 提示。这里的 A^~ 通常取自数据集中的前一句子，这些调整后的句子通常是从同一段落中分割出来的。预期 A^~ 具有与当前句子相同的语音特征（如说话人、语速、背景等），并用作克隆目标语音的额外参考。

类似于VALL-E，对于生成每一层l∈[2,8] 的声学标记，前l−1层声学标记A_:,1:l−1​的嵌入按层相加作为输入。第 l 层声学标记 A_:,l​ 的学习目标可以计算为：

其中〈〉表示序列拼接。pNAR(.) 计算 A:,l 的逐点概率。

多语言训练：为了学习跨语言的声学转换信息，以支持跨语言TTS和语音到语音翻译任务，我们利用双语语音-转录（ASR）语料库，即 (Ss, As) 和 (St, At) 的配对数据来训练我们的多语言编解码语言模型 φMAR 和 φMNAR，其中 s 和 t 分别代表两种不同的语言（源语言和目标语言）。

语言ID模块：借鉴多语言TTS的方法，我们使用语言ID来指导VALL-E X中特定语言的语音生成。一方面，如果没有语言ID，VALL-E X可能会因为在多语言数据上进行训练而难以选择适合特定语言的声学标记。另一方面，某些语言具有非常不同的特征，例如，中文是一种声调语言，而英语是非声调语言，这增加了跨语言调整说话风格的难度。我们的实验发现，在多语言自回归编解码语言模型 φMAR 的输入中添加语言信息对于引导正确的说话风格和缓解L2口音问题非常有效，这一点将在第5.5节中详细介绍。具体来说，我们将语言ID嵌入到密集向量中，并将其添加到声学标记的嵌入中。

跨语言推理：

训练完成后，VALL-E X 可以执行跨语言语音合成，如图 3 所示。具体来说，我们首先将源音素 Ss 和目标音素St 作为提示符进行拼接，并将第一层源声学标记A_:,1s​ 作为解码前缀，基于此，多语言自回归编解码语言模型ϕMAR​ 生成第一层目标声学标记A:,1t​

其中 ∼ 表示基于概率的采样。采样过程会在{<end-of-sentence>} 标记被采样到时停止。如 3.3 节所述，语言 ID 用于控制生成语音的说话风格。在从ϕMAR​ 获得第一层目标声学标记 A:,1t​ 后，使用多语言非自回归编解码语言模型 ϕMNAR​ 来预测剩余的声学标记层 {A:,lt​∣l=2,…,8}，通过贪心搜索，即选择最大概率的标记，

最后，我们使用 EnCodec 的解码器来综合完整的目标声学标记 A_:,1:8t​ 生成目标语音。

VALL-E R

论文：https://arxiv.org/abs/2406.07855

一种鲁棒且高效的零样本 TTS 系统，名为 VALL-E R。我们首先介绍了编解码器合并方法，该方法可在不重新训练编解码器的情况下提高推理速度，然后阐述了仅解码器神经编解码器 LM 中的单调对齐策略。

编解码器合并方法。

在借鉴 Encodec 基础工作的基础上，我们引入了合并编码器的概念。这一创新方法通过改变推理前向过程，实现了在各层离散码的下采样，显著地提高了对音频数据表示的高效操作。这一突破无需对模型进行重新训练或微调，标志着在音频数据表示操作上的重要进展。

如图 2 所示，所提出的编码器在视觉上进行了描述。整体架构与 Encodec 保持一致，包括以下三个组件：1）基于卷积的编码器，将波形数据x^1×L​ 映射为潜在表示序列 z^F×T​，其中 F 是通道数，T 是提取码的长度；2）解码器，从量化的潜在表示 z^^F×T​ 中重建数据 x^^1×L​ ；3）8 层残差向量量化器（RVQ）模块，可以将连续的潜在向量 z^F×T​ 逐步转换为离散码表示 C^8×T​。主要区别在于，我们的合并编码器在向量量化器模块之前插入了一个编码器合并模块，以对表示 z^F×T​ 进行下采样。

假设第 d 层的合并率为 m_d​，r_d^F×T​ 代表第 d 层的残差输入。合并编码器模块包含两个步骤：第一步是通过平均池化将残差输入r_d​^F×T 下采样为 r_md^{​​F×(T/md​)}，然后通过repeat操作将 r_md​​ 上采样回其原始长度。接着，经过合并模块处理的残差表示将被输入到后续的 VQ 层，通过对码本嵌入进行最近邻查找，量化为离散码C_d^1×T​。通过合并模块，我们确保了连续 m_d​ 帧的码的一致性，从而降低了 C_d^1×T 的分辨率。

具有单调对齐的神经编解码器 LM

以前，单调策略仅适用于编码器-解码器结构。 为了解决基于解码器-仅 Transformer 的 TTS 中的鲁棒性问题，我们将音素预测集成到神经编解码器 LM 的训练中，并在推理过程中设计了单调对齐策略。 概述如图 3 所示。

为了在语音质量和推理速度之间取得良好的平衡，我们的 VALL-E R 包含两个模型：自回归 (AR) 和非自回归 (NAR)，这与 VALL-E (Wang et al., 2023a) 相一致。 具体来说，给定一个训练数据对 {𝐬,𝐩}，其中 𝐬 是语音样本，𝐩={p1,p2,…,pL} 是其相应的音素转录。 然后，编解码器合并模型用于将语音波形 𝐬 压缩成具有 8 个量化器的离散声学符元 𝐀，公式为：MergeCodec⁢(𝐱)=𝐀^8×T={𝐚1,…,𝐚8}，其中 T 是离散码的长度，𝐚i={a1,…,aT} 表示第 i 层的符元。 由于 VALL-E R 的训练需要对齐的音素和声学符元，因此此处采用对齐工具将 𝐩 与声学符元 𝐀 对齐，表示为 𝐩^1:T={p1^,p2^,…,pL^}，其中 p^i 包含 Ni 个重复的 pi 和 ∑_i=1^LN_i=T。

对于 AR 阶段，为了增强音素和声学序列之间的联系，我们构建了一个神经编解码器 LM θA⁢R，以使用音素预测对来自编解码器合并模型的第一个量化器的离散声学符元 𝐚1:T1 进行建模。 如图 3 所示，它以音素序列 𝐩 为条件，同时生成声学符元 𝐚1:T1 和对齐的音素 p^1:T，公式为最大化以下概率：

在第二阶段，我们训练了一个 NAR LM θN⁢A⁢R，以从第 2n⁢d 到第 8-t⁢h 层量化器迭代地生成声学符元。 它以音素序列 𝐩、先前几层生成的声学符元 𝐚1:n 和音素对齐 l1:T 为条件，以预测下一层声学符元 𝐚n+1，公式为最大化：

我们还共享声学嵌入层和输出预测层的参数，这意味着第 j 个预测层的权重与第 (j+1) 个声学嵌入层相同。

在推理过程中，利用语言模型强大的上下文学习能力，我们提出的 VALL-E R 可以通过自回归预测声学和音素来自动克隆提示中说话人的音色和韵律。 由于 VALL-E R 明确地对音素进行建模，因此它对韵律具有很强的控制力：当我们在推理过程中使用预设的音素序列替换自预测的音素序列时，我们可以使用预设的韵律来生成语音，从而实现分别控制韵律和音色的效果。 它也可以被认为是一种语音转换任务，其目标是在不改变源语音的语言信息和韵律的情况下，使目标语音的音色听起来像提示语音。

VALL-E 2

论文： https://arxiv.org/abs/2406.05370

基于其前身 VALL-E，新迭代引入了两项重大增强功能：重复感知采样通过考虑解码历史中的词符重复来改进原始核心采样过程。 它不仅稳定了解码，还避免了无限循环问题。 分组代码建模将编解码器代码分组，有效缩短序列长度，不仅提高了推理速度，还解决了长序列建模的挑战。 

基于过往经验，研究员们发现 VALL-E 在推理中使用的随机采样可能会导致输出不稳定。尽管错误编码（图3中的红色方块）的概率很低，但由于采样步骤太多，它们仍然不可避免地会被采样到。为了稳定推理过程，通常会利用 Nucleus 采样来从累积概率低于预设阈值的最可能标记集合中进行采样。Nucleus 采样方法可以减少说错词的错误，但也可能导致模型为了减少错误而只生成静音。

因此，为了平衡随机采样和 Nucleus 采样，研究员们提出了重复感知采样的方法。在给定 AR 模型预测的概率分布基础上，研究员们首先使用预定义的 top-p 值通过 Nucleus 采样生成目标编码。然后使用固定的窗口大小来计算预测编码在前面的编码序列中的重复比例。如果重复比例超过预定义的重复阈值，研究员们就会使用随机采样从原始概率分布中获得新的预测结果来替换原来的目标编码。通过这种重复感知采样的方法，解码过程既可以受益于 Nucleus 采样的稳定性，还可以借助随机采样避免陷入静音的无限循环。

继VALL-E之后，我们使用现成的神经音频编解码器模型将语音信号表示为离散编解码器代码序列，并将TTS视为条件编解码器语言建模任务。 为了提高效率，VALL-E 2引入了分组编解码语言建模方法，将编解码代码序列划分为一定大小的组，并将每组编解码代码建模为一帧。 这样我们就可以摆脱现成的神经音频编解码模型的帧率约束，将帧率降低整数倍。 它不仅有利于推理效率，而且通过缓解长上下文建模问题也有利于整体语音质量。

通过 TTS 训练目标，VALL-E 2 被优化以最大化给定文本条件的分组代码序列的可能性。 具体来说，给定一个音频样本 𝐲 及其相应的标记化文本转录 𝐱=[x0,x1,…,x(L−1)]，其中 L 是文本序列长度，我们首先使用预训练的神经音频编解码器模型，用于将音频样本𝐲转换为编解码器代码序列𝐂^T×J=[𝐜0,𝐜1,…,𝐜(T−1)]，其中T是代码序列长度，J（这里J=8)是编解码器模型中量化器的数量，每个𝐜t代表每个时间步的8个代码。 然后我们将其划分为分组代码序列𝐂^G=[𝐂_0:G,𝐂_G:2⁢G,…,𝐂_(T−G):T]，组大小为G,𝐂_0:G代表组[𝐜0,𝐜1,…,𝐜(G−1)]。 由于话语开头通常有短暂的沉默，我们可以从代码序列的开头剪掉一些代码，让代码序列长度T为组大小的整数倍，而不需要删除任何代码。语音信息。 最后，我们训练 VALL-E 2 模型 θ 以最小化以文本序列 𝐱 为条件的分组代码序列 𝐂_^G 的负对数概率：

其中𝐂_{t⋅G:(t+1)⋅G}是第t组编解码器代码[𝐜t⋅G,…,𝐜((t+1)⋅G−1)],𝐂_<t⋅G是前面(t−1) 组。

推理过程中，VALL-E 2根据提示执行零样本TTS任务。 给定文本输入（包含语音提示的转录和要合成的文本）和来自看不见的说话者的分组编解码器代码，作为条件和提示，该模型可以生成具有相应内容和说话者语音的目标分组编解码器代码。 具体来说，给定文本序列𝐱和未见过的说话人的登记语音样本𝐲′，我们可以获得相应的分组代码序列𝐂^P=𝐂_<T′^G=[𝐂0:G,𝐂G:2⁢G,…,𝐂(T′−G):T′]。 然后，我们以文本序列 𝐱 和代码提示 𝐂^P 为条件生成目标分组代码序列 𝐂^T=𝐂_≥T′^G=[𝐂T′:(T′+G),…,𝐂(T−G):T]：

最后，我们可以使用现成的神经编解码器将目标代码序列 𝐂^T 转换为目标语音波形。

在 VALL-E 的基础上，VALL-E 2 还使用分层结构：自回归 (AR) 编解码器语言模型和非自回归 (NAR) 编解码器语言模型。 AR模型以自回归的方式生成每一帧的第一编解码器代码的序列，而NAR模型以非自回归的方式基于前面的代码序列生成每个剩余的代码序列。 两种模型都使用相同的 Transformer 架构，其中包含文本嵌入层、代码嵌入层和代码预测层。 我们对来自不同编解码器量化器的代码使用不同的嵌入，并与代码嵌入层的参数共享代码预测层的参数。 此外，AR模型还有一个组嵌入层，用于将代码嵌入投影到组嵌入，以及一个组预测层，用于预测一组中的代码。 NAR模型有一个代码ID嵌入层来指定要预测的代码序列的ID。 AR 模型和 NAR 模型具有不同的注意力掩码策略：AR 模型使用因果注意力策略，而 NAR 模型使用完全注意力策略，如图 2 的右侧所示。

为了加速推理过程，研究员们在 VALL-E 2 中采用了分组编码建模方法，将编码序列划分为一定大小的分组，并将每组编码建模为一步。在自回归模型中，研究员们利用分组嵌入层将编码嵌入结果映射到分组嵌入并作为网络的输入，并在输出层使用分组预测层对一组中的编码进行预测。通过这种方式，现有神经音频编码模型的帧率限制得以摆脱，帧率成倍数地降低得到实现。这不仅有利于推理效率的提高，还可以缓解长上下文建模的问题并提升整体语音质量。

VALL-E 2的训练只需要简单的语音转录对数据，不需要任何复杂的数据，例如力对齐结果或同一说话者的额外音频片段以供参考。 这极大地简化了训练数据的收集和处理过程。

MELLE

论文：https://arxiv.org/abs/2407.08551

ELLE 是一种基于连续值令牌的新型语言建模方法，用于文本到语音合成 （TTS）。MELLE 直接从文本条件自回归生成连续的 mel 频谱图帧，绕过了向量量化的需求，与梅尔频谱图相比，矢量量化最初是为音频压缩和牺牲保真度而设计的。具体来说，（i） 我们应用回归损失和提出的频谱图通量损失函数，而不是交叉熵损失来模拟连续值标记的概率分布。（ii） 我们已将变分推理纳入 MELLE 以促进采样机制，从而提高输出多样性和模型稳健性。实验表明，与两阶段编解码器语言模型 VALL-E 及其变体相比，单阶段 MELLE 通过避免采样离散代码的固有缺陷来缓解健壮性问题，在多个指标上实现卓越的性能，最重要的是，它提供了一个更简化的范式。

MELLE包含以下主要组件：预网络，分别将文本转换为子词标记并在投影之前从语音中提取梅尔频谱图模型尺寸；充当语言模型的自回归 (AR) Transformer 解码器；潜在采样模块，从预测的高斯分布中采样潜在嵌入，然后将其投影回频谱图空间；确定语音结尾的停止预测层和用于声谱图细化的卷积后网络，类似于（Shen等人，2018；Li等人，2019）中描述的方法。 最后，使用声码器从生成的梅尔频谱图中恢复语音。

与迭代预测多层编解码器代码的神经编解码器语言模型不同，由于梅尔谱图的完整性，我们不需要额外的非自回归（NAR）模型。 这种简化显着提高了计算和存储效率。 此外，通过调整缩减因子，MELLE可以一步生成多个梅尔谱图帧，进一步提高效率，同时仍保持卓越的性能。

在每个自回归步骤中，MELLE 预计会根据文本提示 𝒙 和之前生成的 mel- 来预测下一个梅尔谱图帧 𝒚t。

在推理过程中，MELLE通过像VALL-E一样的提示来执行零样本TTS任务。 给定用于合成的文本内容𝒙、文本转录𝒙~和语音提示的梅尔频谱图𝒚~，该模型旨在生成目标梅尔频谱图𝒚对应的内容，同时保留提示中原说话人的特征，每一步的最大似然概率为arg⁢max𝒚⁡p⁢(𝒚t⋅r:(t+1)⋅r∣[𝒙~;𝒙;𝒚~;𝒚<t⋅r];θ)，其中[;]表示串联操作，如果 r=1，则返回标准模式。

我们采用单向 Transformer 解码器作为语言模型（LM），根据文本输入和声学提示自回归生成声学连续特征。 具体而言，输入文本标记 x，在附加了 <EOS> 标记后，首先通过基于其索引的文本嵌入层转换为嵌入表示。同时，我们采用多层感知器（称为 pre-net）将梅尔谱图 𝒚 投影到语言模型维度。 LM 由多头注意力块和前馈层组成，将文本和声学嵌入的串联作为输入来对语义和声学信息之间的依赖关系进行建模。 LM 𝒆t 在时间步 t 的输出随后由 MELLE 的以下模块处理，以合成下一帧输出

我们在MELLE中集成了一种新颖的潜在采样模块，旨在增强表达多样性和鲁棒性，如图2（左）所示。 该模块根据 LM 的输出 𝒆t 预测分布，并从中采样潜在嵌入 𝒛t。

我们使用线性层作为二元分类器，用 𝒆t 来确定生成是否应该结束，如图 2（中）所示。 继之前的神经 TTS 模型（Wang 等人，2017；Shen 等人，2018）之后，我们采用多个卷积块作为后网络来产生残差并添加到 𝒚′={𝒚0′,𝒚1′,…,𝒚T−1′}，得到精炼的梅尔谱图𝒚′′={𝒚0′′,𝒚1′′,…,𝒚T−1′′}，如图2（右）所示。 在训练过程中，模型使用教师强制进行训练；而在推理过程中，后网络在 AR 生成结束后处理𝒚′。

RALL-E

论文：https://arxiv.org/abs/2404.03204

RALL-E背后的核心思想是思想链（CoT）提示，它将任务分解为更简单的步骤，以增强基于LLM的TTS的稳健性。 为了实现这个想法，RALL-E 首先预测输入文本的韵律特征（音调和持续时间），并将它们用作中间条件来预测 CoT 风格的语音标记。 其次，RALL-E利用预测的持续时间提示来指导Transformer中自注意力权重的计算，以强制模型在预测语音标记时关注相应的音素和韵律特征。

 RALL-E的核心思想是CoT提示，生成中间结果来辅助和稳定语音标记的生成，提高基于LLM的TTS的鲁棒性。 为了实现这个想法，我们首先建议在预测语音标记之前预测两种音素级韵律标记：音调和持续时间。 韵律标记的分布由单个 Transformer 与语音标记一起建模，以便它们可以影响预测的语音标记的持续时间和音调。 为了进一步利用预测的持续时间来指导生成并提高鲁棒性，我们提出了持续时间引导的掩蔽来增强语言模型学习的语音标记、音素和韵律标记之间的对齐。 在语音标记的每个解码步骤中，RALL-E 根据持续时间信息屏蔽与当前语音词符的合成无关的音素和韵律标记。

Prosody 标记作为思路提示。基于LLM的TTS的问题之一是它直接从音素生成语音，对韵律没有限制，例如：音高、时长等，通常会导致语音韵律不稳定。 CoT提示的思想是将一个复杂的任务分解为几个简单的任务，以便大语言模型利用中间结果得出最终答案。通过 CoT 提示，LLMs 在复杂任务上的正确率可以得到显著提高。 这促使我们通过在生成语音标记之前生成中间韵律标记来将 CoT 提示适应基于 LLM 的 TTS，以缓解基于 LLM 的 TTS 的鲁棒性问题。 为了将音高和持续时间合并到 VALL-E 的 AR Transformer 中，我们首先获得音素和语音标记之间的对齐，并提取每个语音词符的音高值。 然后，我们根据持续时间计算音素级音高值，并将其线性量化为 Mp 桶。 我们定义一个最大持续时间值Md，所有超过Md的持续时间值将被截断为最大值。 RALL-E 以 CoT 风格预测语音标记之前的两个韵律标记。 形式上，假设𝐩,𝐝是目标语音标记𝐂的离散音高和持续时间序列，𝐩~,𝐝~是提示𝐂~的离散音高和持续时间序列，我们对以下分布进行建模并最大化：

其中 L 是 𝐱 的长度。 在实践中，模型用两个独立的头来预测 pt 和 dt，它们的嵌入被总结并输入到模型中以进行下一步的预测。 然后，RALL-E 使用 𝐩 和 𝐝 作为新的条件预测语音符元，这使得等式 2 变成：

上述两个方程可以通过 AR Transformer 联合优化。 虽然所提出的方法增加了额外的L解码步骤，但由于L≪T，直观上对效率影响很小。

对于 NAR Transformer，我们只需将音素、音高和持续时间的嵌入求和作为输入。 这使得等式 3 变成：

如图 2 左侧所示，由于语音符元会关注 VALL-E 的 AR Transformer 中的所有音素，因此音素和语音符元之间的对齐由 VALL-E 的自注意力隐式建模。 这可能不精确并会导致诸如遗漏或幻觉之类的错误。 尽管RALL-E引入了韵律CoT提示来指导和稳定生成，但我们仍然发现模型在实验中可能无法对齐。 因此，我们提出持续时间引导掩蔽，以充分利用中间持续时间结果并提高鲁棒性。

如图 2 右侧所示，在提出的持续时间引导掩蔽中，语音符元被限制为仅关注以其对应音素（韵律符元）为中心的音素（韵律符元）窗口。 我们将窗口大小定义为k，因此每个语音词符可以参与2⁢k+1音素和2⁢k+1韵律标记。 其他位置的所有音素和韵律标记都将被屏蔽，因此它们的注意力权重始终为零。 当k=0时，语音词符严格关注其对应的音素。 如果对齐完美，这应该就足够了。 然而，在实验中，我们发现我们的对齐工具得到的对齐结果通常存在误差。 因此，我们通过允许语音词符出现在相应音素的附近音素处来放宽限制。 这种设计的另一个原因是音素的发音通常依赖于附近的音素。 正如将在第 4.3 节和附录 A 中看到的，实验结果验证了这种设计的有效性。 对于 NAR Transformer，我们在基础知识实验中应用所提出的掩蔽策略时几乎没有获得任何增益。 因此我们只在 AR Transformer 上应用屏蔽策略。

一般推理过程遵循 VALL-E [29]，但有两个不同之处。 首先，在对语音词符 𝐜:,1 进行采样之前，先根据音素序列 𝐱 和声音提示 𝐩~,𝐝~ 对前音词符 𝐩 和 𝐝 进行采样。 其次，尽管普通语言模型依赖于一个特殊的词符 <eos> 作为停止条件，但由于我们知道总时长 D=∑t=1Ldt，因此我们提出了一种时长引导推理方法，强制推理在 D 步停止。 如果在 D 步之前预测到 <eos> 词符，该方法就会继续推理，并根据预测的持续时间在正确的步骤停止，从而确保不会遗漏或重复任何音素。