每个量化器在训练 codebook 的时候，都使用 EMA (Exponential Moving Average，指数移动平均)的更新方式。训练 VQ 的 codebook 使用 EMA 方法由 Aäron van den Oord首次提出。论文 Neural Discrete Representation Learning（https://arxiv.org/abs/1711.00937）提出使用 EMA 指数移动平均的方式训练码本 codebook。
EMA 指数移动平均：每次迭代相当于对之前所有 batch 累计值和当前 batch 新获取的数据值进行加权平均，权重又称为 decay factor，通常选择数值为 0.99 ，使得参数的迭代更新不至于太激进。
SoundStream 整体使用 GAN（生成对抗网络）作为训练目标，采用 hinge loss 形式的对抗 loss。对应到 GAN 模型中，整个编解码器作为 Generator 生成器，使用前文所述的两种 Discriminator 判别器：一个 STFT 判别器和三个参数不同的 multi-resolution 判别器。判别器用来区分是解码出的音频还是真实的原始音频，本文采用 hinge loss 形式的损失函数进行真假二分类：
生成器的损失函数是为了让生成器的输出被分类为 1 类别，以达到以假乱真的目标，损失函数形式为：
训练目标中还增加了 GAN 中常用的 feature matching 损失函数和多尺度频谱重建的损失函数。feature matching 就是让生成器恢复出的音频和真实的音频，在判别器的中间层上达到相近的分布，用l表示在中间层上进行求和，feature matching 的损失函数为：
从 SoundStream 的编解码器图例中可以看到一个 FiLM 的模块，表示特征级别的线性调制（Feature-wise Linear Modulation），在编码器中使用时位于 embedding 之前（编码前进行降噪），在解码器中使用时输入是 embedding（编码后进行降噪），论文验证了在图中位置的效果是最好的。
Lyra v1: Kleijn, W. Bastiaan, et al. “Generative Speech Coding with Predictive Variance Regularization.” arXiv preprint arXiv:2102.09660 (2021).
AudioLM: Borsos, Zalán, et al. “Audiolm: a language modeling approach to audio generation.” arXiv preprint arXiv:2209.03143 (2022).
MusicLM: Agostinelli, Andrea, et al. “MusicLM: Generating Music From Text.” arXiv preprint arXiv:2301.11325 (2023).
EMA 训练 codebook 1: Van Den Oord, Aaron, and Oriol Vinyals. “Neural discrete representation learning.” Advances in neural information processing systems 30 (2017).
EMA 训练 codebook 2: Razavi, Ali, Aaron Van den Oord, and Oriol Vinyals. “Generating diverse high-fidelity images with vq-vae-2.” Advances in neural information processing systems 32 (2019).
Jukebox: Dhariwal, Prafulla, et al. “Jukebox: A generative model for music.” arXiv preprint arXiv:2005.00341 (2020).
FiLM: Perez, Ethan, et al. “Film: Visual reasoning with a general conditioning layer.” Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 32. No. 1. 2018.
ViSQOL 指标: Chinen, Michael, et al. “ViSQOL v3: An open source production ready objective speech and audio metric.” 2020 twelfth international conference on quality of multimedia experience (QoMEX). IEEE, 2020.
其他设备是常见的客户设备：设备 B 是三星 Galaxy S7，设备 C 是 iPhone SE，设备 D 是 GoPro Hero5 Session。所有同时录制的内容都是时间同步的。
TAU Urban Acoustic Scenes 2019 开发数据集：仅包含使用设备 A 录制的材料，包含 40 小时的音频，在课程之间保持平衡。数据来自12个城市中的10个。TAU Urban Acoustic Scenes 2019 评估数据集包含来自所有 12 个城市的数据。
TAU Urban Acoustic Scenes 2019 移动开发数据集：包含使用设备 A、B 和 C 录制的材料。它由使用设备 A 录制的 TAU Urban Acoustic Scenes 2019 数据和使用设备 B 和 C 录制的一些并行音频组成。来自设备的数据A 被重新采样并平均到单个通道中，以与设备 B 和 C 记录的数据的属性保持一致。数据集总共包含 46 小时的音频（40h + 3h + 3h）。TAU Urban Acoustic Scenes 2019 移动评估数据集还包含来自设备 D 的数据。
Bus 公共汽车-在城市乘坐公共汽车（车辆）
Cafe / Restaurant 咖啡厅/餐厅 - 小咖啡厅/餐厅（室内）
Car 汽车 - 在城市中驾驶或作为乘客旅行（车辆）
City center 市中心（室外）
Forest path 林间小径（室外）
Grocery store 杂货店 - 中型杂货店（室内）
Home 家（室内）
Lakeside beach 湖滨海滩（室外）
Library 图书馆（室内）
Metro station 地铁站（室内）
Office 办公室 - 多人，典型工作日（室内）
Residential area 住宅区（室外）
Train 火车里面（旅行，车辆）
Tram 有轨电车（旅行，车辆）
Urban park 城市公园（室外）
- 室内场景——*室内*：
机场(airport)：airport
室内商场(shopping_mall)：indoor shopping mall
地铁站(metro_station)：metro station
- 户外场景-*户外*：
步行街(street_pedestrian)：pedestrian street
公共广场(public_square)：public square
中等交通街道(street_traffic,)：street with medium level of traffic
城市公园(park)：urban park
- 交通相关场景-*交通*：
乘坐公共汽车(bus)：travelling by a bus
乘坐电车(tram)：travelling by a tram
乘坐地铁(metro)：travelling by an underground metro
语音问答准确性评估：Freeze-Omni提供了其在LlaMA-Questions, Web Questions, 和Trivia QA三个集合上的语音问答准确率评估，从结果中可以看出Freeze-Omni的准确率具有绝对的领先水平，超越Moshi与GLM-4-Voice等目前SOTA的模型，并且其语音模态下的准确率相比其基底模型Qwen2-7B-Instruct的文本问答准确率而言，差距明显相比Moshi与其文本基底模型Helium的要小，足以证明Freeze-Omni的训练方式可以使得LLM在接入语音模态之后，聪明度和知识能力受到的影响最低。
【1】Zhao, Shengkui and Ma, Bin and Watcharasupat, Karn N. and Gan, Woon-Seng, “FRCRN: Boosting Feature Representation Using Frequency Recurrence for Monaural Speech Enhancement”, ICASSP 2022 – 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP).
【2】Zhao, Shengkui and Ma, Bin, “MossFormer: Pushing the Performance Limit of Monaural Speech Separation using Gated Single-head Transformer with Convolution-augmented Joint Self-Attentions”, ICASSP 2023 – 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP).
【3】Zhao, Shengkui and Ma, Bin et al, “MossFormer2: Combining Transformer and RNN-Free Recurrent Network for Enhanced Time-Domain Monaural Speech Separation”, ICASSP 2024 – 2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP).
论文：通过使用超过 60,000 小时的合成语音对话数据扩展监督微调来推进语音语言模型Advancing Speech Language Models by Scaling Supervised Fine-Tuning with Over 60,000 Hours of Synthetic Speech Dialogue Data
最后，VQ本质上可以理解为一种稀疏训练方案，所以SimVQ所带来的启发和改动，也许还能用于其他稀疏训练模型，比如MoE（Mixture of Experts）。当前的MoE训练方案中，Expert之间的更新也是比较独立的，只有被Router选中的Expert才会更新参数，那么是不是有可能像SimVQ一样，所有的Expert后都接一个共享参数的线性变换，用来提高Expert的利用效率？当然MoE本身跟VQ也有很多不同之处，这还只是个猜测。
1. Comparison of academic models in terms of ViSQOL scores on LibriTTS dataset. † means the model is causal.
2. Comparison between FunCodec and other toolkits under (a) lower and (b) higher token rate. LS denotes Librispeech test sets. While Librispeech and gigaspeech are English corpora, aishell and Wenet are Mandarin corpora.
3. Comparison of FreqCodec and other time domain models in terms of ViSQOL score on LibriTTS. Mag denotes magnitude spectrogram. C_in represents the channel number of inputs.
生成音频token时以对应文本token为条件，类似在线语音合成系统，且生成音频前用 N 个pad token填充，确保先产生文本token。
模型可依据说话者和风格的embedding，控制说话者特征和风格元素。
Introduction
Mini-Omni，这是一种基于音频的端到端对话模型，能够进行实时语音交互。为了实现这种能力，提出了一种文本指导的语音生成方法，以及推理过程中的批处理并行策略，以进一步提高性能。该方法还有助于以最小的退化保留原始模型的语言能力，使其他工作能够建立实时交互能力。我们将这种训练方法称为 “Any Model Can Talk”。我们还引入了 VoiceAssistant-400K数据集，以微调针对语音输出优化的模型。据我们所知，Mini-Omni是第一个用于实时语音交互的完全端到端的开源模型，为未来的研究提供了宝贵的潜力。
我们还提出了一种方法，该方法只要对原始模型进行最少的训练和修改，使其他工作能够快速发展自己的语音能力。我们将这种方法称为 “Any Model Can Talk”，旨在使用有限数量的附加数据实现语音输出。该方法通过额外的适配器和预先训练的模型来扩展语音功能，并使用少量合成数据进行微调。这与上述并行建模方法相结合，可以在新模态中启用流式输出，同时保留原始模型的推理能力。
提出了一种同时生成文本和音频的新方法。这种方法假设文本输出具有更高的信息密度，因此可以通过更少的标记实现相同的响应。在生成音频标记的过程中，模型能够高效地基于对应的文本标记进行条件生成，类似于在线 TTS 系统。为确保在生成音频标记之前先生成对应的文本标记，我们在模型中引入了以 N 个标记进行填充的机制，该值可作为超参数进行调整。此外，模型还能够基于说话人嵌入和风格嵌入进行条件生成，从而实现对说话人特征和风格元素的控制。
Mini-Omni，这是第一个具有直接语音转语音功能的多模态模型。在以前使用文本引导语音生成的方法的基础上，我们提出了一种并行文本和音频生成方法，该方法利用最少的额外数据和模块将语言模型的文本功能快速传输到音频模态，支持具有高模型和数据效率的流式输出交互。我们探索了文本指令流式并行生成和批量并行生成，进一步增强了模型的推理能力和效率。我们的方法使用只有 5 亿个参数的模型成功地解决了具有挑战性的实时对话任务。我们开发了基于前适配器和后适配器设计的 Any Model Can Talk 方法，以最少的额外训练促进其他模型的快速语音适应。此外，我们还发布了 VoiceAssistant-400K 数据集，用于微调语音输出，旨在最大限度地减少代码符号的生成，并以类似语音助手的方式帮助人类。我们所有的数据、推理和训练代码都将在 https://github.com/gpt-omni/mini-omni 逐步开源。
