Is Text All You Need? Text as a Universal Information Bottleneck for Speech LLMs
核心亮点: 提出 Convex Gate (C-Gate) 语音-LLM 桥接模块，通过凸包约束将每帧语音表示为 LLM 词表嵌入的凸组合，确保表征严格位于预训练 LLM 的输入流形内，有效避免表征漂移与词汇锁定。该方法在 ASR 与情感识别联合任务上表现优异，LibriSpeech WER 相对降低高达 48.7%，且情感识别精度持平或超越单任务基线。研究揭示语音信息的核心载体是嵌入空间中的时序轨迹而非离散 Token 身份，证明了几何对齐而非离散化才是语音-LLM 接口设计的根本因素。
C-Gate不是把语音生硬地翻译成文字Token，而是把语音转换成LLM熟悉的连续词向量轨迹，让模型既能听清“说了什么”，也能感知“怎么说的”。
论文链接: https://arxiv.org/pdf/2606.09366v1
Speech-LLM 的一个核心问题是：语音编码器输出的连续向量，应该以什么形式进入一个已经冻结的文本大模型？如果强制语音表示接近离散文字 Token，ASR 会比较容易，但情绪、韵律等副语言信息可能丢失；如果允许适配器生成任意连续向量，表示能力虽然更强，却可能偏离 LLM 训练时熟悉的输入空间，导致自回归解码不稳定。
论文提出 Convex Gate，简称 C-Gate。它规定每一个语音帧表示都必须是若干 LLM 原始词嵌入的凸组合。模型不必把语音硬映射成某个文字 Token，但生成的向量始终位于 LLM 词嵌入表的凸包内部，从而在“离散符号约束”和“自由连续表示”之间取得平衡。
实验最值得关注的结论不是 Top-16 选中了哪些词，而是：真正承载语音信息的是这些连续混合向量在时间轴上形成的轨迹。打乱轨迹顺序或替换 LLM 的词嵌入基底，ASR 和情绪识别都会崩溃。
一、两种传统 Speech-LLM 接口的矛盾
- 近离散 Token 对齐：通过 CTC 或文字对齐让语音表示接近 one-hot Token 分布，有利于转写，但容易形成 lexical lock-in，压缩情绪、韵律等信息。
- 无约束连续表示：Q-Former 或连接器可以输出任意稠密向量，表达能力较强，但容易发生 basis drift，即语音向量偏离冻结 LLM 的输入分布。
C-Gate 的观点是：关键不是语音表示是否离散，而是它的几何位置是否与 LLM 的输入空间兼容。LLM 唯一真正训练过的连续输入空间就是自己的词嵌入表，因此语音桥接向量应该被限制在该嵌入表的凸包中。
二、C-Gate 模型设计
1. 凸包约束
设冻结 LLM 的词嵌入表为 \(E=\{E_1,\ldots,E_V\}\)，其凸包定义为：
\( \operatorname{conv}(E)=\left\{\sum_{v=1}^{V}\alpha_vE_v:\alpha_v\ge 0, \sum_{v=1}^{V}\alpha_v=1\right\} \)只要语音向量采用非负、和为 1 的词嵌入加权组合，它就不会离开 LLM 熟悉的输入几何，同时仍然可以在不同词向量之间连续移动，不必退化成某个离散 Token。
2. 全词表打分与 Top-16 混合
模型使用冻结的 Whisper-large-v3 编码器获得语音隐状态。经过步长为 4 的均值池化后，每个语音状态映射成查询向量：
\( q_t=\operatorname{LN}(W_q\tilde h_t),\qquad K=W_kE \)其中 \(K\) 是整个词表的投影 Key。模型对完整词表计算相似度：
\( \pi_t=\operatorname{softmax}\left(\frac{q_tK^{\top}}{\sqrt{d_p}\,\tau}\right), \qquad S_t=\operatorname{TopK}_{16}(\pi_t) \)然后只保留概率最高的 16 个词嵌入，并重新归一化：
\( \alpha_{t,v}= \begin{cases} \dfrac{\pi_{t,v}}{\sum_{u\in S_t}\pi_{t,u}}, & v\in S_t,\\ 0, & v\notin S_t, \end{cases} \qquad \tilde e_t=\sum_{v\in S_t}\alpha_{t,v}E_v\in\operatorname{conv}(E) \)这里的一个关键设计是：投影只用于 Query 和 Key 打分，Value 始终是未经修改的原始 LLM 词嵌入。Top-16 后也没有 Value Projection 或额外 MLP，因此凸包约束由架构本身保证，而不是依赖训练损失近似实现。
3. 冻结 LLM 的统一解码接口
任务指令、语音伪嵌入和历史输出 Token 被拼接后送入 Qwen2.5-7B-Instruct：
\( p_M(y_{1:N}\mid x_{1:m},\tilde e_{1:T})= \prod_{i=1}^{N}p_M\!\left(y_i\mid[E(x_{1:m});\tilde e_{1:T};E(y_{<i})]\right) \)所有任务都使用标准自回归交叉熵，不需要 CTC、外部分类头、前缀强制或任务专用解码器。
三、参数冻结与多任务训练
| 模块 | 状态 |
|---|---|
| Whisper-large-v3 Encoder | 冻结 |
| Qwen2.5-7B 嵌入表、MLP、LayerNorm、LM Head | 冻结 |
| C-Gate 的 Wq、Wk、LayerNorm、温度参数 | 训练，约2.49M |
| Qwen第0至23层 Self-Attention 的 Q/K/V/O 投影 | 训练，约704.75M |
| 总可训练参数 | 707.25M |
训练使用一个多任务交叉熵目标，并通过动态重加权避免不同任务的损失尺度失衡：
\( \mathcal{L}^{(t)}=\sum_{i\in\mathcal{T}}w_i^{(t)}\mathcal{L}_i^{(t)}, \qquad w_i^{(t)}\propto\left(\frac{\mathcal{L}_{i,\mathrm{EMA}}^{(t)}} {\mathcal{L}_{i,\mathrm{init}}}\right)^{\alpha},\quad \alpha=1 \)EMA 衰减系数为 0.9，任务权重截断在 0.2 至 5.0。C-Gate-2T 联合训练 ASR 和情绪任务；C-Gate-3T 再增加语音推理任务，用来测试共享桥接表示的能力边界。
四、训练数据与评测设置
- ASR：960小时 LibriSpeech，使用 test-clean 报告自回归和 Teacher-Forced WER。
- 情绪：约47小时公开情绪语音数据，RAVDESS 用作8分类的分布外闭集评测。
- 推理：C-Gate-3T 增加语音推理任务，评测包括 VoiceBench-BBH、BBH-Heldout、SpeechMMLU、MMAU 和 MMSU。
论文没有在主体中详细列出全部 47 小时情绪训练语料和推理训练数据的逐项构成，因此数据部分的可复现信息弱于模型结构部分。作者同时强调，多项选择推理成绩可能受到文本捷径、答案先验和选项顺序影响，因此把它们视为能力边界测试，而不是完全由音频驱动的推理证明。
五、主要实验结果
| 模型 | AR-WER | TF-WER | 情绪准确率 | SpMMLU | MMAU | MMSU |
|---|---|---|---|---|---|---|
| C-Gate-ASR | 7.76% | – | – | – | – | – |
| C-Gate-Emotion | – | – | 96.2% | – | – | – |
| C-Gate-Reasoning | – | – | – | 53.2% | 44.0% | 55.5% |
| C-Gate-2T | 4.78% | 3.60% | 97.1% | – | – | – |
| C-Gate-3T | 3.98% | 3.89% | 90.5% | 61.4% | 48.3% | 60.6% |
1. ASR 与情绪之间出现正迁移
C-Gate-2T 将自回归 WER 从单任务模型的 7.76% 降至 4.78%，相对降低 38.4%；与此同时，情绪准确率从情绪单任务模型的 96.2% 提升到 97.1%。这意味着情绪监督没有干扰 ASR，反而抑制了 ASR-only 模型中较严重的插入错误。
C-Gate-3T 加入推理任务后，WER 进一步降至 3.98%，相比 C-Gate-ASR 相对降低 48.7%，但情绪准确率下降到 90.5%。因此论文将 C-Gate-2T 视为 ASR 与副语言任务之间更干净的平衡点，而 C-Gate-3T 是用于观察多任务干扰边界的压力测试。
2. 推理任务有所提升，但不是绝对SOTA
与 Reasoning-only 模型相比，C-Gate-3T 在五项推理测试上均有提升，例如 BBH-Heldout 从 23.6% 提升到 40.0%，SpeechMMLU 从 53.2% 提升到 61.4%，MMSU 从 55.5% 提升到 60.6%。
在公开模型尺度参考中，C-Gate-3T 的 LibriSpeech WER 为 3.98%，不及 Kimi-Audio 的 1.28% 和 Qwen2-Audio 的 1.6%；MMAU 48.3% 也低于大型音频模型。它的价值主要是以相同数据和可训练参数预算验证桥接几何，而不是追求绝对排行榜第一。
六、机制分析：信息不是离散词，而是时间轨迹
1. Top-16 分布接近均匀
Top-16 归一化分布的熵约为最大熵的 96.2% 至 98.7%，说明每一帧并没有选择一个非常明确的文字 Token。Top-1 Token 也不对应真实转写词、情绪标签或可解释类别，因此 C-Gate 不是一个隐式 ASR Token 检索器。
2. 选中支持集合的时间变化携带信息
相邻语音帧的 16 个支持 Token 中，平均只有约 3 个会继续保留。将整段语音选择过的支持 Token 做 Bag-of-Supports 探测，在 RAVDESS 上达到 77.7% 准确率，高于 C-Gate 之前 Whisper 表示的 67.8%；但如果把所有帧的桥接向量直接平均，准确率只有 16.8%。
因此，信息并不主要存在于某一帧的概率权重，也不在整句平均向量中，而是在语音帧沿着词嵌入凸包移动形成的有序轨迹中。
3. 同一轨迹可被不同任务以不同方式读取
在情绪 Prompt 下，LLM 的文本到语音注意力趋向低秩，等价于对整段音频进行全局池化；在 ASR Prompt 下，注意力秩明显升高，不同输出位置会选择不同的局部语音位置。C-Gate-2T 在同一个模型中即可根据 Prompt 从低秩全局读取切换到位置敏感读取。
4. 因果干预验证了凸包轨迹的重要性
作者在同一个 C-Gate-3T 检查点上进行干预：
- 将真实音频换成全零或等RMS高斯噪声，情绪准确率从约91.5%降到12%或10%，WER从2.8%升到约98%。
- 打乱桥接向量的时间顺序，情绪准确率降到22%，WER升到244.5%。
- 用同形状高斯矩阵或随机行排列替换词嵌入表，情绪与ASR性能同时崩溃。
这些结果排除了“只要有足够大的码本或额外 Self-Attention 参数就可以”的解释，支持论文的主要判断：有用通道是位于训练过的 LLM 词嵌入空间中的有序连续轨迹。
七、论文的主要创新点
- 以架构方式保证语音表示位于词嵌入凸包。不需要额外对齐损失，也不会产生凸包外的新 Value 方向。
- 同时避免离散锁定和连续表示漂移。语音仍是连续向量，但始终处于冻结 LLM 熟悉的输入几何中。
- 在冻结 Encoder 和大部分 LLM 的受控条件下研究多任务迁移。把性能变化更多地归因于接口设计，而不是全模型训练规模。
- 从路由概率转向时间轨迹解释信息传递。证明 Token 身份不是主要通道，连续伪嵌入的时间结构才是关键。
- 使用因果干预验证机制。通过替换音频、打乱时间和更换嵌入基底，分别验证声学内容、顺序结构和输入几何的必要性。
八、局限性
- 只验证了 Whisper-large-v3 与 Qwen2.5-7B-Instruct 这一组 Encoder-LLM 组合。
- 主要训练实验只有一个随机种子，尚缺少多次训练的方差统计。
- 缺少同参数预算的普通 Q-Former 连续桥接器作为最直接对照，无法完全排除收益来自新增可训练 Self-Attention 容量。
- 情绪评测主要依赖表演式、闭集的 RAVDESS，不代表真实开放环境下的情绪理解。
- 语音推理测试仍可能受文字捷径和答案先验影响，不能直接宣称模型已经具备可靠的音频落地推理。
- 论文不建议将模型用于高风险的说话人属性或情绪判断。
九、总结
C-Gate 提出的不是一种新的语音 Tokenizer，而是一条几何原则：语音表示不必变成文字，但应该位于 LLM 已经学会读取的表示空间内。Top-16 词嵌入只是构成连续向量的坐标，模型实际读取的是这些向量随时间变化的轨迹。
这项工作对 Speech-LLM 设计的启发在于，与其只追求更大的连接器或更强的离散对齐，不如同时考虑“表示位于哪里”和“信息如何随时间组织”。C-Gate 在受控数据规模下展示了 ASR 与情绪任务的正迁移，也提供了一套可解释、可干预的研究框架。不过，它距离大规模、多语言、真实业务环境中的通用语音模型仍有明显距离。