Rethinking Speech-LLM Integration for ASR: Effective Joint Speech-Text Training by Interleaving
核心亮点: 本文重新审视了语音-LLM融合在自动语音识别（ASR）中的局限，指出在充足的有监督数据下，LLM的先验知识未被充分利用；为此提出了一种面向ASR的联合语音-文本交错预训练策略（JSTIP），通过在词和片段级别交错构建语音-文本序列，有效保留了LLM的生成先验并缩小了模态差距，在38k小时的ASR数据上实体准确率显著提升，且仅用转录文本即可在医疗等领域实现与合成语音对相当的领域自适应效果。
实验发现：纯文本数据可以明显改善 Text-to-Text 表现，却很难同步改善 Speech-to-Text 表现。这说明知识已经写入 LLM，但语音输入仍无法有效访问这些知识，根源在于语音和文本两种输入模式之间存在模态差距。 不再把 ASR 数据和纯文本数据作为彼此独立的 batch 混合训练，而是在一条已经对齐的语音-文本样本内部交替排列语音片段和文本片段，让同一个 Decoder-only LLM 反复学习“在语音上下文后预测文本”和“在文本上下文后预测文本”。
论文链接: https://arxiv.org/pdf/2607.01733v1
把预训练大语言模型接到语音编码器之后，ASR 是否真的利用了 LLM 在海量文本中学到的知识？这篇论文给出的答案并不乐观：当监督语音数据足够多时，模型很容易退化成一个主要依赖语音-文本配对数据的识别器；即使额外混入大量文本，文本侧能力也不一定能够迁移到语音输入。
作者提出 Joint Speech-Text Interleaved Pretraining，简称 JSTIP。它不再把 ASR 数据和纯文本数据作为彼此独立的 batch 混合训练，而是在一条已经对齐的语音-文本样本内部交替排列语音片段和文本片段，让同一个 Decoder-only LLM 反复学习“在语音上下文后预测文本”和“在文本上下文后预测文本”。实验表明，这种结构化交错比普通联合训练更能保留 LLM 的生成先验，并改善医疗实体识别和零样本语音问答。
一、论文发现的核心问题
典型 Speech-LLM 由语音编码器、模态适配器和 Decoder-only LLM 组成。语音被编码为连续向量并投影到 LLM 的嵌入空间，模型随后生成转写文本。
传统 ASR 训练只在目标转写 Token 上计算交叉熵：
\( \mathcal{L}_{\mathrm{ASR}}=-\sum_{i=1}^{N}\log P(t_i\mid A,t_{<i}) \)其中 \(A\) 是语音表示，\(t_{<i}\) 是已经生成的文本。随着 ASR 数据增加，LLM 会逐渐专门化为“语音条件下的下一个 Token 预测器”，原本从文本预训练中获得的知识和开放式生成能力反而被削弱。
直接在训练中混入纯文本也不能彻底解决问题。论文发现，纯文本数据可以明显改善 Text-to-Text 表现，却很难同步改善 Speech-to-Text 表现。这说明知识已经写入 LLM，但语音输入仍无法有效访问这些知识，根源在于语音和文本两种输入模式之间存在模态差距。
二、JSTIP 的模型与训练框架
1. 基础 Speech-LLM
| 组件 | 设计 |
|---|---|
| 语音编码器 | 400M Conformer，时间下采样倍率为 8 |
| 输入特征 | 80维 Log-Mel，10 ms 帧移，进入 LLM 后约为 80 ms 一个语音 Token |
| 模态适配器 | 约20M参数，将语音表示映射到 LLM 隐空间 |
| 语言模型 | 内部7B Decoder-only LLM，预训练使用约5T文本 Token |
| 上下文长度 | 8K，使用 Packed SFT 和 FlashAttention 边界信息防止样本间泄漏 |
训练分为两个阶段。第一阶段只训练适配器，使用约 10% 的 ASR Token 稳定跨模态对齐，学习率为 \(1\times10^{-4}\)；第二阶段联合训练语音编码器、适配器和 LLM，学习率为 \(4\times10^{-5}\)。
2. 在单条样本内部交错语音和文本
对于已经对齐的语音 \(A\) 和文本 \(T\)，先将其拆分为一组对应片段：
\( (A,T)=\{(A_1,T_1),(A_2,T_2),\ldots,(A_n,T_n)\} \)随后交替选择语音和文本片段，例如：
\( \langle s\rangle,A_1,\langle N\rangle,T_2,\langle N\rangle,A_3, \langle N\rangle,T_4,\ldots,\langle N\rangle,T_n,\langle/ s\rangle \)论文同时构造从语音开始和从文本开始的两种交错形式，但最后一个片段始终是文本。损失只计算文本位置，语音向量和任务标记不参与损失。这样可以迫使 LLM 在两种模态上下文后保持相似的文本预测行为。
3. Word-Interleave 与 Segment-Interleave
- 词级交错：每个单词及其对应语音区间构成最小单元，语音和文本切换最频繁，跨模态耦合更加紧密。
- 片段级交错：按照静音或标点将连续单词合并成短语或句子级片段，更强调长距离语义一致性，也更能容忍局部对齐误差。
- 混合交错：同时使用词级和片段级序列，兼顾实体级细粒度对齐与长距离模态一致性。
词级交错如果逐词独立运行语音编码器，会造成严重的零填充和显存浪费。作者先把所有语音小片段拼接成一条长序列，一次完成编码和适配器前向计算，再按照原始位置重新插回交错序列，使词级交错能够扩展到大规模训练。
三、训练与评测数据
| 数据 | 规模 | 用途 |
|---|---|---|
| 内部英文 ASR | 38,000小时，约2.3B语音Token | 通用ASR和交错预训练 |
| 医疗领域合成ASR | 9,000小时 | GPT生成实体丰富文本，再由内部TTS合成语音 |
| PubMed摘要 | 2.3B文本Token | 医疗领域文本知识 |
| TTS转写文本 | 0.1B文本Token | 验证纯领域文本能否替代合成语音 |
38,000 小时 ASR 数据通过 HMM 混合系统获得词级对齐，对齐失败的样本会被删除，但不再根据置信度进行额外过滤。片段级边界由静音或“静音加标点”共同确定，每次实验使用约 2.3B 个交错 Token，以便和 ASR 数据规模保持平衡。
通用 ASR 使用内部 conversation 和 dictation 测试集，指标为 TER，大小写和标点也计入错误。领域实体测试覆盖 8 个医疗领域和 1 个银行领域：医疗集合共 261 条、49.281 小时，银行集合共 36 条、5.567 小时。实体指标 EER 定义为：
\( \mathrm{EER}=1-\mathrm{Recall}_{\mathrm{entity}} \)此外，论文把 MMLU 转换成语音版本，比较 Text-to-Text 与 Speech-to-Text 的 5-shot 准确率；并在 LLaMA-QA、TriviaQA 和 WebQA 上评估零样本语音问答，以观察 LLM 的开放式生成先验是否仍能被语音输入调用。
四、主要实验结果
1. 仅靠交错结构就能改善实体识别
| 配置 | Conversation TER | Medical EER | MMLU-S2T | SQA-S2T |
|---|---|---|---|---|
| ASR-only | 23.63 | 7.97 | 35.68% | 0.05% |
| ASR + Interleave | 22.65 | 7.32 | 51.77% | 41.92% |
| ASR + PubMed | 23.32 | 7.49 | 43.77% | 10.10% |
| ASR + PubMed + Interleave | 22.35 | 6.87 | 58.98% | 41.03% |
| JSTIP-Best-EER | 22.42 | 6.60 | 58.70% | 42.07% |
在不加入额外领域文本的情况下，交错训练将医疗 EER 从 7.97% 降至 7.32%，并把零样本 SQA-S2T 从几乎不可用的 0.05% 提升到 41.92%。这说明提升不只是来自更多文本，而是来自模型重新获得了从语音上下文进入 LLM 生成能力的通路。
2. 普通文本混训的知识迁移并不充分
加入 PubMed 后，MMLU-T2T 从 43.01% 提升到 64.10%，但 MMLU-S2T 只有 43.77%，说明文本侧已经学到知识，语音侧却访问不到。加入交错训练后，MMLU-S2T 提升到 58.98%，医疗 EER 进一步降至 6.87%。
更有价值的是，单独加入 TTS 转写文本时，医疗 EER 仅从 7.97% 降到 7.85%；结合交错训练后则降至 6.81%，已经接近直接使用 9,000 小时合成医疗语音的 6.86%。这意味着在具备交错训练的条件下，廉价领域文本有机会替代成本更高的 TTS 语音合成。
3. 与开源模型的实体识别对比
JSTIP-Best-EER 在医疗集合上取得 6.60% EER，优于 Whisper-large-v3 的 6.94%、Qwen3-ASR-1.7B 的 6.67%、Voxtral-Mini-3B 的 7.40% 和 Qwen2.5-Omni-7B 的 12.22%；但仍落后于 Qwen3-Omni-30B-A3B 的 5.84% 和 Voxtral-Small-24B 的 6.04%。
银行领域 EER 为 10.75%，明显弱于医疗领域，作者将其归因于训练中加入了 PubMed 和医疗文本，却没有提供相当规模的银行领域文本。这从侧面验证了 JSTIP 的收益仍然依赖文本知识覆盖。
五、交错粒度消融
词级交错将医疗 EER 从 7.97% 降至 7.64%，但 MMLU 的语音-文本差距仍为 -6.89 个百分点。片段级交错更善于缩小模态差距，特别是使用“静音加标点”切分时，差距缩小至 -0.77 个百分点。
效果最好的基础配置是词级与片段级混合，并使用静音加标点划分片段，医疗 EER 达到 7.32%，MMLU-S2T 甚至比 T2T 高 0.61 个百分点。标点可以避免纯静音切分产生过长片段，使监督更加均衡。
六、论文的主要创新点
- 把交错构造放到单个对齐样本内部。它不只是进行 ASR/Text batch 混合，而是让文本预测直接建立在交替出现的语音和文本上下文之上。
- 提出适用于连续语音表示的可扩展词级交错。通过拼接后统一编码、再恢复位置，解决逐词语音编码带来的显存浪费。
- 系统比较词级、片段级和混合粒度。实验说明片段级更擅长缩小模态差距，词级则能提供额外的实体识别收益。
- 证明领域文本可以更有效地迁移到 ASR。在交错训练下，只有转写文本也能达到接近合成 TTS 配对数据的医疗实体识别效果。
- 用 MMLU-Speech 和零样本 SQA 诊断 LLM 先验是否保留。这些指标不只是评估 ASR 准确率，还观察语音输入能否访问 LLM 原有的生成和推理行为。
七、局限性
- 38,000小时主训练数据、领域测试集、7B LLM 和部分组件均为内部资源，难以完整复现。
- 当前实验以英文和医疗领域为主，对中文、多语种和更多行业的适用性仍需验证。
- 词级交错依赖 HMM 强制对齐，错误边界可能直接污染交错片段；CTC和时间戳对齐尚未比较。
- 开源模型之间的参数、训练数据、Prompt和解码策略不同，Table II 只能作为外部参考，不是严格排行榜。
- SQA 会受到提示词、解码和答案归一化影响，应视为 LLM 生成先验保留的辅助证据，而不是独立的语音推理结论。
八、总结
JSTIP 的核心结论是：Speech-LLM 是否能够利用文本知识，不只取决于有没有文本数据，更取决于训练序列是否让语音和文本共享相同的预测行为。普通联合训练可能只分别提升语音任务和文本任务，而样本内部的交错训练才能把二者真正连接起来。
从工程角度看，这项工作尤其适合领域 ASR。企业往往拥有大量专业文本，却缺少相应的录音和标注。若交错预训练可以让这些文本有效改善语音实体识别，就能减少领域 TTS 合成和人工采集成本。不过，在公开数据、更多语言和不同对齐算法上的可复现性，仍是 JSTIP 走向通用方法前必须补齐的部分。