论文的核心问题是：很多音频理解任务最终只需要一个有限答案，例如从几个候选项中选一个、判断一个命题是否成立，或者给语音质量打分。如果仍然让大型音频语言模型逐字生成答案，就会产生额外的解码延迟、格式解析和结果校验成本。
Qwen-Audio-Jev 保留 Qwen-Audio-3.1-ASR-Flash-Next 的音频编码器、音频到语言适配器和 MoE 语言解码器，在“答案开始之前”的隐藏状态上增加一个专用决策头 。模型通过自然语言问题和显式答案规范理解任务，然后直接输出概率分布或数值分数，不再自回归生成答案文本。 论文在 18 个标注配置上评测：MMAU-mini 准确率 78.70%，MMSU 准确率 84.06%，VoxCeleb1-O 说话人验证 EER 为 6.50%，NISQA overall 质量评分归一化 MAE 为 0.1062，Pearson 为 0.8210，Spearman 为 0.8074；在论文给定的推理设置下，速度约为原始 Qwen-Audio-3.1-ASR-Flash-Next 的 20 倍。
一、论文要解决的实际问题
传统大模型适合生成开放式文本，但在音频筛选、批量质检、说话人验证和数据标注中，输出空间往往是有界的。比如“这段音频属于哪种声学场景”“两个录音是否来自同一说话人”“这段语音的噪声等级是多少”，都可以表示为有限类别、真假概率或有序评分。自回归文本生成会带来三类问题：
需要逐 Token 解码，短答案也要承担语言模型生成的时间开销。 生成结果还要经过字符串解析、候选映射和格式校验，工程链路更长。 文本答案的概率不一定等于任务本身的类别概率，难以直接做校准和阈值控制。 Jev 的思路是将问题、答案空间和输出类型显式写入接口。模型仍然可以使用自然语言描述音频任务，但最后由固定维度的决策读出完成选择、判断或打分。
二、模型总体设计
2.1 Qwen-Audio-3.1-ASR-Flash-Next 基座
基座模型包含三个主要表示模块：
Audio Encoder： 从波形中提取声学、说话人、环境声音和韵律等表示。Audio-to-Language Adaptor： 对相邻编码帧做时间下采样，并将结果投影到语言解码器的隐藏维度。MoE Language Decoder： 把音频表示与文本指令、问题和上下文融合，形成问题条件的隐藏状态。论文实验使用的解码器为 40 层 MoE，隐藏维度为 2048，共 256 个 Routed Experts，每个 Token 选择 8 个专家。原始模型通过自回归概率生成文字答案：
\(p_{\theta}(y\mid x,u)=\prod_{\ell=1}^{L}p_{\theta}\left(y_{\ell}\mid y_{<\ell},\mathbf{a},u\right)\)
其中 \(x\) 是输入音频，\(\mathbf{a}\) 是音频编码和适配后的表示，\(u\) 是文本指令和上下文。Qwen-Audio-Jev 保留这个音频条件表示通路，但把最终答案从“生成文本”改成“读取决策状态”。
2.2 Jev 决策头插入位置
设 \(q\) 为自然语言问题，设 \(c\) 为答案规范。答案规范规定使用哪一种决策原语、合法答案空间是什么，以及候选项或评分等级的含义。问题和规范被序列化为文本前缀，与音频表示一起送入共享解码器：
\(\mathbf{H}=D_{\theta}\left(\operatorname{Fuse}\left(\mathbf{a},\operatorname{Embed}\left(\operatorname{Serialize}(q,c)\right)\right)\right)\)
决策状态取问题前缀最后一个 Token 的隐藏向量：
\(\mathbf{h}_{\star}=\mathbf{H}_{t_{\star}}\)
\(t_{\star}\) 位于目标答案 Token 之前，因此因果注意力无法读取训练样本中的正确答案，避免标签泄漏。决策头包含三个独立的仿射投影：
\(\mathbf{z}^{\mathrm{Choice}}=\mathbf{W}_{C}\mathbf{h}_{\star}+\mathbf{b}_{C}\)
\(z^{\mathrm{Noul}}=\mathbf{W}_{N}\mathbf{h}_{\star}+b_{N}\)
\(\mathbf{z}^{\mathrm{Score}}=\mathbf{W}_{S}\mathbf{h}_{\star}+\mathbf{b}_{S}\)
当前实现中，决策头维度分别为 \(\mathbf{W}_{C}\in\mathbb{R}^{64\times d}\)、\(\mathbf{W}_{N}\in\mathbb{R}^{1\times d}\)、\(\mathbf{W}_{S}\in\mathbb{R}^{10\times d}\)，其中 \(d=2048\)。Choice 和 Score 只对当前问题实际提供的候选或评分等级做归一化，未使用的位置不参与 Softmax。
2.3 三种类型化输出
统一接口可以写成：
\(f_{\theta}(x,q,c)\longrightarrow r_{\tau},\qquad \tau\in\{\mathrm{Choice},\mathrm{Noul},\mathrm{Score}\}\)
Choice：从候选项中选择
Choice 适用于声学场景、乐器、人类非语音声音、性别、情绪和音频问答。当前实现支持 2 到 64 个候选项。候选项的语义由问题中的描述决定，而不是绑定到一个固定的全局类别 ID：
\(p_{ik}=\frac{\exp(z^{\mathrm{Choice}}_{ik})}{\sum_{j\in\mathcal{C}_{i}}\exp(z^{\mathrm{Choice}}_{ij})},\qquad \hat{k}=\arg\max_{k\in\mathcal{C}_{i}}p_{ik}\)
训练时会随机打乱 Choice 候选项，同时同步打乱候选描述和标签概率，防止模型记住“第一个位置通常是正确答案”。
Noul：二元命题的真实性概率
Noul 适用于“两个录音是不是同一个说话人”“这段音频是否包含讽刺”“音频是否为深度伪造”等二元问题。输出是命题为真的概率：
\(p_{i}=\sigma(z^{\mathrm{Noul}}_{i})=\frac{1}{1+\exp\left(-z^{\mathrm{Noul}}_{i}\right)}\)
Score：有序等级上的分布与期望分数
Score 适用于 NISQA、VoiceMOS 和 BVCC 等主观质量评估。评分等级从 \(0\) 到 \(K_i-1\)，模型不只输出一个回归数，还输出完整的等级概率分布。预测期望和目标期望分别为：
\(\hat{s}_{i}=\sum_{k=0}^{K_i-1}k p_{ik},\qquad s_i^{\star}=\sum_{k=0}^{K_i-1}k t_{ik}\)
这种设计同时保留分类分布、评分顺序和原始 MOS 尺度，适合需要概率校准的质量控制系统。
2.4 推理过程
推理时输入音频、自然语言问题和答案规范，模型只执行一次共享解码器前向计算，再读取被请求的输出头。Choice 和 Score 对有效候选或等级做 Softmax；Noul 对单个 Logit 做 Sigmoid 。无需生成“答案是……”“评分为……”之类的文本，也不需要后处理字符串。
三、训练数据：
3.1 任务数据
决策类型 论文涉及的数据集/配置 监督信号 典型任务 Choice CochlScene、NSynth、NonSpeech7k、DiDiSpeech、MELD、MMAU、MMSU、MMAR 类别标签或多选答案 声学场景、乐器、咳嗽/笑声等非语音声音、性别、情绪、音频问答 Noul VoxCeleb1-O、Clotho-AQA、PodSarc、In-the-Wild 二元真假标签 说话人验证、二元音频问答、讽刺检测、音频深度伪造检测 Score NISQA overall/noise/coloration/discontinuity/loudness、VoiceMOS 有序等级或 MOS 评分 噪声、染色、断续、响度、整体语音质量
论文将每条训练样本统一成“音频—问题—答案规范—目标”的格式。一个音频不需要同时拥有 Choice、Noul 和 Score 三类标注；样本只对已有且可靠的目标计算损失，缺失标注不产生 Loss。这是论文处理异构数据的关键。
四、SFT：异构音频任务的联合监督
SFT 阶段联合优化 Audio Encoder、Audio-to-Language Adaptor、语言模型 Backbone 和 Jev 决策头。每条样本只激活其请求的决策原语，另外两个读出头不接受该样本的任务损失。论文没有把训练拆成多个串行阶段，而是把三类任务放入同一个监督微调流中；因此这里的“训练阶段”主要是 SFT 和后续 RLCD-inspired 强化学习两个阶段。
4.1 Choice 损失
对有效候选集合 \(\mathcal{C}_i\)，候选概率为：
\(p_{ik}=\frac{\exp(z_{ik})}{\sum_{j\in\mathcal{C}_i}\exp(z_{ij})},\qquad k\in\mathcal{C}_i\)
交叉熵为：
\(\ell_i^{\mathrm{choice}}=-\sum_{k\in\mathcal{C}_i}t_{ik}\log p_{ik}\)
硬标签是 One-hot 分布；当数据提供人工标注分布时，使用 Soft Target。Choice 的候选随机排列是论文中特别强调的抗位置偏置增强。
4.2 Noul 损失
二元标签 \(y_i\in\{0,1\}\) 经过 Sigmoid 得到真值概率，使用 Binary Cross Entropy：
\(p_i=\sigma(z_i),\qquad \ell_i^{\mathrm{noul}}=-y_i\log p_i-(1-y_i)\log(1-p_i)\)
论文同时允许 \(y_i\in[0,1]\) 的软二元标注。这样可以用于多人标注后的概率标签，而不是强行压缩为单一真假值。
4.3 Score 损失
Score 同时使用等级分布交叉熵、累计分布误差和期望分数的 SmoothL1。预测和目标的累计概率分别为：
\(P_{im}=\sum_{k=0}^{m}p_{ik},\qquad T_{im}=\sum_{k=0}^{m}t_{ik}\)
三项损失为：
\(C_i=-\sum_{k=0}^{K_i-1}t_{ik}\log p_{ik}\)
\(D_i=\frac{1}{K_i-1}\sum_{m=0}^{K_i-2}(P_{im}-T_{im})^2\)
\(H(e)=\begin{cases}\frac{1}{2}e^2,&|e|<1,\\ |e|-\frac{1}{2},&|e|\ge 1\end{cases}\)
\(\ell_i^{\mathrm{score}}=C_i+\lambda_{\mathrm{cdf}}D_i+\lambda_{\mathrm{mean}}H(\hat{s}_i-s_i^{\star})\)
论文固定使用 \(\lambda_{\mathrm{cdf}}=0.25\) 和 \(\lambda_{\mathrm{mean}}=0.10\)。这比单一 MSE 回归更适合有序评分：交叉熵约束等级分布，CDF 项惩罚等级距离，SmoothL1 约束原始评分尺度上的期望值。
4.4 SFT 总目标
每条样本只计算其激活原语的损失：
\(\mathcal{L}_{\mathrm{dec}}=\ell_i^{t_i}\)
完整 SFT 目标为：
\(\mathcal{L}_{\mathrm{SFT}}=\mathcal{L}_{\mathrm{dec}}+\lambda_{\mathrm{lb}}\mathcal{L}_{\mathrm{lb}}^{\mathrm{base}}+\mathcal{L}_{\mathrm{rz}}\)
其中 \(\mathcal{L}_{\mathrm{lb}}^{\mathrm{base}}\) 是语言模型 Backbone 的 MoE 负载均衡损失，\(\mathcal{L}_{\mathrm{rz}}\) 是 Router z-loss。论文明确指出，SFT 不包含下一 Token 或多 Token 预测目标。
五、RLCD-inspired 强化学习：优化概率校准
强化学习从 SFT Checkpoint 开始，把每个类型化决策视为一步 Contextual Bandit。它不是为了让模型生成更长的解释，而是让概率分布同时具备正确性和校准性。论文使用基于 Brier Score 和 Ranked Probability Score 的组奖励，并通过采样动作做 REINFORCE 更新。
5.1 探索策略
对于第 \(i\) 个问题，Choice 和 Score 从候选或有序等级分布中采样，Noul 视为 False/True 两类策略。每个问题独立采样 \(M=32\) 个动作，探索行为策略为：
\(\mu_{\theta,i}(a)=(1-\epsilon)p_{\theta,i}(a)+\frac{\epsilon}{K_i},\qquad \epsilon=0.05\)
重要性权重为：
\(w_{ir}=\frac{p_{\theta,i}(a_{ir})}{\mu_{\theta,i}(a_{ir})}\)
5.2 校准导向的组奖励
对真实答案 \(y_i\)，Brier 误差为：
\(B_i=\sum_{k=0}^{K_i-1}\left(p_{\theta,i}(k)-\mathbf{1}[k=y_i]\right)^2\)
Score 任务额外加入累计概率误差：
\(D_i=\frac{1}{K_i-1}\sum_{h=0}^{K_i-2}\left(\sum_{k=0}^{h}p_{\theta,i}(k)-\mathbf{1}[y_i\le h]\right)^2\)
论文构造的采样组奖励期望满足：
\(\mathbb{E}[\widehat{J}_i]=-B_i-\lambda_iD_i\)
其中 Score 任务使用 \(\lambda_i=0.25\)，Choice 和 Noul 不使用有序等级项。该奖励不只奖励“猜对”，还奖励把概率质量放在正确等级附近，并减少过度自信。
5.3 策略梯度更新
论文使用 Leave-one-out Baseline，构造每个采样动作的 Return 和 Advantage，最终的策略梯度损失为：
\(\ell_i^{\mathrm{PG}}=-\frac{1}{M}\sum_{r=1}^{M}\operatorname{sg}\left[w_{ir}A_{ir}\right]\log p_{\theta,i}(a_{ir})\)
\(\operatorname{sg}\) 表示 Stop-gradient；采样动作、奖励、Baseline 和重要性权重视为常量，梯度只通过动作概率流动。这个阶段的重点是校准概率，而不是增加新的标签类型。
六、评测设置与数据集
论文共评测 18 个标注配置：8 个 Choice、4 个 Noul、6 个 Score。评测覆盖分类、音频问答、说话人验证、讽刺和深度伪造检测，以及语音质量评分。论文重点报告模型自身在这些任务上的结果，而不是逐任务与所有原始基座模型做完整消融对比。
6.1 Choice 任务
Benchmark 任务 Accuracy (%) CochlScene 声学场景分类 77.8717 NSynth instrument 乐器识别 72.2900 NonSpeech7k sound 人类非语音声音识别 92.6897 DiDiSpeech gender 说话人性别分类 100.0000 MELD emotion 对话情绪识别 57.3072 MMAU 多模态音频问答 78.7000 MMSU 语义、韵律和副语言理解 84.0568 MMAR 复杂混合音频问答 69.9000
Choice 结果显示，性别分类和人类非语音声音识别超过 90%，而 MELD 情绪识别只有 57.31%，是最弱配置。模型对说话人属性和明显的副语言事件更容易判断，对对话情绪这种依赖上下文、语气和角色关系的任务仍有明显提升空间。三个音频问答数据集中，MMSU 最好，MMAU 居中，MMAR 最低，说明复杂混合音频问答比基础类别识别更难。
6.2 Noul 二元判断
Configuration Accuracy (%) EER (%) AUC Brier FPR (%) FNR (%) VoxCeleb1-O 93.5441 6.4980 0.982267 0.048695 7.3214 5.5901 Clotho-AQA 79.8901 19.8251 0.878652 0.146391 14.4121 24.4898 PodSarc 98.2651 1.4427 0.995230 0.016406 2.1725 1.2149 In-the-Wild 76.3232 20.9469 0.876318 0.158112 3.7822 57.2867
PodSarc 和 VoxCeleb1-O 同时具备较高 AUC 和较低阈值错误，说明模型在说话人验证和讽刺检测上的概率排序、二元决策与概率误差都较稳定。In-the-Wild 与 Clotho-AQA 的 AUC 接近，但 In-the-Wild 在 0.5 阈值下 FNR 达到 57.29%，说明它不是不能排序，而是在当前阈值下漏掉了大量正样本。实际部署时应根据业务成本重新选择阈值，而不能只看默认 0.5。
6.3 Score 质量评分
Configuration MOS MAE MOS RMSE Normalized MAE Normalized RMSE Pearson Spearman NISQA overall 0.424642 0.546344 0.106160 0.136586 0.821002 0.807382 NISQA noise 0.584499 0.738843 0.146125 0.184711 0.736052 0.722851 NISQA coloration 0.345370 0.431912 0.086342 0.107978 0.809883 0.808054 NISQA discontinuity 0.430562 0.539793 0.107640 0.134948 0.800940 0.725388 NISQA loudness 0.436985 0.523098 0.109246 0.130775 0.728235 0.689991 VoiceMOS 0.813497 1.004048 0.203374 0.251012 0.723059 0.753843
NISQA overall 和 coloration 的 MOS 误差较低且相关性接近 0.8；loudness 的平均误差与 overall 接近，但 Pearson 较低，说明“平均偏差小”和“随样本质量变化的趋势一致”是两个不同维度。VoiceMOS 的 Pearson 和 Spearman 都为正，但原始 MOS MAE 为 0.813，高于 NISQA 各维度，说明跨数据集评分尺度和主观一致性仍是难点。
七、对 ASR 和音频理解系统的工程启示
把“识别”和“决策”分开： ASR、说话人验证、质量审核和音频筛选常常只需要结构化结果，直接读出比生成解释文本更适合高吞吐服务。使用问题条件化的候选空间： 同一个输出位置可以在一个问题中表示场景，在另一个问题中表示情绪，候选语义放在问题中，比固定分类头更容易扩展新任务。把概率校准作为一等目标： 线上系统通常需要阈值、置信度和风险排序，Brier、CDF 和概率分布损失比只优化准确率更贴近实际。允许部分标注： 不同音频数据集的标签互不相同，统一“音频—问题—规范—目标”格式，可以在不强行补全标签的情况下联合训练。对 Score 保留有序结构： 语音质量的 2 分和 3 分比 2 分和 5 分更接近，CDF 损失可以把这种等级距离纳入训练。部署时重新选阈值： In-the-Wild 结果说明 AUC 相近的系统，在固定 0.5 阈值下可能出现完全不同的 FNR，生产系统应根据漏检和误报成本选择 operating point。Qwen-Audio-Jev 的主要价值在于重新定义音频语言模型的输出接口：输入仍然是音频、自然语言问题和答案规范，输出则从开放式文本改为三种类型化决策。Choice 负责有限候选选择，Noul 负责二元命题概率，Score 负责有序质量分布和期望分数。模型通过共享的 Qwen-Audio-3.1-ASR-Flash-Next 表示通路和一个决策头覆盖多个数据集，再用异构标签的 SFT 和面向校准的 RLCD-inspired 训练统一优化。
论文结果说明，这种设计在音频筛选、说话人验证、深度伪造检测、语音质量评估和批量音频问答中具有工程潜力；但它还不是完整的端到端复现方案，因为训练数据总量、数据配比、完整消融和统一速度基准仍未公开。对于 ASR 团队，最值得借鉴的是：把高频、有限答案的后处理任务从“生成式问答”改造成“问题条件化决策”，并把概率校准、候选重排和缺失标签处理直接纳入训练接口。
