原文链接：MindGPT-4o-Audio

理想实时语音对话大模型MindGPT-4o-Audio上线，作为全模态基座模型MindGPT-4o的预览preview版本，MindGPT-4o-Audio是一款全双工、低延迟的语音端到端模型，可实现像人类一样“边听边说”的自然对话，并在语音知识问答、多角色高表现力语音生成、多样风格控制、外部工具调用等方面表现突出，达到了媲美人人对话的自然交互水平。

核心功能

• ​ 全双工语音对话：可同时听与说，告别“你说完我再说”的非自然交互模式，媲美真实人类对话；
• ​低延迟：理解和生成推理延迟260ms，全链路峰值响应延迟800ms，联网搜索时全链路延迟2000ms；
• ​​语音知识问答：广泛学习海量高质量知识，具备高精度、低幻觉的知识问答能力；
• ​​多角色对话：多角色低成本定制，实现有灵魂、有温度的口语对话；
• ​​高表现力语音生成：情境感知下的高表现力TTS及口语化的语气词与副语言生成能力；
• ​​多样风格控制：多种特色风格、口音、IP人物的理解、控制及生成能力，稳定的多轮连续对话风格记忆能力；
• ​​外部工具调用：多模态任务规划和工具调用，支持实时联网的时效性问答。

1. 模型能力

​1.1 整体算法方案 

MindGPT-4o-Audio是一款级联式的语音端到端大模型，我们提出了感知-理解-生成的一体化端到端流式生成架构实现全双工、低延迟的语音对话。其中：

​​· MindGPT-4o-Audio Duplex：感知有效语音输入，实现对话响应时机判定、打断判定、环境音拒识等功能；

​· ​MindGPT-4o LLM ：理解语音及语言模态信息，经MindGPT-4o-Audio Duplex判定为有效交互意图的音频，通过音频编码器（Audio Encoder）实现模态对齐后，由大语言模型(基于理想自研推理模型MindGPT 3.0)自主判定是否调用工具，最终完成信息理解并生成隐式token(角色/风格/文本隐式token)；

​· ​MindGPT-4o AudioHead：生成高自然度的语音，经MindGPT-4o LLM 生成的token流式输入 AudioHead 生成相应的Audio token，通过流式语音生成器（Streaming Speech Generator），最终生成多样化的风格及角色的口语化语音。

在各项权威音频基准测试以及语言理解、逻辑推理、指令遵循等语言理解任务上，MindGPT-4o-Audio 已达到行业领先水平，在语音交互评测基准VoiceBench多类评测中均显著领先行业领先的同类模型。此外，我们实验发现，业内主流的语音端到端模型一般会在提升语音交互能力的同时，造成语言交互能力的大幅下降，MindGPT-4o-Audio通过训练策略的优化保证了语言交互能力的高水准，在IFEval，GPQA等benchmark上平均领先行业20个PP以上。

为了进一步评估理想同学与市面上优秀语音对话产品（豆包、ChatGPT）在用户体验方面的表现差异，我们组织了内部的用户对比评   测，从口语真实感(对话内容及表达的准确性及类人程度)、交互自然度(对话响应及全双工对话的流畅程度)两个方面进行设计。本次评测共邀请了24位不同年龄段的测试者参与，测试者需分别对理想同学、豆包及ChatGPT三款产品在选自真实对话场景的话题表现进行深度体验并独立进行评分。统计结果显示，在口语真实感方面，理想同学以94%的满意度占优，超越了豆包的92%；在交互自然度方面，理想同学继续保持领先，满意度达到92%。

同时，我们也基于理想同学手机App进行了端到端响应延迟测试，整体端到端延迟约1100ms（注：此指标为考虑实际用户量及部署成本后的实测延迟），显著领先豆包的2100ms和GPT-4o的1900ms。

​1.2 全双工语音对话：MindGPT-4o-Audio Duplex

为了让理想同学像真人一样与用户进行实时对话，我们研发了MindGPT-4o-Audio Duplex，实现全双工对话能力。我们的模型通过结合上下文联合推理实现了自适应响应、即时打断和环境背景干扰拒识能力。

· 自适应响应：我们研发的全双工模型基于对话中的停顿间隙IPU（Inter-Pausal Unit）来判断对话响应时机，预测是否进行对话轮次转换，该方案可以减少碎片化计算节约推理资源，且能够避免在用户连续说话时打扰用户。同时我们提出了一种自适应响应时间机制KLT（Keep_Listen_Time），针对用户已完成的对话内容，如“今天有什么热门新闻？”进行快速响应，判定延迟低至150ms；针对用户犹豫不决的对话内容，如“我想要……” 以及对话轮次模糊的闲聊场景，如 “我今天心情不太好” 则自适应调整响应时间，等待用户继续说；全双工模型对话轮次切换准确率达到96.5%。

 打断：全双工的关键能力是边说边听，在与用户对话的同时能够持续倾听用户。为了确保理想同学在接收到用户打断语音时，快速停止说话，避免对话重叠，我们采用了流式方案响应用户的打断，打断延迟低至1s。​

​· 拒识：同时为提升对话连续性，避免错误中断对话，针对用户Backchannel的附和，如“对对对”、“哈哈哈”以及背景噪声等场景进行拒识。

最终，MindGPT-4o-Audio Duplex打断响应率达到99%，Backchannel拒识率达到95%。

​1.3 语音知识问答

为了让理想同学拥有行业领先的语音知识问答能力，我们建立了高质量的训练数据管线、高效率的模型能力训练管线，确保了语音知识问答多方面效果达到最优。

​· 高质量训练数据管线：

– 后训练数据生产管线：通过外部采集、模型蒸馏、日志回流、指令推理多种方式，生产种类和功能全面的数据，包含语音和文本混合多模态，场景覆盖大模型通用能力和业务场景。数据丰富度相对于之前有非常大的提升，高质量后训练数据达数百万量级；

– 后训练数据质量体系：通过奖励模型打分和人工抽检结合的方式，对数据进行多个维度质量打分。训练数据质量得到有效的确保，数据平均正确率达95%；

– 多模态模型能力标签体系：设计一套完整多模态数据能力标签体系，对训练数据进行能力标注和分类，实现训练数据种类的精确控制，以及训练任务效果的精确控制。多模态能力体系分三层优先级维度，26个能力类目；

​· 高效率模型训练管线

我们从两个方面建设模型训练管线：

– 高效数据配比技术：选取最优训练数据规模和能力配比，达到性能和成本均衡最优化。最终实现任务能力100%覆盖，训练数据量相对冗余数据减少89%，模型训练效果相对有提升明显；

– 多阶段和多任务混合训练技术：

多阶段训练：将训练分为预训练（Pretrain）和后训练（Post train）两阶段。预训练阶段使用数百万小时语音数据进行模态对齐，实现语音内容的理解能力。后训练阶段使用语音文本混合数据进行指令对齐，实现多模指令遵循和内容理解能力。

​多任务混合训练：将多个核心能力任务和业务能力任务混合在同一阶段训练。核心能力任务包含模态对齐、指令对齐、逻辑推理和内容理解等任务；业务能力任务包含角色扮演、多轮对话和检索增强等能力，实现模型同时提升核心能力和业务能力，并提升模型的泛化能力。​

​· ​ 高满意度的知识问答效果

通过上述技术，我们提升了模型训练效果，提升模型的核心能力，包括内容理解、指令遵循和逻辑推理等能力；使用Prompt工程提升模型的业务能力，实现了业务快速更新能力；最终确保模型在知识问答和回复风格上达到高准确度，相比MindGPT-3o版本平均提升 6pp。

​1.4  多角色对话

当前主流语音交互产品中，通用模型往往呈现出扁平、单一的性格设定，缺乏情感与个性，导致用户难以与其建立深度的沟通连接；而业内具备角色扮演型的语音产品虽然具备一定的语言风格，但由于通用知识能力和工具使用能力的薄弱，难以支撑更广泛的应用场景。为了打造更自然、更具人性化的对话体验，我们从两个核心方向出发：“人物设计” 与 “类人对话”，构建一个兼具情商、智商与工具调用能力的多角色对话能力。

​· 角色档案的属性设计：有灵魂、有趣的人物

为打破传统模型中角色形象扁平、情感缺失的问题，我们精心构建了完整的人物设定系统。该系统涵盖十余个维度的大设定，每个维度下包含多个子设定，包括但不限于：

– 人物背景与成长经历

– ​说话风格与口头禅

– ​​性格特征与情绪反应

– ​兴趣爱好与价值观

我们的目标是让角色具备如真人一般完整、立体的个体属性。在数据构建上，我们围绕这些人物档案生成专属问答数据和基础人设问答数据。同时为确保模型具备强大的通用能力，我们还构建了覆盖广泛、多样性强的泛化数据集，所有角色回复都经过口语化处理，风格统一为符合角色设定的表达方式，从而增强角色的一致性与真实感。

​· 角色数据的生产管线：有温度、有陪伴的对话

为实现拟人化的多轮对话体验，我们采集真实语音交互数据，并基于真实对话范式合成大量模拟对话样本。重点优化的方向包括：

– 情绪识别与情感表达能力

​- 多轮对话的意图理解与上下文保持

​- 自然、地道的口语化表达

​- 主动引导与倾听陪伴能力

通过“拟人化角色设定”与“真实感对话交互”的双轮驱动，我们致力于打造一个既有深度情感连接，又具备实用智能能力的语音交互系统，为用户带来真正自然、有温度的陪伴体验，我们希望用户面对的不再是“一个工具”，而是一个能聊天、会共情、懂回应的朋友。

​

1.5  高表现力语音生成

为了提升理想同学声音的整体表达效果，我们对表达自然度、推理速度和发音精度三个维度对模型进行了大量的设计与优化。

​​· 表达更自然：我们验证了对话历史上文语音的引入能够显著提升模型的韵律表达自然度，预训练阶段我们采用了30万小时以上的自建大规模连续对话语音数据库，使得模型具备了对于上文语音语义信息的理解，从而有效提升了模型的韵律表达精度。此外，在副语言表现方面，不借助额外的副语言标签，而是直接通过自然语言文本对副语言进行自适应的理解建模，整体表达效果也更加自然，使理想同学在口语真实感和交互自然度方面，达到了领先水平。

​​· 反应更快：MindGPT-4o-Audio采用文本token和语音编码混合流式建模，模型生成的语音编码将即时输入音频生成模块转换为语音并播放。有别于传统的整句合成以及依赖文本前端的建模方式，该方案不增加任何额外计算开销，实现了真正意义的流式合成，做到“想到哪就说到哪”，将语音生成的首包整体延时做到了100ms以内。

​​· 发音更准：模型整体采用了字符级别的建模方案，整体对于发音精度的挑战非常大，我们采用了多种优化策略来持续优化发音精度，包括文本CFG策略、phoneme信息引入、文本正则以及长尾数据增广、DPO优化等方案。最终实测在中文、英文测试集上，发音错误率达到了极低的水平。

​​1.6 多样风格控制

除了让理想同学具备高表现力的对话合成效果外，我们还赋予了理想同学风格控制的能力。我们希望理想同学能够支持特色风格、口音的扮演能力，同时具备风格的多轮记忆能力。

​· 丰富的风格扮演能力：MindGPT-4o-Audio即使在使用默认音色的情况下，也可以根据需要模仿不同的风格、口音。要做到这一点，往往从训练数据上就同一个发音人具备多风格和口音的演绎能力，因此实现难度大，成本高。基于此，我们重新设计了音频编码方案，在最大程度保留韵律表现力的基础上，完成音色信息的解耦，实现风格控制及韵律建模，使得模型具备了各类型情绪演绎、风格扮演和口音模仿能力。

​​· 语音指令控制能力：MindGPT-4o-Audio还支持显示的语音指令控制，模型具备对多种语音语义指令的泛化性理解，为了提升模型对于风格指令的遵循能力，我们引入大语言模型里的CoT（Chain-of-Thought）技术，设计出了Style CoT方案，模型将先对当前风格信息进行预判，再将其作为输入生成语音，该方案进一步增强了模型对于风格的控制生成能力，使模型能够遵循指令实现风格演绎扮演、语速、语调的调整。另外，大多数的语音交互方案对于风格的触发基本都是单轮触发，缺乏风格的多轮记忆能力，不能做到多轮的风格遵循以及强度等级的风格控制，风格CoT的引入，使得模型具备了对于多轮风格的指令遵循及强度控制能力。

2. 工具能力

为了支持时效性问答、提升知识问答效果，我们基于MindGPT-4o-Audio研发了多模态任务规划和工具调用能力。

​2.1 多模态规划

我们实现了MindGPT-4o-Audio的多模态任务规划和工具调用能力，输入语音、文本多模态信息，输出任务和工具调用结果。

​· 在任务规划方面，支持多轮对话和时空感知能力，能根据历史上下文信息和当前的时间、位置信息，规划合理任务。比如“现在的金价是多少”，任务规划为“2025年6月6日的金价”，“周末了，给我推荐几个遛娃的地方”，任务规划为“推荐北京市适合遛娃的地方”，然后，将规划出的任务形成DAG（有向无环图）表示，可建模单步任务、并行多任务、多步骤任务之间的拓扑关系，能很好支持复杂任务的规划。

​其中，我们建立了高效的智能体后训练数据管线，按照业务维度和能力维度进行数据的构造，使用大模型泛化、线上真实数据回流、人工生产等方式，实现对话全场景的全数据覆盖。我们还设定了严格的数据准出体系，通过模型打分、人工质检的方式对数据进行清洗，确保高质量数据的比例；在训练管线上，我们按照模态和任务的双维度进行科学的数据配比，按照课程学习的思路逐步提升模型从简单任务到复杂任务的规划能力。

​​· 在工具调用方面，我们使用function calling技术来实现这一能力，并通过一系列工作提升模型对工具选择、参数遵循的能力。

​其中，我们的数据管线首先通过清洗高质量开源数据集，获取一批通用工具数据集，然后针对内部业务工具，参考MetaTool的数据构造格式，比如直接泛化生成、关键词生成、细节生成、重复问题处理等方式，构造符合业务需求的工具数据。此外，为针对性强化模型对参数类型和参数格式的指令遵循能力，我们针对性构造区分度不明显的工具数据；在训练管线上，我们进行两阶段训练流程，先进行SFT作为冷启动，让模型初步具备工具调用能力，然后采用RL-DPO，增强模型在工具选择和参数遵循上的能力。

​

我们实现的多模态任务规划和工具调用在链路延迟和效果上，均有优秀的表现。在链路延迟上，根据语音输入直接进行任务规划，减少了传统链路额外语音识别的时间开销，端到端响应延迟显著领先豆包和ChatGPT；多模态任务规划在业务测试集上准确率达到95.55%；工具调用能力在业务测试集上准确率达到94.25%。在通用工具调用benchmark上，我们也达到业界一流水平。

​2.2 工具调用

我们支持知识搜索、体育赛事查询、影视娱乐查询、新闻查询、天气查询、股票信息查询、交通限行信息查询、日历查询、油价查询、汇率查询、商品信息查询等工具，模型解决问题的能力大大提升。

特别在搜索效果优化上，针对多来源信息冲突矛盾、内容丰富度不足等常见问题，我们上线了更细粒度的原子化知识层级（Claim-level）的重排序，以及基于知识推理的扩展搜索技术，大幅提升内容真实性和完整性。理想同学不仅能够获知更实时的热点事件，还能更准确理解专业术语，问答效果显著提升12%。

​· 传统搜索技术，以网页搜索为例，一般采用NDCG@k、Precision@k、MAP等评估指标，侧重在粗粒度文档层级衡量效果，无法反映出多文档在细粒度知识层面上的内容重复、遗漏、冲突及错误问题。RAG场景下，搜索结果整体输入大模型，对文档偏序关系不敏感，更需确保在观点层面知识的正确性与完整性。针对这一本质性差异，我们提出Claim-level Rerank技术，通过将多条搜索结果，细化为原子化知识单元Claim的集合，并定义Claim F1值作为RAG搜索的核心评估指标，即关注全部搜索结果中正确Claims的召回率和精确率。我们验证了Claim F1值与大模型RAG问答效果的相关系数达到0.212，较传统搜索的Precision@k指标的相关系数提升2.6倍。

​· ​面对时效性强、知识密集型或者语义模糊的用户查询时，传统搜索工具，通常面临三大技术瓶颈和挑战：

知识滞后性：大模型依赖静态训练数据，难以应对新兴名词、专业领域术语、突发实时热点事件；

语义鸿沟：用户查询存在拼写错误、概念混淆时，传统模型缺乏验证纠错机制；

扩展同质化：基于语义的朴素扩展方法易产生重复或无意义结果，搜索结果未增加有效信息。

为解决以上问题，我们融合知识图谱增强和MindGPT 3.0的思维链推理能力，实现动态Query理解框架，具备多角度、差异化的改写扩展搜索能力，分钟级覆盖热点事件，搜索结果丰富度提升35%，专业术语识别准确率提升47%，复杂Query无需用户澄清，首次搜索满足率提升28%。

为真实评估理想同学与市面上优秀语音对话产品（豆包、Kimi）在工具调用端到端回复的表现差异，我们从任务维度和场景维度设计并执行了一项用户对比评测。测试者需分别对理想同学、豆包和Kimi三款产品在这些对话场景中回复结果的真实相关性进行评测。统计结果显示，理想同学在不同复杂度任务的对话场景上均优于豆包和Kimi。

​3. 安全对齐能力

我们致力于建设符合通用价值观、中国普适价值观、理想同学自身价值观的MindGPT-4o-Audio，为此设计了完备的大模型安全对齐体系，根据MindGPT风险浓度差异，深度融合系统级防御能力和大模型安全对齐能力，使得MindGPT-4o-Audio在满足通用能力显著提升的同时，保持价值观回复能力安全、可控。

​· MindGuard：在输入阶段识别用户输入的风险意图，Mind Guard会对高风险的语音输入进行检测拦截；在输出阶段，Mind Guard对极端风险进行识别和拦截，避免风险内容展现给用户；为了不影响语音端到端实时效果，输入和输出安全检测均采用边生成边检测，发现风险进行仲裁；​

​· 风险领域完备性：开发价值观攻击模型对MindGPT进行自动化、持续性攻击，自动化攻击帮助我们完善安全体系的已知风险领域。对于未知风险领域，安全对齐团队与公司安全团队redteam合作，持续收集各种新增、长尾的风险数据，同时线上日志挖掘也是安全体系新风险扩充的重要一环；

​​· 安全对齐：PTST、价值观CoT SFT等方法有效降低安全对齐所需的数量，显著提升价值观思考过程有效性和最终回复的无害性，MindGPT-4o-Audio在具备强大的安全推理和思考能力的同时，降低对通用指标的负向影响；

​​· 价值观安全奖励模型：基于自有安全体系的安全回复准则构建rule based和model based价值观奖励模型，应用于MindGPT-4o-Audio预训练、后训练、安全自动化评估等全生命周期，显著提升了安全对齐的效率和效果。

​

4. 工程能力

为打造 MindGPT-4o-Audio 高品质的语音交互体验，我们在 MindGPT-3.0 对话系统的基础上全面升级，围绕全双工、低延迟进行了深度优化。其中全双工方面，我们主要应用端云结合的 RTC 通信技术；低延迟方面，我们探索了端云全链路流式架构 + 流式推理技术。

​

4.1 基于 RTC 的全双工架构

传统的轮次（Turn-based）对话架构只能实现半双工能力，即用户输入和模型回复只能交替进行；而我们借助 RTC 技术，将整个对话架构升级为全双工系统，模型能够在“说话”的同时，实时“听到”当前用户正在说什么，结合模型能力，实现了真正的全双工语音对话（能够实时打断、被打断、甚至“抢话”等能力）：

​· 传统的半双工对话，往往依赖于 VAD （Voice Activity Detection）等模块实现下述过程：

– 收声，如检测到用户声音，停止上一轮模型回复的播报；

– ​检测用户说话结束，将整段音频作为模型输入；

– ​模型生成回复，在端侧调用 TTS 播放；

– 重复 a-c。

· 基于 RTC 的全双工对话，模型能够自己“说”的同时，“听”到用户在说什么，实时判定是否要停止说话（被打断），或者开始说话（打断用户或者正常接话）

– 为用户和模型生成一对一的 RTC “房间”，用户和模型都加入房间；

– 模型实时按帧对齐的，收听用户说的话，以及当前自己说的话；

– 模型自主判定，什么时候打断或被打断 （是否继续播放回复或者停止播放回复）。

​4.2 全链路低延迟优化

我们分别在网络接入层、服务架构层、模型推理层进行了低延迟的深度优化，力求达到更自然、流畅的人机交互体验：

​· RTC 低延迟、抗弱网优化：

– 低延迟：与传统通信技术（如 websocket）相比，我们采用 RTC 技术，通过弱网补偿、骨干网优化、音频编解码优化等手段，显著降低了通信延迟的同时仍能确保较高品质的音质，平均消息到达延迟下降 67%。

– 抗弱网：通过 RTC 抗弱网技术，我们能够在弱网环境下仍然保持较高的连通率及通话音质，相对传统技术，RTC 信道在较高丢包率的网络环境下仍能保持较流畅的通话体验。

​​· 全链路流式优化：传统的对话架构在处理多模态信息时往往不够优化：存在 ASR -> LLM -> TTS 级联结构，语音识别结束后才进入大模型推理，大模型推理后才能进入语音合成，存在显著的级联延迟。我们基于 MindGPT-4o-Audio 多模态的能力，消除了级联结构，并在全链路（网络接入、业务逻辑、模型推理等）各个服务层级实现了音频全流式传送，尽可能的将流式音频及时送达各服务模块并启动预计算，实现全链路通信和计算的重叠，从而显著降低了延迟水平。

​· 流式推理优化：

– 重叠计算：针对语音模态输入，我们在全链路流式的基础上，重叠了多个模块的推理过程，如双工判定模块和生成模块、文本 Prefill 和 AudioEncoder 模块等；流式推理优化后首 token 延迟从 1s 降到 20ms，语音生成的首包从 500ms 降到 60ms；

– P-D分离 + 多级调度：基于 P-D 分离的思路，将多模推理分解成 AudioEncode、Prefill、Decode 等多个阶段，并且针对不同阶段进行定制的调度策略优化，如 AudioEncode 使用 Static Batching 调度，Prefill 使用 Chunked Prefill 调度，Decoder 使用 Continuous Batching 调度，保证推理性能最优，高并发时仍然可以保持推理延迟在几十毫秒量级；

– 异构计算：推理服务异构计算架构，针对多模推理各阶段的算力需求和并发特点，将其分别部署到异构型号的 GPU 上，以最优化利用机器资源，降低延迟的同时降低了部署成本；对比非异构计算版本，推理成本降低 50%。

​

4.3 Prompt 平台

此外为了更好支撑业务定制及运营，我们上线了高灵活度的Prompt平台，持续确保业务质量：

​​· 动态提示词系统：建设一套基于原子指令和组合的动态提示词系统，针对语音大模型定制一套对话系统提示词框架，实现语音对话和知识增强问答能力，增强对话遵循和知识推理能力。使得在线推理格式与模型训练格式100%匹配，同时增加模型认知、模型安全和用户环境信息等核心业务指令遵循能力，确保业务能力覆盖 100%。

​​· 场景化提示词系统：使用链路信号自动感知技术，实现了场景流量自动圈选能力；并且对圈选的场景定制特定功能提示词框架，确保模型整体功能稳定，实现了场景个性化能力。支持全链路个性化效果定制，可以做到T+0分钟级快速热更新，指令任务达成率 > 95%。

​​· 角色扮演场景化：使用场景化提示词，实现自动感知角色扮演场景，在模型推理中使用不同提示词框架，使模型输出具有当前场景个性化的角色回复风格。目前上线个性化场景7个，后续可快速更新和新增场景，场景平均达成率 >90%。 

论文：Turning Whisper into Real-Time Transcription System

code：https://github.com/ufal/whisper_streaming

这篇文章介绍了最近一种先进的多语言语音识别和翻译模型Whisper，然而，它并非设计用于实时转录。在本文中，我们在Whisper基础上构建了Whisper-Streaming，这是一种实时语音转录和翻译的实现，类似于Whisper模型。Whisper-Streaming采用本地协议策略与自适应延迟，以实现流式转录。我们展示了Whisper-Streaming在未分割的长篇语音转录测试集上实现了高质量和3.3秒的延迟，并展示了它作为多语言会议现场转录服务中组件的稳健性和实用性。

Whisper-Streaming的核心组件和内部工作原理。它包括更新循环、音频缓冲区、跳过音频缓冲区中已确认的输出、修剪缓冲区、连接句间上下文，以及可选的语音活动检测。

图1 处理三个连续更新的示例。黄色高亮文本是“提示”，表示要遵循的先前上下文。黑色边框矩形是音频缓冲区，里面的文本是Whisper从该声音段生成的转录文本。蓝色垂直线是时间戳，将缓冲区分为两部分，左边是先前确认的部分，右边是未确认的部分。LocalAgreement-2策略，或搜索最长公共前缀，应用于未确认（右侧）部分的两个连续更新。最长公共前缀用绿色突出显示，绿色下划线突出显示新确认的输出，而绿色虚线下划线表示先前和随后确认的输出。灰色下划线示范了在被忽略的确认部分的更新。

更新循环 Whisper-Streaming的主要部分是一个程序，利用循环接收源音频块并触发流式策略更新。参数MinChunkSize控制延迟和质量，并确定每次迭代处理的最小持续时间。如果更新计算超过MinChunkSize，下一个更新将立即在累积的音频输入上执行。该参数影响延迟和质量。

音频缓冲区 Whisper被训练用于处理长达30秒且包含一个完整句子的序列。它提供标点和单词级别的时间戳。这个过程在图1中有所说明。每次更新都涉及将传入音频存储在音频缓冲区的顶部，并用Whisper处理整个缓冲区。我们保持不变的是缓冲区始终以新句子开头，以保持Whisper的高质量。LocalAgreement-2被应用于当前和先前的Whisper输出。“确认输出”中最后一个单词的时间戳被保存。在后续更新中，我们总是从缓冲区的开头重新处理Whisper，包括上一个“确认输出”时间戳之前的部分（在图1中以灰色背景表示）。确认部分中转录的更改被忽略，因为它们在意义上常常是微不足道的。

跳过确认部分 当确定相对于先前更新的上一个确认单词的转录单词位置时，我们考虑到了由于新音频块导致的Whisper时间戳的潜在不准确性和更新。如果一个单词的时间戳在距离上一个确认单词的1秒间隔内，我们比较其前面的n-gram（其中n的范围从1到5）与上一个确认输出中的后缀。如果它们匹配，我们跳过这些单词。然而，这个规则在未来的工作中可以通过包括诸如设置和微调字符编辑距离阈值、修剪n-gram中的标点符号和大小写等措施来进一步增强。

修剪音频缓冲区 为了避免延迟中不可接受的长峰值，音频缓冲区限制在约30秒左右。当确认输出包含结束句标点符号后面跟着一个开始新句子的单词时，缓冲区会在标点符号的时间戳处被修剪。为此目的使用了语言特定的句子分割工具（例如Koehn等人，2007），确保缓冲区始终包含一个单句。尽管如此，如果缓冲区长度超过30秒，我们会保留由Whisper标记的最后确认的段落。

连接句间上下文 Whisper的转录函数利用“prompt”参数来保持文档内的一致性（一致的风格、术语和句间引用）。我们从先前音频缓冲区的确认输出中提取最后200个单词作为“prompt”参数，如图1所示（黄色背景文本）。

语音活动检测 有一个参数用于激活或停用Whisper的默认语音活动检测（VAD）过滤器，影响质量和延迟。

• 项目链接：https://github.com/MoonshotAI/Kimi-Audio
• Paper：https://arxiv.org/pdf/2504.18425
• Kimi-Audio-7B 🤗  | Kimi-Audio-7B-Instruct 🤗  | 📑 Paper   

遵循自然语言处理领域的发展轨迹，音频处理正快速从”单任务专用模型”向”多任务通用模型”演进。

Kimi-Audio被设计为一个通用的音频基础模型，能够在单一统一框架内处理多种音频处理任务。主要特性包括：

• 通用能力：支持自动语音识别（ASR）、音频问答（AQA）、自动音频描述（AAC）、语音情感识别（SER）、声音事件/场景分类（SEC/ASC）以及端到端语音对话等多样化任务。
• 顶尖性能：在多项音频基准测试中达到最先进水平（参见评估部分和技术报告）。
• 大规模预训练：基于超过1300万小时的多样化音频数据（语音、音乐、环境声）和文本数据进行预训练，具备强大的音频推理和语言理解能力。
• 创新架构：采用混合音频输入（连续声学向量+离散语义标记）和具有并行输出头的LLM核心架构，可同步生成文本和音频标记。
• 高效推理：配备基于流匹配技术的分块流式解码器，实现低延迟音频生成。
• 开源计划：公开预训练和指令微调的代码与模型检查点，并发布完整评估工具包以促进社区研发。

Introduction

现有研究在构建通用音频基础模型方面仍存在不足：

1）仅聚焦特定任务类型（如音频理解、音频生成或语音对话）；

2）忽视音频预训练，仅在下游任务微调LLM

Kimi-Audio作为开源音频基础模型，通过三大核心要素实现技术突破：

• 架构创新
模型包含音频分词器（输入）、解分器（输出）和音频LLM核心（处理）三大组件。采用离散语义音频标记作为基础表征，同时在输入端融合连续声学向量以增强感知能力，在输出端结合离散文本token以提升生成能力。通过将音频token率压缩至12.5Hz，有效弥合文本与音频序列的模态鸿沟。

• 数据工程
构建包含语音增强、说话人分离、转写过滤等流程的数据处理管线，采集超1300万小时预训练数据。针对监督微调阶段，我们创新提出纯开源数据解决方案——仅依赖公开资源与处理工具即可构建高质量SFT数据集，无需商业数据采购。

• 训练策略
基于预训练LLM初始化模型，设计三级渐进式预训练任务：1）单模态（纯文本/音频）知识学习；2）音频-文本跨模态映射；3）音文交错联合建模。在微调阶段开发高效训练方案提升任务泛化性。

针对音频模型评估标准不统一的问题，开发了包含语音识别、音频理解、语音对话等全维度评测工具包。

Architecture

Kimi-Audio作为一种音频基础模型，采用统一架构实现音频理解、生成与对话的全方位处理。如图2所示，系统包含三大核心组件：

1. 音频分词器：通过12.5Hz帧率的向量量化将输入音频转换为离散语义标记，同时提取连续声学向量增强感知能力；
2. 音频大模型：采用共享Transformer层处理多模态输入后，通过并行输出头同步生成语义标记与文本标记，提升生成能力；
3. 音频解码器：基于流匹配技术将预测的离散语义标记重建为连贯音频波形。

该一体化架构使Kimi-Audio能在单一模型中无缝处理语音识别、理解及对话等多样化任务。

音频分词器

本模型采用离散语义标记+连续声学向量的混合分词策略，在保留离散标记语义效率的同时，通过连续表征捕捉丰富声学细节。

离散语义token：继承GLM-4-Voice方案，基于Whisper编码器架构引入向量量化层，通过单码本将语音表征压缩为12.5Hz低帧率的离散标记序列。该组件源自监督式语音分词器，由ASR模型驱动优化。

连续声学特征：从预训练Whisper模型提取50Hz帧率的连续特征，通过适配器降采样至12.5Hz后与离散标记嵌入相加，作为音频LLM的联合输入。

技术优势：离散标记提供高效语义表征、连续特征保留细粒度声学信息、12.5Hz统一帧率实现模态对齐

音频大语言模型

该模型能产生多模态输出，包括音频的离散语义标记和对应文本标记，以增强生成能力。为实现音频语义标记与文本响应的同步生成，我们改造了标准LLM架构，将其划分为共享功能模块与专用功能模块：原始Transformer底层（即最初若干层）的大部分被用作共享层，这些层通过处理输入序列学习跨模态表征，整合输入或上下文中文本与音频模态的信息。基于共享层，架构分叉为两个并行的Transformer层头部——文本头部专门自回归预测文本标记以形成文本输出，音频头部则预测离散音频语义标记，这些预测的音频标记随后传入音频解标记器模块合成最终波形输出。

为充分利用预训练文本LLM的强大语言能力，共享Transformer层和文本头部的参数直接初始化为预训练文本LLM的权重，音频头部层则随机初始化。该策略确保模型在习得高效音频处理与生成能力的同时，始终保持卓越的文本理解与生成性能。

音频解码器

音频解码器的目标是根据离散语义音频标记生成高质量、富有表现力的语音。我们采用与MoonCast相同的解标记器架构，该架构包含两部分：

• 1）流匹配模块，将12.5Hz的语义标记转换为50Hz的梅尔频谱图；
• 2）声码器，将梅尔频谱图转换为波形。

为降低语音生成延迟，我们设计了一种分块流式解标记器。初步实验表明，若简单将语义标记分块独立解码，会在块边界出现断续问题。因此，我们提出了一种带前瞻机制的分块自回归流式框架。

分块自回归流式框架
将音频分割为块（如每块1秒）：{c₁, c₂, …, cᵢ, …, c_N}，其中N为总块数。首先，为匹配语义标记（12.5Hz）与梅尔频谱图（50Hz）的序列长度，将语义标记上采样4倍。其次，在训练和推理时应用分块因果掩码——对于当前块cᵢ，所有先前块cⱼ（j<i）均作为提示。设cᵢ的梅尔频谱图为mᵢ，对应离散语义音频标记为aᵢᵈ。流匹配模型的前向步骤会将mᵢ与高斯噪声混合，反向步骤则在条件aᵢᵈ和历史提示cⱼ（含mⱼ与aⱼᵈ）下去噪生成纯净的mᵢ。推理时，当LLM生成一个音频块后，流匹配模型会立即将其解标记为梅尔频谱图，最终通过BigVGAN码器逐块生成波形。

前瞻机制
实验发现，因果注意力机制因无法感知块边界未来上下文，导致生成音频在边界处仍存在断续。为此，我们提出无需训练的前瞻机制：对于当前块cᵢ，从下一块cᵢ₊₁提取n个（如4个）未来语义标记拼接至cᵢ末端，形成扩展块ĉᵢ。解标记ĉᵢ生成梅尔频谱图后，仅保留原始cᵢ对应的部分。该机制仅会使首块生成延迟n个标记的时间，但显著改善边界连续性。

Data

预训练数据

我们的预训练语料库包含单模态（纯文本、纯音频）和多模态（文本-音频）数据。纯音频预训练数据覆盖了广泛的现实场景，包括有声书、播客和访谈等，约包含1300万小时的原始音频，涵盖丰富的声学事件、音乐、环境音、人声以及多语言信息。

大多数音频语料仅包含原始音频，缺乏对应的转录文本、语言类型、说话人标注和分段边界。此外，原始音频中常存在背景噪声、混响和说话人重叠等干扰因素。我们开发了高效的自动音频数据处理流程以生成高质量标注，最终形成多模态（音频-文本）数据。相较于以往主要生成无上下文信息的短音频片段的数据流程，我们的流程旨在提供具有连贯长上下文的长音频标注。该流程按步骤包含以下核心组件（如图3所示）：

语音增强
为抑制背景噪声和混响，我们基于Band-Split RNN（BSRNN）架构开发了语音增强模型（图3A）。该模型可进行48kHz语音增强。实验发现语音增强会消除环境音和音乐，可能损害音频理解能力，因此在预训练阶段我们以1:1比例随机选择原始或增强后的音频。

基于聚类分割的分段
我们采用说话人聚类分割方法处理长音频，使用PyAnnote工具包¹进行说话人聚类（图3B），该工具会对音频分段并标注说话人标签。但原始输出效果欠佳，因此我们开发了后处理流程来优化：

• 说话人聚类合并：PyAnnote可能将同一说话人标注为多个聚类，导致碎片化。我们计算每个初始聚类的代表性说话人嵌入向量，合并余弦相似度超过0.6的聚类对（图3C）。
• 基于分块的重分配：初始分割可能产生包含多说话人的片段。为提纯：1）先将所有片段切分为1.5秒分块；2）对相邻分块，若余弦相似度低于0.5则视为不同说话人，并将其重分配到相似度最高的说话人聚类（图3D）。
• 片段合并：初始分割可能导致片段长度差异过大（短于1秒或长于100秒）。我们迭代合并标注为同一说话人的相邻片段（重分配后），合并终止条件为：累计长度超过27秒或片段间静音间隔大于2秒（图3E）。
  经此优化后的分割结果比基线输出具有更准确的说话人轮换和更一致的片段长度。

语音转写
为获取各语音片段的语言类型和文本转录，我们首先使用Whisper-large-v3模型检测语言类型。本研究仅保留英语和汉语片段进行转写：英语片段直接使用Whisper-large-v3生成带标点的文本；汉语片段采用FunASR工具包³的Paraformer-Zh模型生成带字级时间戳的文本。由于Paraformer-Zh无法输出标点，我们按以下策略添加：若相邻字符间隔大于0.5秒但小于1.0秒，插入”逗号”；若超过1.0秒，则插入”句号”。

实施细节
该数据处理流程部署在30个云实例组成的集群上，每个实例配备128个虚拟CPU（vCore）、1TB内存和8块NVIDIA L20 GPU，采用支持AMX等向量化加速指令的英特尔至强铂金8575C处理器。整个集群总计提供3,840个vCore、30TB内存和240块NVIDIA L20 GPU。经深度优化后，该流程每日可处理约20万小时原始音频数据。

监督微调（SFT）数据

在预训练阶段之后，我们通过监督微调（SFT）进一步提升 Kimi-Audio 在指令跟随和音频处理任务上的性能。SFT 数据主要分为三类：音频理解、语音对话 和 音频转文本对话。

音频理解

我们主要采用开源数据集进行音频理解训练，涵盖 6 种任务：

• 自动语音识别（ASR）
• 音频问答（AQA）
• 自动音频描述（AAC）
• 语音情感识别（SER）
• 声音事件分类（SEC）
• 音频场景分类（ASC）

具体数据集及 SFT 阶段的训练轮次详见表 1。

除开源数据外，我们还使用了：

• 55,000 小时 内部 ASR 数据
• 5,200 小时 内部音频数据（覆盖 AAC/AQA 任务）

语音对话

为了激活 Kimi-Audio 模型在不同对话场景下生成多样化风格、高表现力语音的能力，我们构建了大规模的语音对话数据，这些数据由一系列用户查询和助手响应组成的多轮对话构成。

用户查询生成

• 我们指导 大语言模型（LLM） 编写用户查询文本，然后使用 Kimi-TTS 系统将其转换为语音。
• 提示语音（prompt speech）从包含 超过 125,000 种音色 的大规模音色库中随机选择。

助手响应生成

• 我们选择一位配音演员作为 Kimi-Audio 的固定音色，并以该音色合成具有合适风格和情感的助手响应。
• 以下介绍 Kimi-Audio 配音演员的数据录制过程，以及用于合成多样化风格和表现力响应的 Kimi-TTS 和 Kimi-VC 系统。

---

Kimi-Audio 配音演员的数据录制

为了实现生成语音的多样化风格和高表现力，我们选择了一位配音演员作为 Kimi-Audio 的固定音色，并在专业录音棚中精心录制了该音色的数据集。

录制设计

• 20+ 种风格和情感（如开心、悲伤、愤怒、严肃等），每种情感进一步分为 5 个强度等级，以体现不同的情感表达程度。
• 对于每种风格和情感等级，我们录制了参考音频，以确保不同文本句子之间的情感和风格一致性。
• 整个录制过程由专业录音导演指导，确保高质量数据。

---

Kimi-TTS（零样本语音合成系统）

我们开发了一个零样本文本转语音（TTS）系统，称为 Kimi-TTS，仅需 3 秒的提示语音即可生成语音，并保持提示语音的音色、情感和风格。

应用场景

1. 用户查询语音合成：使用大规模音色库（125K+ 音色）为不同用户查询生成多样化音色的语音。
2. 助手响应语音合成：使用 Kimi-Audio 配音演员录制的风格和情感数据，合成助手的响应语音。

技术架构

• 类似 MoonCast 的架构，采用 LLM 根据提示语音和输入文本生成语音 token。
• 使用基于流匹配（flow-matching）的语音解 token 器生成高质量语音波形。

训练数据与优化

• 在 100 万小时（由自动数据流水线生）的数据上训练。
• 采用强化学习（RL）进一步提升生成语音的鲁棒性和质量。

---

Kimi-VC（语音转换系统）

由于配音演员难以覆盖所有风格、情感和口音，我们开发了一个语音转换（VC）系统，称为 Kimi-VC，用于将不同说话人/音色的语音转换为 Kimi-Audio 固定音色，同时保留原始语音的风格、情感和口音。

技术架构

• 基于 Seed-VC  框架。
• 在训练阶段引入音色扰动（timbre-shifting），以缓解信息泄露，并确保训练和推理阶段的对齐。

优化与数据

• 使用 Kimi-Audio 配音演员录制的语音数据进行微调，确保高质量的语音转换。

音频到文本对话

为了让 Kimi-Audio 具备基础的对话能力，我们从文本领域收集了开源的监督微调（SFT）数据（如表 2 所示），并将用户查询转换为多种音色的语音，从而构建音频到文本对话数据（用户输入为语音，助手响应为文本）。

数据预处理

由于部分文本难以直接转换为语音，我们进行了以下优化：

1. 过滤不适用内容：剔除包含复杂数学、代码、表格、复杂多语言内容或过长文本的数据。
2. 口语化改写：将书面化表达调整为更自然的对话风格。
3. 单轮转多轮优化：将复杂指令的单轮问答数据拆解为更简洁、易理解的多轮对话形式。

模型训练

预训练阶段

Kimi-Audio的预训练目标是从真实世界的音频和文本领域学习知识，并在模型的潜在空间中对齐这两个模态，从而支持复杂任务如音频理解、音频到文本对话和语音对话。为此，我们设计了多阶段预训练任务：

1. 单模态预训练（音频/文本独立学习）
2. 音频-文本映射学习
3. 三种跨模态交织任务（进一步 bridging 音频与文本）

数据表示形式

给定原始音频A，数据处理流水线会将其分割为N个片段{S₁, S₂, …, Sₙ}，每个片段Sᵢ包含：

• 音频信号aᵢ
• 对应文本转录tᵢ

我们对音频片段aᵢ提取两种特征：

• 连续声学向量 aᵢᶜ
• 离散语义token aᵢᵈ

为适配模型架构（以离散语义token为主输入/输出，同时输入连续声学token和输出离散文本token），训练序列表示为：

{a₁ᶜ/a₁ᵈ/t₁, a₂ᶜ/a₂ᵈ/t₂, ..., aₙᶜ/aₙᵈ/tₙ}

其中：

• 通过填充空白token确保音频与文本序列等长
• 实际训练片段可为以下任意组合：
  • 纯音频：aᵢᵈ 或 aᵢᶜ/aᵢᵈ
  • 纯文本：tᵢ
  • 跨模态对：aᵢᵈ/tᵢ

对于连续+离散音频联合输入（aᵢᶜ/aᵢᵈ）：

1. 将离散语义token通过查表转换为嵌入向量
2. 与连续声学向量相加得到最终音频特征aᵢ

对于音频-文本联合输入（aᵢᵈ/tᵢ）：

• 将音频语义token和文本token分别嵌入后相加
• 通过各自独立的输出头生成对应token

具体预训练任务设计见表3，下文将详细介绍。

音频/文本单模态预训练
我们首先分别学习文本和音频的知识。对于文本预训练，我们直接使用MoonLight[44]中的文本数据，这些数据质量高且全面，适合训练大语言模型。我们仅对文本标记进行下一标记预测。对于音频预训练，针对每个片段Si，我们对其离散语义标记序列a_d^i进行下一标记预测。

音频-文本映射预训练
直观上，为了在统一空间中对齐音频和文本，学习两种模态之间的映射是有帮助的。因此，我们设计了自动语音识别（ASR）和文本到语音合成（TTS）预训练任务。对于ASR，我们将训练序列构建为{a1, t1, a2, t2, …, aN, tN}。对于TTS，训练序列构建为{t1, a_d^1, t2, a_d^2, …, tN, a_d^N}。我们仅在ASR中计算文本标记的损失，在TTS中计算音频语义标记的损失。

音频-文本交错预训练
为了进一步弥合音频和文本模态之间的差距，我们设计了三种音频-文本交错预训练任务：

• 音频到语义标记交错：将训练序列构建为{a1, a_d^2, a3, a_d^4, …, aN−1, a_d^N}，然后仅计算语义音频标记a_d^i的损失，而不计算ai−1的损失。
• 音频到文本交错：将训练序列构建为{a1, t2, a3, t4, …, aN−1, tN}，仅计算文本标记ti的损失。
• 音频到语义标记+文本交错：将训练序列构建为{a1, a_d^2/t2, a3, a_d^4/t4, …, aN−1, a_d^N/tN}。对于a_d^i/ti，由于语义音频标记序列总是比文本标记序列长，语义标记的预测类似于流式文本到语音任务。实验发现，前几个语义标记的预测较难，因为模型需要同时预测下一个文本标记及其语义音频标记。我们通过在语义音频标记前添加6个特殊空白标记（根据初步实验在生成质量和延迟之间权衡确定）来延迟前几个语义音频标记的预测，从而解决这一问题。

 预训练方案

我们基于预训练的 Qwen2.5 7B 模型初始化 Kimi-Audio 的音频大语言模型，并通过添加语义音频标记和特殊标记扩展其词表。我们按照 1 : 7 : 1 : 1 : 1 : 1 : 2 的任务权重（如表3所示）对上述预训练任务进行训练。Kimi-Audio 的预训练数据包含 5850亿音频标记 和 5850亿文本标记，训练 1个周期。

优化器采用 AdamW，学习率按余弦衰减从 2e⁻⁵ 降至 2e⁻⁶，并使用 1% 的token进行学习率预热。

音频分词器的连续声学特征提取模块：该模块基于 Whisper large-v3初始化，能够捕捉输入音频信号中的细粒度声学特征。在预训练的初始阶段（约 20% 的token训练完成前），该 Whisper 特征提取器的参数保持冻结。随后解冻，使其参数能够与模型其余部分联合微调，从而更好地适应训练数据的细节和目标任务的需求。

监督微调

任务设计：在通过海量真实音频与文本数据完成预训练后，我们对 Kimi-Audio 进行监督微调，使其具备指令跟随能力。具体设计如下：

1. 任务通用性：下游任务多样，因此不设置特殊任务切换操作，而是采用自然语言指令描述每个任务；
2. 多模态指令：为每条指令同时构建音频版（由 Kimi-TTS 根据文本零样本生成）和文本版，训练时随机选择一种形式；
3. 指令增强：通过大语言模型生成 200条ASR任务指令 和 30条其他任务指令，每个训练样本随机选取一条以增强鲁棒性。监督微调数据规模约 30万小时。

微调方案：对每个数据源进行 2-4个周期 的微调。优化器采用 AdamW，学习率按余弦衰减从 1e⁻⁵ 降至 1e⁻⁶，并使用 10% 的标记进行预热。

音频解码器训练分为三个阶段：

1. 预训练阶段：使用约 100万小时 预训练音频数据，联合训练流匹配模型和声码器，学习多样化的音色、韵律和音质特征；
2. 分块微调：在同一数据集上采用动态分块策略（块长0.5秒至3秒）进行优化；
3. 高质量精调：最终基于 Kimi-Audio 发言人 的高质量单人录音数据进行微调，进一步提升生成效果。

推理与部署

Kimi-Audio 设计用于处理多种音频相关任务，包括语音识别、音频理解、音频-文本对话及语音-语音对话。由于实时语音对话在基础设施和工程实现上复杂度最高，本节以其为例阐述 Kimi-Audio 的部署实践。我们首先说明客户端（如 Kimi APP 或网页浏览器）与服务器（Kimi-Audio 服务）间的实时语音对话流程，随后介绍产品化部署方案。

实时语音对话流程

图4展示了用户客户端（如 Kimi APP）与服务器（Kimi-Audio 服务）之间的语音-语音对话流程。每轮对话按以下步骤执行：

1. 用户语音输入：用户通过客户端（如 Kimi APP 或浏览器）说话，音频数据被采集并实时流式传输至服务器；
2. 端点检测：服务器端的语音活动检测（VAD）模块判断用户是否结束说话；
3. 触发推理：当用户停止说话时，服务器发送提交信号并启动 Kimi-Audio 模型的推理流程；
4. 实时流式播放：推理过程中，客户端实时接收生成的音频片段并立即播放给用户。
5. 客户端（手机或网页浏览器）将接收到的音频片段实时播放给用户。

服务端的 Kimi-Audio 在每轮对话中的推理流程如下：

1. 音频编码：通过音频分词器将输入音频转换为离散语义标记和连续声学向量；
2. 输入构建：将系统提示标记、音频标记和对话历史标记拼接为 Audio LLM 的输入序列；
3. 模型推理：Audio LLM 接收标记序列并生成输出标记；
4. 音频合成：通过反分词器将输出标记还原为音频波形。

生产环境部署
如图5所示，在生产环境中，所有核心组件（音频分词器、音频大语言模型和音频反分词器）均属于计算密集型模块，需要可扩展且高效的基础架构支撑。为此我们设计了如下生产级部署架构：

Kimi-Audio实时通信服务
该服务作为客户端交互接口，负责接收用户音频数据并转发至推理调度器，同时将生成的音频分块返回客户端。我们采用WebRTC协议确保稳定低延时的通信连接。

推理调度器
推理调度器通过在后端存储中以token形式维护对话历史来管理会话流程。每轮交互执行以下步骤：
• 调用分词器服务将用户音频转换为token
• 将新token与对话历史拼接构建模型输入
• 将输入发送至大语言模型服务生成响应token
• 调用反分词器服务将响应token转换为音频输出

此外，该系统会将所有输出token作为持续更新的对话历史存储，确保多轮对话的连贯性。

实验

首先开发了面向音频理解、生成及对话任务的开源评估工具包。【https://github.com/MoonshotAI/Kimi-Audio-Evalkit.】该工具目前集成支持Kimi-Audio及系列前沿音频大模型，并可扩展评估其他音频基础模型，主要特性包括：

• 标准化评估框架
基于Qwen-2-Audio实现标准化词错误率计算，并集成GPT-4o-mini作为智能评判器，克服指标不一致和简单字符串匹配的局限，实现公平对比。

• 统一比较平台
提供支持多模型多版本的统一平台，简化横向对比。通过定义和共享标准化推理参数与提示策略（”配方”），直接解决评估设置不一致问题，显著提升不同研究成果间的可复现性。

挑战与未来趋势

尽管Kimi-Audio在构建通用音频基础模型方面取得显著进展，但要实现更强大、更智能的音频处理系统仍存在诸多挑战。我们梳理现存问题并指出以下极具潜力的发展方向：

从语音转写到音频描述

当前音频基础模型的预训练范式通常依赖音频-文本对齐训练，其中文本数据多通过ASR（自动语音识别）从语音转写获得。但转写文本仅聚焦口语内容（”说了什么”），忽略了音频中的副语言信息（如情感、风格、音色、语调）、声学场景和非语言声音等重要特征。未来需引入描述性文本（如音频字幕）来构建更丰富的上下文表征。通过同时融合转写文本与描述文本，模型不仅能更好地理解与生成口语内容，还能处理复杂的声学环境，为构建更细腻的多模态音频处理系统和更通用的音频智能奠定基础。

更优的音频表征

现有音频表征主要采用语义token或声学token：

• 语义token：通常通过ASR辅助损失函数获取，侧重转写导向的信息，但难以捕捉对理解与生成至关重要的声学细节
• 声学token：通过音频重构损失函数学习，侧重描述导向的声学特征，但缺乏连接文本智能所需的抽象语义信息

关键研究方向是开发能同时整合转写导向语义与描述导向声学特征的新型表征，在保留高层抽象信息的同时，涵盖说话人身份、情感、环境音等细微特征，这对实现更复杂的音频理解与生成至关重要。

摒弃ASR/TTS的建模依赖

现有音频基础模型在预训练和微调阶段严重依赖ASR/TTS生成训练数据，其质量受限于：

• ASR的文本识别准确率
• TTS合成语音的表现力/多样性/质量

这种模式下，音频模型本质上只是现有ASR/TTS系统的精馏版本，性能天花板受制于ASR/TTS系统的上限，无法实现真正的自主音频智能。未来应探索不依赖ASR/TTS伪音频数据、直接基于原生音频数据的训练范式，这将大幅提升模型性能上限。