前沿语音技术：基于全语种ASR的语音大模型系统——MLC-SLM挑战赛方案

1 论文速览

这篇 INTERSPEECH 2026 论文介绍的是第二届 MLC-SLM 挑战赛任务一的参赛系统。作者没有使用端到端联合模型，而是搭建了一个级联式“说话人分离-转写”流水线：DiariZen-Large-s80 负责语音分割，CAM++ 声纹嵌入负责双说话人聚类，LoRA 适配的全语种 ASR 大模型 omniASR LLM 7B v2 负责识别。测试阶段不依赖任何 oracle 分割或说话人标签，完全从原始音频自动推断边界与身份。

在开发集 150 场对话、21 个语言/口音类别上，系统宏平均 tcpMER 为 29.27%，官方基线为 79.15%，误差率下降 49.88 个百分点；评估集 tcpMER 为 50.23%。论文还分析了两个直接影响 tcpMER 的工程选择：基于 CAM++ 嵌入的聚类优于仅依赖 ASR 标记的方案；重叠感知分割提升分离召回却因重复转写重叠语音反而抬高 tcpMER。该工作对多语言对话语音识别系统设计有明确的参考价值。

文章不追求单一模块的创新，而是把自监督学习、声纹识别和语音大模型按工程逻辑组合起来，并给出可复现的量化结论。对于需要快速搭建多说话人转写系统的团队来说，这种解耦方案比端到端大模型更易调试和升级。

2 研究背景与挑战

多语言对话语音识别要同时回答“谁在什么时候说话”和“说了什么”。MLC-SLM 挑战赛任务一采用宏平均 tcpMER 作为指标，该指标对说话人归属错误、字符插入删除替换错误以及时间对齐误差联合惩罚。官方基线在开发集上的 tcpMER 高达 79.15%，意味着在开放条件下，传统分离-识别级联系统几乎不可用；如果不提供 oracle 分割和说话人标签，误差会从分割传递到聚类、再传递到识别，逐级放大。

挑战来自三个层面。一是自监督学习模型 WavLM-Large 虽然能提供鲁棒语音表征，但直接输出帧级说话人变化边界仍有困难，分割错误会直接造成后续聚类和识别错位。二是重叠语音中两个说话人同时发声，分离模块容易漏掉一个或产生重复段，这会导致转写中多出或缺失内容。三是 21 类语言/口音覆盖跨度大，单一 ASR 模型必须面对低资源语言和口音变异，训练数据稀疏会加剧错误。

任务禁止测试时使用 oracle 分割和说话人标签，系统需要具备全自动的说话人分离与识别能力。级联架构中的每一个模块都必须足够鲁棒，否则前级误差会在后级被放大。这也解释了为什么基线系统表现差：缺少可靠的说话人嵌入和鲁棒分割，仅靠传统 VAD 和特征聚类难以应对多语言对话场景。

3 核心方法

系统级联流程由三个模块组成。第一步，DiariZen-Large-s80 基于 WavLM-Large 自监督预训练模型做语音分割，输出说话人变化点候选边界。这个模块专门针对语音分离任务微调，能在无 oracle 条件下提供较准确的边界。作者还测试了重叠感知版本，希望提高分离召回率，但后续实验表明这样做并不一定划算。

第二步，CAM++ 提取每个语音段的说话人嵌入，也就是声纹特征，在双说话人假设下进行聚类，将段分配到说话人 1 或 2。这里聚类只依赖声学特征，不依赖转写文本。相比用 ASR 输出中的 （speaker change）标记分配说话人，嵌入聚类把说话人身份与内容识别解耦，避免转写错误反向污染说话人分配。

第三步，LoRA 适配的全语种 ASR 大模型 omniASR LLM 7B v2 将各段转写为文本，再按聚类 ID 和时间顺序拼接。LoRA 只更新少量参数，让 7B 级语音大模型适配多语言 ASR 任务而不必全量微调，降低训练成本。想进一步理解声纹嵌入对聚类影响的工程师，可以参考 流形约束超连接替代残差连接实现鲁棒说话人表征学习。

整体看，分割、聚类、识别三个模块职责清晰。说话人分离由前两个模块完成，内容识别由最后一个模块完成。这种设计也方便单独替换每个模块，例如更换更强的声纹模型或更大规模的语音大模型，而不必重训整个系统。

4 实验与结果

开发集包含 150 场对话，覆盖 21 个语言/口音类别。主结果如下表。

系统	开发集宏平均 tcpMER	评估集 tcpMER
官方基线	79.15%	—
本文级联系统	29.27%	50.23%

相比开发集基线，本文系统误差下降 49.88 个百分点；评估集 50.23% 虽然论文未给出官方基线直接对照，但远低于开发集基线量级，说明泛化性可接受。开发集与评估集差距可能来自对话主题、信噪比或重叠比例差异。

论文重点讨论了两个工程因素。第一，端到端风格替代方案仅根据 ASR 输出中的 标记来分配说话人，开发集 tcpMER 高于 CAM++ 嵌入聚类方案，说明声纹聚类带来的稳定性显著优于转写内嵌标记。第二，重叠感知分割虽然提升分离召回率，但最终 tcpMER 反而增加，原因是重叠语音段被重复转写，产生大量插入错误。这是级联架构在重叠语音场景下容易忽视的坑。

从这两个结果可以提炼出一条经验：最终指标 tcpMER 不是单一模块的召回率或准确率，而是说话人归属、内容正确性和时间对齐的联合约束。只优化其中一个维度，可能在其他维度上引入新错误。

5 创新点与工程价值

论文并没有提出全新的网络结构，而是把自监督分割、声纹聚类和全语种语音大模型组合成一套无 oracle 的级联方案。它对工程团队的贡献在于量化了两个容易想当然的设计：嵌入聚类优于 ASR 切换标记，以及重叠感知分割在当前指标下可能有害。模块化解耦意味着可以单独升级 ASR 或者说话人模型，而不必重训整个系统。

LoRA 适配的 omniASR LLM 7B v2 展示了语音大模型在多语言对话识别中的潜力。相比专用编码器-解码器模型，语音大模型可以借助文本语义纠偏，对低资源语言更友好。在 21 类语言/口音条件下稳定输出 29.27% 开发集 tcpMER，说明其适配成本较低。类似地，CASA 基于语音编码器与大语言模型的内容-声学口语评估 也体现了语音大模型在复杂口语任务中的优势。

对多语言对话系统开发者，本文提供了一条不需要 oracle 标注即可部署的路线。特别是 CAM++ 嵌入聚类不依赖 ASR 转写结果，意味着说话人分离模块可以独立于识别模块进行验证和迭代，这对研发流程来说非常重要。

6 我们的思考

对南京昱声科技的多语言机器人语音交互业务，这套级联方案可以直接借鉴。服务机器人常面对多人轮流或重叠发言，先做 CAM++ 声纹聚类再识别，能避免不同说话人内容混在一起。在远场拾音硬件已具备多麦克风阵列的条件下，前端可加入 云增强低算力多通道语音增强方法 作为预处理，提升信噪比后再送入分割和聚类模块。

重叠语音问题值得警惕。如果直接在产品中启用重叠感知分割，可能复制“重叠段转写两次”的错误。更合理的做法是识别阶段保留重叠标记，只输出主说话人，或对重叠段做单源掩蔽后分别转写。这样可以避免重复转写带来的插入错误，同时保留重叠信息用于后续分析。

全语种 ASR 大模型适合南京昱声科技的多语言产品线，节省为每种语言单独维护模型的成本。声学检测、降噪和产线音频质检团队也可以复用 WavLM 自监督特征做异常声分类或多工位混叠录音的说话人分离。在产线质检场景中，多个工位可能同时记录声音，先做说话人/声源分离再识别，可以更准确地定位缺陷工位和具体故障内容。

原文链接：https://arxiv.org/abs/2607.12468

作者：Shuming Fang; Shuifei Zeng

发布日期：2026-07-14T07:52:39Z

收录：INTERSPEECH 2026