前沿语音技术：Mizar 159M参数音频-语言模型，在三个基准上超越同类并支持单CPU实时推理

论文速览

Mizar 是一个参数量仅 159.3M 的音频-语言模型（Audio-Language Model, ALM），专为内存与算力受限的设备端音频理解场景设计。该模型由 Kaiyang Li 等人在 ICASSP 2027 上发表，完整代码与模型权重已开源。Mizar 在架构上选择 CED-Small 作为轻量级音频编码器，搭配 SmolLM2-135M 语言模型骨干，中间通过一个频率合并映射器（frequency-merging mapper）桥接二者，整体参数控制在 200M 以下。

实验采用五个随机种子进行稳定性验证，Mizar 在三项核心基准上取得了具有竞争力的成绩：MMAU 平均准确率 52.92%，MMAR 平均准确率 42.42%，ADQA-clean 平均准确率 36.02%。这三个数字全面超越此前所有 200M 参数以下的音频-语言模型，标志着轻量级音频理解模型在复杂问答任务上实现了一次实质性突破。

推理效率方面，Mizar 支持纯 CPU 本地运行。在 MMAU 基准的测试问题上，从打开音频文件到生成完整回答的端到端平均延迟仅为 1.09 秒。这一延迟水平使得 Mizar 具备了在实时交互场景中部署的可行性，无论是智能手机、智能音箱还是嵌入式语音终端，都不再需要依赖云端 GPU 来完成音频内容的语义理解与问答。对于追求低功耗、低延迟、数据本地化的语音识别公司如何让产线质检长出"耳朵"？声学检测方案落地拆解来说，这类轻量级实时推理能力正是产品化落地中的关键一环。

研究背景与挑战

过去两年，音频-语言模型发展迅速，主流方案多采用大规模音频编码器与大语言模型（Large Language Model, LLM）的组合架构，参数量动辄超过 10 亿。这些模型在音频字幕生成、音频问答、声学推理等任务上表现优异，但其部署门槛同样高企——需要高性能 GPU、大容量显存以及复杂的服务端推理框架。当应用场景转向手机 App、可穿戴设备或工业现场的嵌入式终端时，这种重量级方案便难以直接落地。

200M 参数以下的小模型面临的核心困境在于“两头挤压”：一方面，音频编码器需要足够的容量来提取梅尔频谱中的时频特征，捕获音频事件检测所需的声学细节；另一方面，语言模型又需要保持一定的知识密度来完成推理和自然语言生成。强行压缩任一侧都会导致性能断崖式下跌，尤其在需要多步推理的复杂音频问答任务上，小模型的劣势更加明显。MMAU 基准涵盖声学场景理解、事件时序关系判断、多声源分离推理等子任务，此前 200M 以下的模型在这些维度上的得分普遍偏低。

训练层面的挑战同样棘手。高质量音频-文本配对数据相对图像-文本数据而言更为稀缺，且标注成本高。直接在小规模数据集上微调小模型，极易触发灾变性遗忘（catastrophic forgetting），让语言模型在预训练阶段积累的常识知识被覆盖。如何在有限数据条件下实现有效的语言模型微调，同时保留原有的语义能力，是构建实用化轻量级 ALM 必须跨越的障碍。此外，自监督学习范式在音频领域的成熟度尚不及 NLP 和 CV，知识蒸馏路径也缺乏标准化的教师模型可供参照，这一切都让低资源部署的音频理解模型研发充满不确定性。

核心方法

Mizar 的核心架构由三个组件构成：CED-Small 音频编码器、频率合并映射器、以及 SmolLM2-135M 语言模型。CED-Small 是一种紧凑型编码器-解码器（compact encoder-decoder）结构，在前端负责将原始音频波形转换为频谱特征序列。与传统方案直接输出完整时频矩阵不同，这里的频率合并映射器会对编码器输出的频域维度进行压缩合并，显著缩短特征序列长度，从而降低后续语言模型在自注意力计算上的开销。对于仅 135M 参数的语言模型而言，序列长度的削减意味着推理时延和内存占用的双重优化。

训练流程被拆分为三个阶段，每一阶段承担不同的目标。阶段 1 为音频-语言对齐（audio-language alignment），利用大规模弱标注数据——例如音频与对应文本描述但未做精细对齐的数据——让编码器输出的音频嵌入与语言模型的词元表示空间建立粗略对应关系。这一阶段本质上是一种自监督学习范式下的表示对齐，不依赖强标注，数据获取成本低，却为后续微调打下坚实基础。

阶段 2 进入音频依赖微调（audio-dependent fine-tuning），在 ReasonAQA、AudioMCQ 和 AVQA 三个数据集上进行多任务监督学习。ReasonAQA 侧重声学推理问答，AudioMCQ 提供多项选择题形式的音频理解任务，AVQA 则聚焦视听联合问答。三者共同覆盖了声学理解所需的多个子能力维度——从简单的事件识别到复杂的因果推理。阶段 3 的后训练（post-training）则特别针对前两阶段中表现较弱的技能类别进行强化训练，同时通过回放此前任务的部分数据来防止遗忘。这种分阶段、有侧重的训练策略，使得模型能够循序渐进地构建声学理解能力，而不至于在单一阶段中被多个目标拉扯导致收敛困难。

实验与结果

实验评估覆盖 MMAU、MMAR 和 ADQA-clean 三个基准，每个基准均包含多种音频问答子任务。MMAU 侧重多模态音频理解，MMAR 聚焦音频推理，ADQA-clean 则是经过清洗的音频对话问答集。在五个随机种子的设置下，Mizar 取得 MMAU 平均 52.92%、MMAR 平均 42.42%、ADQA-clean 平均 36.02% 的准确率，三项指标均刷新了 200M 以下模型的最高纪录。与此前同参数量级的最优模型相比，MMAU 上领先超过 3 个百分点，ADQA-clean 上的优势更为明显。

消融实验揭示了几个关键设计的作用。直接跳过阶段 1 进行微调，模型在三项基准上的平均得分下降约 5-8 个百分点，说明音频-语言对齐阶段虽未直接使用目标任务数据，却为后续学习提供了关键的表示基础。移除频率合并映射器、改为全序列输入后，推理速度下降约 30%，且由于序列变长导致注意力分散，部分子任务的准确率反而略有下降。三阶段训练相比两阶段方案（跳过阶段 3），在弱技能类别上的提升尤为显著，而强技能类别的得分基本持平，表明后训练阶段确实做到了“强化短板而不伤长板”。

推理效率测试在单 CPU 环境下进行，处理 MMAU 基准中的完整问题——包括音频加载、特征提取、编码器前向传播、语言模型自回归生成——端到端平均耗时 1.09 秒。这一数字对于需要实时推理的交互场景极具吸引力，也印证了轻量级模型在低资源部署中的实用价值。在以音频事件检测为前置环节的问答系统中，Mizar 的整体管线可在消费级硬件上流畅运行，无需任何云端辅助。

创新点与工程价值

Mizar 的首要创新在于首次在 200M 参数量级以下实现了音频-语言模型在多个问答基准上的系统性突破。此前业界普遍认为，参数量的缩减必然以性能妥协为代价，尤其是在需要深层声学理解和语言推理的任务上。Mizar 的实验结果表明，通过精心的架构选型和训练策略设计，轻量级模型完全可以在关键指标上追平甚至超越更大规模的同类方案，这为轻量级模型在音频领域的应用打开了新空间。

三阶段训练策略的工程价值不容忽视。阶段 1 利用弱标注数据进行表示对齐，阶段 2 在精选数据集上做多任务微调，阶段 3 针对弱项进行靶向强化——这套流程的可操作性强，数据需求分层合理，不同质量和规模的训练资源都能找到对应的利用方式。对于希望针对特定垂直领域（如工业声学检测、医疗听诊、智能座舱）构建专用音频理解模型的团队来说，这套训练范式提供了一个可直接复用的模板。机器人语音交互公司如何破解工业声学检测与机器人远场交互难题？一文中讨论的诸多部署挑战，恰好可以通过这种分阶段训练与轻量化架构的组合方案得到缓解。

单 CPU 实时推理能力是 Mizar 工程价值的另一大支柱。1.09 秒的端到端延迟意味着用户说出问题、设备采集音频、模型理解并生成回答的整个链路可以在眨眼间完成，无需等待云端响应，也无需承担数据传输的隐私风险。这种离线可用的特性让音频理解模型可以嵌入到更广泛的设备形态中，从智能家居面板到工业巡检终端，大幅拓展了声学理解技术的应用边界。知识蒸馏虽未被 Mizar 显式采用，但其紧凑的架构设计本身就暗合了将大模型能力压缩至小模型的思想脉络。

我们的思考

南京昱声科技在机器人语音交互和工业声学检测领域深耕多年，对端侧轻量级模型的需求尤为迫切。Mizar 的单 CPU 实时推理能力与 159M 的参数量级，与我们现有的嵌入式硬件平台高度适配。在机器人端侧环境声理解场景中，机器人需要在无人协助的情况下自主判断周围发生了什么——是设备异常响动、人员呼救还是常规环境噪声——并据此作出响应。Mizar 的音频问答能力可直接用于构建这一判断链路，让机器人能够“听懂”环境并回答操作者的语音查询。

三阶段后训练方案对我们在声学检测方向上的模型迭代有直接借鉴意义。目前我们在产线音频质检中积累了大量工业异常声样本，但高质量的异常声-语言描述配对数据仍然稀缺。可以参照 Mizar 的阶段 1 思路，先利用大量弱对齐的音频-文本数据建立声学特征与语言表示之间的粗粒度关联，再通过阶段 2 在标注精良的故障声数据集上做针对性微调，最后用阶段 3 的后训练强化对罕见故障类型的识别能力。这套流程有望提升模型在工业异常声开放集识别上的准确率和鲁棒性。

频率合并映射器的设计思路同样值得关注。在远场拾音和降噪前端模块中，多通道音频信号经过波束形成和特征提取后往往产生维度较高的特征序列，直接送入下游模型会带来不小的计算负担。借鉴频率合并的思想，我们可以在特征压缩环节引入可学习的合并策略，在保持关键频带信息的前提下缩减特征维度，从而加速整个语音交互链路的联合优化。这种架构级别的轻量化思路，与我们一直追求的“让声学智能跑在终端上”的理念不谋而合。

原文链接：https://arxiv.org/abs/2609.28344

作者：Kaiyang Li; Shaobo Han; Yue Tian; Shihao Ji

发布日期：2026-09-23T16:21:51Z

收录：ICASSP 2027