1. 论文速览
开放词汇声音事件检测（Open-vocabulary Sound Event Detection, OV-SED）是一个前沿研究方向，目标是根据任意文本查询检测和定位声学事件。该领域长期面临一个瓶颈：不同方法在互不兼容的任务子集、指标和协议下报告性能，缺乏统一基准来公正衡量泛化能力。
这篇 ICASSP 2027 论文的核心贡献在于构建了首个跨域综合基准，将六个带时间边界标注的任务整合到同一评估框架中。四个任务采用固定类别词汇，覆盖家庭、城市及室内外混合场景；两个任务采用自由文本接地形式，要求模型理解任意自然语言查询并定位对应声音片段。评估统一在标签空间零样本（label-space zero-shot）设定下进行，严格检验模型的跨域迁移能力。
作者评测了五种现有方法，发现没有一种方法能在所有六个任务上保持竞争力。论文随后提出 COSED 方法，在其中五个任务上取得最优结果，对三个任务的提升幅度达 12 到 33 个百分点，并且在第六个任务上与最佳方法持平。COSED 是唯一在全部任务上均不低于亚军的系统，证明其在声学域和查询类型两个维度上均具备更强的泛化性。
2. 研究背景与挑战
声学事件检测（Sound Event Detection, SED）的传统范式依赖预定义的闭集类别列表，模型只能检测训练时见过的声音类型。开放词汇 SED 打破了这一限制，允许用户通过任意文本描述来查询音频中的事件，这意味着系统必须同时理解声学内容的物理属性和语言语义的抽象表达，并将两者在共享嵌入空间中对齐。这一跨模态对齐问题是整个方向的技术核心。
然而，该领域的进展评估非常困难。当前研究各自为政：有些方法在 AudioSet Strong 上测试固定类别检测，有些在 AudioGrounding 上评估自由文本接地，还有些只关注 DESED 的家庭场景。协议不统一、指标不兼容、数据集覆盖域不同，导致语音识别公司如何让产线质检长出“耳朵”？声学检测方案落地拆解这类行业实践中，很难判断哪种技术路线真正具有工程价值。
真实应用的挑战更加复杂。用户查询可能是简洁的类别词（"狗叫"）、描述性的短语（"厨房里碗碟碰撞的声音"）或开放式的问句（"有没有听到尖锐的警报？"）。声学场景可能从安静的家庭环境切换到嘈杂的城市街道，再到带回响的工厂车间。跨域泛化和时间定位精度成为衡量方法实用性的关键维度，而现有工作恰缺乏在这两个维度上的系统评估。
3. 核心方法
COSED 构建于音频-文本双塔架构之上。音频侧使用预训练的音频编码器提取帧级特征，文本侧使用预训练的语言模型编码查询语义。双塔输出通过时间池化与注意力机制实现逐段对齐，使模型能够为音频的每个时间窗口计算与文本查询的匹配分数，从而实现事件定位。
论文的核心技术贡献在于三项关键设计，每项在消融实验中都证明了独立的增益贡献：
第一项是按语料来源进行负例约束（scoping negatives）。常规对比学习中，负样本从整个训练批次随机采样，这在跨域场景下会引入问题：来自不同数据集的负例在声学特性上差异过大，模型可能学到错误的区分线索（比如按录音设备而非声音类型区分）。COSED 的解法是仅使用来自同一数据集的负样本计算对比损失，避免跨域负例混淆表征空间。这一设计带来了 25.8 个百分点的性能提升。
第二项是闭集与开集混合监督（closed- and open-world supervision）。固定分类数据集（如 AudioSet Strong）提供精确的时间边界强标注，自由文本数据集（如 Clotho-AQA）提供自然的语言描述弱对齐信号。COSED 将两类数据联合训练，让模型同时受益于强标注的边界精度和自由文本的语义丰富性，贡献了 16.8 个百分点的性能增益。关于语音模型训练中标注策略的更多讨论，可参考前沿语音技术：Mizar 159M参数音频-语言模型，在三个基准上超越同类并支持单CPU实时推理。
第三项是改进时间处理（temporal processing）。传统双塔模型常使用全局平均池化将帧级特征压缩为单个向量，这会丢失去事件起止边界的时序信息。COSED 采用可学习的时间聚合模块替代全局平均池化，引入 16.4 个百分点的提升。该模块能自适应地关注事件相关的时段，提升对短促事件和重叠事件的定位精度。
4. 实验与结果
论文构建的统一基准包含六个任务，覆盖了 OV-SED 领域的主要测试场景：
- 固定词汇任务（4个）：AudioSet Strong（混合场景，约 300 类）、DESED（家庭场景，10 类）、URBAN-SED（城市噪声，10 类）、MAESTRO Real（室内/户外混合，17 类）
- 自由文本接地任务（2个）：AudioGrounding（基于 AudioCaps 描述定位事件）、Clotho-AQA（根据 Clotho 问询文本定位片段）
所有实验在严格的标签空间零样本设定下评估，即测试集中的事件类别不出现在训练标签中，迫使模型依赖文本-音频的语义对齐而非记忆类别名称。评估指标统一使用基于分段（segment-based）的 F1 分数和交并比（IoU）。
对比的五种先前方法包括 CLAP、CLAP-AT、AudioGrounding-Net 等代表性工作。下表汇总了 COSED 在关键任务上的表现：
| 任务 | 先前最佳方法 | COSED | 相对提升 |
|---|---|---|---|
| AudioSet Strong（F1） | 31.2% | 43.2% | +12 个百分点 |
| DESED（F1） | 11.6% | 44.6% | +33 个百分点 |
| URBAN-SED（F1） | 19.8% | 32.8% | +13 个百分点 |
COSED 在 AudioSet Strong、DESED、URBAN-SED 上分别实现了 12、33 和 13 个百分点的绝对 F1 提升。在 MAESTRO Real 和两个自由文本接地任务上也保持领先或持平。尤其值得注意的是，COSED 是唯一在所有六个任务上均不低于亚军的系统，而其他方法在不同任务上波动较大，某任务表现突出的方法往往在另一个任务上大幅落后。
消融实验进一步验证了三个模块的独立性：去除负例约束使平均性能下降 25.8 个百分点，去除混合监督损失 16.8 个百分点，替换可学习时间聚合为全局平均池化损失 16.4 个百分点。三者叠加贡献了主要性能增益。
5. 创新点与工程价值
本工作的创新性首先体现在标准化基准构建上。通过整合六个来源各异、覆盖不同域和查询类型的数据集，论文为 OV-SED 领域填补了系统评估的空缺。这一基准不仅展示了现有方法的真实差距，也为后续研究提供了可复现的比较平台——新方法可以直接在这个六任务基准上报告结果，无需再纠结于协议对齐问题。
三项技术设计的工程价值同样突出。语料负例约束是一个简单而高效的策略，无需额外的模型结构或数据，只需在对比损失计算中限制负样本来源范围就可获得显著收益，这对于处理多域数据的企业级系统具有直接的可迁移性。闭集与开集混合监督解决了实际场景中标注资源不均衡的问题：昂贵的时间边界强标注数据通常稀缺，而弱标注的文本描述数据更易获取，混合训练策略有效降低了对强标注的依赖。关于语音技术落地中对标注质量的考量，机器人语音交互公司如何破解工业声学检测与机器人远场交互难题？一文有更具体的场景分析。
改进时间处理模块的可学习聚合机制，相较于全局平均池化只增加了少量计算开销，却显著提升了事件边界的建模精度。这三项设计均无需推翻现有双塔框架，可直接作为即插即用的组件集成到主流模型中，工程可操作性极高。在语音识别公司方案靠谱吗？这8个技术问题全说清了中讨论的声学模型选型逻辑，也适用于评估这类模块的实际落地价值。
6. 我们的思考
南京昱声科技的研发业务覆盖机器人语音交互、工业声学检测、产线音频质检等多个场景，COSED 的技术思路与这些方向有深刻的结合点。
在机器人跨域声学感知方面，COSED 展现的跨域泛化能力直接呼应了我们的实际需求。机器人在家庭、工业厂房、户外等不同环境中移动时，面临的声学场景差异极大。传统固定类别检测器换一个场景就需要重新采集数据、重新训练，而开放词汇 SED 的路线允许机器人根据任务需求动态调整监听目标——在工厂中关注设备异响，在家庭中关注老人跌倒声音或婴儿啼哭。COSED 作为唯一在全域任务上保持竞争力的方法，其负例约束和混合监督策略可帮助我们构建对环境变化更鲁棒的声学感知模块。
在数据策略层面，混合监督设计提供了降本增效的路径。我们的工业产线质检项目通常只有少量带有精确时间标注的异常声音样本（如轴承故障、阀门泄漏），但存在大量非结构化的设备运行记录和巡检人员文字描述。参考 COSED 的闭集-开集联合训练方案，可以将这些弱标注文本作为辅助信号，配合少量强标注音频训练开放词汇检测模型，降低全量精细标注的成本。
负例约束的思路在多场景声源分离与降噪中也值得借鉴。当我们的降噪算法需要在不同声学环境下工作（安静办公室、嘈杂车间、有回声的走廊），按场景划分负样本空间有助于避免模型学到跨场景的错误判别线索，提升对目标声音的判别力。这一原则同样适用于前沿语音技术：从自发语音中无创评估呼吸健康的 SpiroPhonia 框架所涉及的呼吸声特征提取场景，环境噪声的负例管理对信号质量影响显著。
时间处理的改进可直接应用于我们的语音交互端点检测和异常声音边界定位。在机器人远场拾音中，准确判断用户指令的起止时间直接影响交互体验；在产线质检中，精确定位异常声音的发生时刻有助于锁定故障部件。COSED 的可学习时间聚合模块为这两个场景提供了性能提升的技术路径。
总体而言，COSED 提供了一个在技术上可操作、在经济上可承受的开放词汇 SED 路线图，南京昱声科技在后续的声学检测产品迭代中，可将其三项核心设计作为技术选型的重要参考。
原文链接：https://arxiv.org/abs/2609.30083
作者：Florian Schmid; Sanjeel Parekh; Chi Ian Tang; Juan Azcarreta; Yijun Qian; Arnoldas Jasonas; Andrew Frederick Francl; Çağdaş Bilen
发布日期：2026-09-24T16:32:51Z
收录：ICASSP 2027
相关问题解答
- COSED相比已有开放词汇SED方法的主要提升在哪里？
- COSED通过三项创新在跨域基准上超越先前方法：语料源负例约束防止特征空间混淆、闭集与开集混合监督利用更多样数据、改进时间处理提升边界定位。整体在多数任务上获得12-33%的F1提升，且是唯一在所有六个任务上具备竞争力的模型。