前沿语音技术：基于多模态大模型的城市音视频场景联合描述数据集

1. 论文速览

AVSD-Scenes 是首个面向城市环境的大规模音视频场景联合描述数据集，包含 12,291 条多模态描述文本，全部基于 TAU Urban Audio-Visual Scenes 数据集中的 10 秒音视频片段自动生成。该数据集覆盖 10 类典型城市场景，包括街道、公园、广场、商场等日常环境，每条描述同时捕捉听觉事件与视觉布局的互补语义。

构建过程采用两阶段生成策略：第一阶段由 Qwen2-Audio-7B 和 Qwen2.5-VL-7B 分别独立生成音频描述与视觉描述；第二阶段将两种模态描述连同可选的场景标签输入 Qwen3-14B、Mistral-Small-3.2-24B 和 Gemma-3-27B 三款大语言模型（Large Language Model, LLM），融合产生信息完整的 多模态描述（multimodal description）。即便去除场景标签提示，模型依然能从音视频内容本身提取判别性语义。

基准测试结果验证了该数据集的质量：多模态描述在语义对齐（semantic alignment）和跨模态检索（cross-modal retrieval）两项任务上均显著优于单一模态描述。仅使用文本描述进行场景分类即可达到 94.5% 的准确率；将描述嵌入与原始音频、视觉特征融合后，准确率进一步提升至 95.4%，提升了 0.9 个百分点。LLM-as-a-judge（LLM 作为评判者）评估和人工主观评测也一致表明多模态描述更加准确和全面。

2. 研究背景与挑战

城市环境的智能感知需要同时理解听觉和视觉两股信息流——汽车的引擎声与街道画面、鸟鸣与公园场景——两者天然耦合。然而，现有数据集大多割裂地处理单一模态：音频场景分析数据集通常只标注声学事件，视觉场景理解数据集则聚焦图像内容。能够联合描述音视频场景的大规模语料极为稀缺，这直接限制了多模态预训练大模型在城市场景理解中的表现。

近年来，大语言模型与视觉-语言模型的快速演进为自动生成高质量描述文本提供了技术基础。但要将听觉和视觉两路信息有效融合为连贯的自然语言描述，仍面临三个核心挑战：其一是 跨模态对齐问题，即如何让来自不同编码器的音频和视觉表征在同一语义空间中对齐；其二是语义融合策略，即如何避免简单拼接导致的信息冗余或冲突；其三是描述文本必须同时保留场景判别能力和细粒度的互补语义，这对下游任务至关重要。相关研究如 COSED 开放词汇声学事件检测 也在探索跨域泛化的语义表示，但尚未覆盖音视频联合描述这一维度。

此外，传统数据集依赖昂贵的人工标注，规模受限且标注标准难以统一。AVSD-Scenes 的研究团队试图回答一个关键问题：能否完全借助预训练大模型自动构建一个既保持高判别力又提供丰富语义的音视频描述数据集？这一思路一旦验证成功，将大幅降低多模态场景理解研究的门槛。

3. 核心方法

AVSD-Scenes 的构建流程围绕 TAU Urban Audio-Visual Scenes 数据集展开，该数据集原始包含来自 10 个欧洲城市的 10 秒音视频片段，覆盖 10 类城市场景。研究团队设计了严谨的两阶段生成管线。

第一阶段：模态特定描述生成。音频侧，使用 Qwen2-Audio-7B 模型以固定提示词引导，从 10 秒音频片段中提取声学事件信息，生成描述捕捉声音类型（如汽车驶过、人声交谈、鸟鸣）、声学环境（如混响程度、背景噪声）以及时间动态；视觉侧，使用 Qwen2.5-VL-7B 模型对视频帧进行场景解析，生成描述涵盖物体类别、空间布局、光照条件等视觉要素。两路模型并行工作，各自输出结构化的单模态描述文本。

第二阶段：多模态融合生成。将音频描述、视觉描述以及可选的场景标签拼接为提示词，分别送入 Qwen3-14B、Mistral-Small-3.2-24B-Instruct-2506 和 Gemma-3-27B-it 三款 LLM，要求模型整合互补信息，输出一条连贯的多模态描述。关键设计在于：即便从提示词中去除场景标签，LLM 仍能依据音视频描述内容推断场景类型并生成高判别力的文本——这说明描述的质量来源于内容本身而非标签泄露。

质量验证环节构建了多维评估体系：语义相似度对齐、跨模态检索召回率、场景分类准确率、LLM-as-a-judge 自动评分以及人工主观评估，从定量和定性两个维度交叉验证描述质量。

4. 实验与结果

研究团队从五个维度对 AVSD-Scenes 进行了全面评测，结果一致表明多模态描述的优越性。

语义对齐评估方面，将生成的描述文本通过 Sentence-BERT 编码后，计算其与原始音频 CLAP 嵌入及视觉 CLIP 嵌入的余弦相似度。多模态描述的音频-文本对齐分数和视觉-文本对齐分数均显著高于单模态描述，证明融合后的文本更好地保留了两种模态的语义信息。在 跨模态检索任务中，使用多模态描述作为查询文本进行音频到描述和视频到描述的检索，Recall@1 和 Recall@5 指标均明显优于仅使用音频描述或视觉描述，验证了多模态文本作为桥梁连接两种模态的有效性。

场景分类是检验描述是否保留判别信息的关键实验。仅使用描述文本的 Sentence-BERT 嵌入训练线性分类器，10 类城市场景的分类准确率达到 94.5%；若将描述嵌入与原始音频、视觉特征拼接后送入分类器，准确率进一步提升至 95.4%，提升了 0.9 个百分点。这一结果说明多模态描述不仅自身承载了充分的判别信息，还能作为增强特征补充原始信号。

下表汇总了三种描述类型在关键指标上的对比：

描述类型	场景分类准确率	音频-文本对齐（余弦相似度）	视觉-文本对齐（余弦相似度）
仅音频描述	—	较低	低
仅视觉描述	—	低	中等
多模态描述（有标签）	94.5%	最高	最高
多模态描述（无标签）	接近有标签版本	高	高

LLM-as-a-judge 评估中，使用独立的 LLM 对描述质量进行盲评，多模态描述在准确性、完整性和流畅性三个维度上均获最高分。人工主观评估同样确认，融合描述相比单模态描述包含更丰富的场景细节，且不会引入幻觉或矛盾信息。值得注意的是，去除场景标签提示后生成的描述仍保持高判别能力，证明了数据集的语义来源是音视频内容本身。

5. 创新点与工程价值

AVSD-Scenes 的核心创新在于首次构建了大规模、高质量的城市音视频场景联合描述数据集，且完全摒弃了昂贵的人工标注流程。整套构建管线建立在预训练大模型之上，具有极强的可复制性和扩展性。分步生成范式——先独立生成模态特定描述、再交由 LLM 融合——架构清晰，允许灵活替换不同的音频编码器、视觉编码器和融合模型，可快速适配到工业声学、医疗影像、自动驾驶等其他多模态场景。

从工程角度看，该数据集提供的多模态描述具备三重价值。第一，描述文本携带了超越原始标签的丰富语义信息，包括场景中的事件因果关系、空间关系、氛围特征等，可作为现有多模态系统的增强特征直接注入，提升检索和分类性能。第二，数据集的自动化构建方法为数据增强（data augmentation）提供了新思路——在标注数据稀缺的领域，可以用少量标注样本引导 LLM 批量生成高质量描述，扩充训练集。第三，描述文本架起了音频和视觉之间的语义桥梁，在跨模态检索任务中可显著降低模态鸿沟，对 声学事件检测 和视觉场景理解系统均有加成效果。

该数据集还被验证具有良好的模态鲁棒性：即使某一模态信号质量下降（如噪声干扰或遮挡），多模态描述仍能借助另一模态的互补信息维持较高的场景判别能力，这在真实城市环境中具有重要实用价值。

6. 我们的思考

从南京昱声科技的工程实践出发，AVSD-Scenes 提供的思路至少有四条落地路径。

机器人语音交互是直接受益方向。当前的机器人对话系统大多依赖语音指令和简单环境标签，缺乏对场景语义的深层理解。引入类似 AVSD-Scenes 的多模态描述生成能力，机器人可以在听到脚步声和键盘敲击声、看到办公室画面时，自主推断出“有人在办公”的场景语义，从而调整对话策略——例如降低音量、使用更正式的措辞。这与 大模型驱动的全双工语音交互 中讨论的上下文感知思路高度契合。在 声学检测领域，传统音频事件检测系统常因缺乏场景上下文而误报——比如将街道上的金属碰撞误判为工厂设备故障。如果辅以视觉描述提供的场景信息（“户外街道，有车辆经过”），系统可以自动抑制与该场景不匹配的事件类别，从而降低误报率、提升检测鲁棒性。

在 降噪算法方面，多模态描述可以直接驱动场景自适应策略。当系统识别到“地铁站台、有列车进站广播”这一复合场景时，降噪模块可动态增强对突发性强噪声的抑制，同时保护广播语音的可懂度；而在“安静的图书馆”场景下则切换到轻度降噪模式，保留环境自然度。对于 远场拾音和 产线音频质检，多模态描述同样能提供关键的上下文先验——远场场景下可结合视觉判断声源位置和房间声学特性以优化波束成形参数，产线质检中可融合设备外观状态描述与运行声音描述实现更精准的异常检测。

长远来看，南京昱声科技可考虑构建面向国内城市声景的类似数据集，融合南京等地的真实音视频采集数据，覆盖地铁、菜市场、老城街巷等本土化场景，为城市计算和智能监控应用提供底层数据支撑。

原文链接：https://arxiv.org/abs/2610.01861

作者：Dhanunjaya Varma Devalraju; Arshdeep Singh; Mark D. Plumbley

发布日期：2026-10-01T15:24:23Z

收录：ICASSP 2027