前沿语音技术：GigaChat Audio：时间感知的大音频语言模型

1. 论文速览

GigaChat Audio 是首个在长达 120 分钟音频上实现显式时间戳问答的时间感知大音频语言模型（Large Audio Language Model）。该模型由 10B 参数的主语言模型与 1.8B 参数的音频编码器构成，核心机制是周期性插入时间标记与音频标记交织，使模型在解码时能直接关注特定时间区域，输出带时间戳的文本片段。

在多个基准测试中，该模型均展现出强时间定位精度。短时基准 AudioCaps 上时间定位 F1 达 0.72，长时基准（120 分钟会议录音）上事件定位 mAP 为 0.65。模型支持时间锚定的片段描述和摘要，可回答“在 23 分钟处发生了什么”这类精确时间关联问题。研究团队公开了模型权重与合成数据集，地址为 HuggingFace，论文已被 Interspeech 2026 收录。

这一工作突破了传统音频条件 LLM 仅能处理秒级到分钟级音频的限制，为长时间录音的智能分析提供了端到端方案。

2. 研究背景与挑战

现有音频条件 LLM 的典型输入时长在几秒到几分钟之间，难以在长达数小时的录音中建立精确的时间定位。当用户提出“在 1 小时 23 分处发生了什么”这类问题时，传统模型无法给出有效回答。这一能力的缺失源于长录音中时间定位面临的三重挑战。

第一重挑战是标记序列长度爆炸。以 120 分钟录音为例，若采用连续音频标记化，标记序列长度将超出主流 LLM 的上下文窗口，直接导致注意力计算复杂度呈平方级增长。第二重挑战是时间信息稀释。长序列中时间位置信息容易被内容信息淹没，模型难以将特定时间点与对应音频事件关联起来。

第三重挑战是缺乏带时间戳标注的训练数据。人工标注长时间录音的时间戳成本极高，覆盖面有限。传统方法多依赖滑窗后处理，先将长录音切分为短片段分别处理，再人工拼接时间信息，缺乏端到端的时间感知能力。这种方案不仅工程复杂度高，且切分边界处容易丢失跨片段依赖关系。

在工业场景中，长时间录音分析需求日益迫切，例如会议记录整理、监控音频归档、产线设备运行日志分析等，前沿语音技术：基于结构化说话人条件与 Whisper 的婴儿中心多层音频理解 中也有类似的多层次时间结构分析需求。GigaChat Audio 正是在这一背景下，试图通过模型架构创新与合成数据训练，实现端到端的时间感知音频理解。

3. 核心方法

GigaChat Audio 的核心设计在于将时间标记（time marker）周期性插入音频标记序列，形成交织结构。具体流程为：音频流先通过 1.8B 参数的音频编码器转换为离散音频标记，然后每隔固定间隔（如 30 秒）插入一个可学习的时间标记。这些时间标记携带绝对时间信息，通过相对位置编码注入时序先验，使得 LLM 在解码时能直接关注到特定时间区域。

时间标记的引入本质上是将时间信息显式化。在传统方案中，时间信息仅隐含在标记的位置编码中，经过多层 Transformer 处理后容易被稀释。而显式的时间标记作为独立信号，迫使模型在每次注意力计算时都要考虑时间维度，从而显著提升时间定位精度。消融实验显示，去除时间标记后，长时基准上的事件定位 mAP 从 0.65 骤降至 0.31。

训练数据的构建采用级联管道（cascaded pipeline）。先通过自动语音识别（ASR）与音频事件检测模型获取粗粒度时间标签，再由大语言模型合成带时间戳的问答对，形成大规模合成监督。这一管道避免了人工标注的高昂成本，同时保证了数据多样性。时长混合设计（duration-mixture）是另一个关键策略，训练时混合短时（秒级）、中时（分钟级）和长时（小时级）样本，使模型在不同时间尺度上均具备泛化能力。

在音频标记化方式上，研究团队对比了离散标记与连续特征。结果表明，采用离散音频标记可节省 40% 的注意力计算，且性能几乎无损。这一发现对工程部署意义重大，尤其是在长序列场景下，计算开销的降低直接影响推理延迟与硬件成本。时间标记频率的消融实验则显示，30 秒间隔在精度与计算开销间取得最佳平衡。频率过高（如 10 秒）会增加序列长度，频率过低（如 60 秒）则时间分辨率不足，这一结论与 前沿语音技术：基于深度学习的多源多麦克风相对传递矩阵估计方法 中讨论的时间分辨率权衡问题有相似之处。

跨模态对齐是另一重点。音频编码器输出的离散标记与语言模型的词表空间存在天然差异，需要通过投影层对齐。时间标记作为独立的模态信号，其嵌入向量与音频标记、文本标记共同参与注意力计算，形成统一的跨模态表征空间。这种设计使得模型在生成文本答案时，可以自然地引用时间戳，实现时间锚定描述。

4. 实验与结果

实验评估覆盖短时与长时两大维度。短时基准采用 AudioCaps，评估模型在 10 秒音频片段上的时间定位能力。GigaChat Audio 的 F1 分数达到 0.72，相较于无时间标记的基线模型（F1=0.38）提升显著。在长时基准上，采用 120 分钟会议录音，评估事件定位的 mAP（mean Average Precision），模型取得 0.65 的成绩，而滑窗后处理方案的 mAP 仅为 0.42。

消融实验揭示了多个关键设计因素的影响。时间标记频率方面，30 秒间隔是最优选择，10 秒间隔的 mAP 为 0.66（计算开销增加 35%），60 秒间隔的 mAP 降至 0.58。时间表示形式方面，可学习的时间标记嵌入优于固定的正弦位置编码，mAP 从 0.58 提升至 0.65，说明让模型自适应学习时间表征更为有效。

音频标记化方式的对比显示，离散标记在保持性能的同时大幅降低计算开销。具体来说，离散标记方案的自注意力计算量减少 40%，长时基准上的 mAP 仅从 0.66 微降至 0.65。这一结果表明，对于时间定位任务，音频信号的细粒度细节并非必要，离散化后的语义信息已足够支撑时间推理。

时长混合训练的实验结果尤为关键。仅用短时样本训练的模型，在长时基准上 mAP 仅为 0.14，加入中时样本后提升至 0.38，再次加入长时样本后达到 0.65。这说明时长混合设计对长时泛化至关重要，模型需要通过不同时长的训练样本来建立多尺度的时间感知能力。这一发现与 前沿语音技术：ZipL-Dialog 在压缩潜在空间利用流匹配实现长语音对话合成内存高效 中讨论的长序列建模挑战形成呼应。

时间锚定片段描述的质量通过人工评估验证。在 120 分钟录音中随机选取 50 个时间点，要求模型生成对应时间段的描述，专业标注员对准确率进行评分，模型取得 4.2/5 的综合评分。

5. 创新点与工程价值

GigaChat Audio 的核心创新在于首次将周期性时间标记与音频标记交织，实现了端到端的时间感知音频 LLM。这一设计突破了传统方案中时间信息仅作为隐式信号的局限，使模型能够直接输出带时间戳的文本，支持时间锚定的片段描述和摘要。从技术路径上看，这一思路与 Transformer 中的位置编码一脉相承，但将时间维度从位置信息中独立出来，赋予了更强的表征能力。

第二个创新点是大规模合成监督管道的构建。通过级联 ASR、音频事件检测和 LLM 合成，实现了带时间戳问答对的自动生成，有效解决了标注数据稀缺的问题。这一管道不仅降低了训练成本，还为后续研究提供了可复用的数据生成范式。公开的 10B+1.8B 参数模型和合成数据集，进一步降低了时间感知音频理解的门槛，研究者可直接基于此进行微调或二次开发。

从工程价值看，GigaChat Audio 可作为听觉前端接入多种应用系统。在监控系统中，可直接对长时录像的音频轨道进行索引，支持“查找凌晨 3 点附近的异常声音”这类查询；在会议记录场景中，可自动生成带时间戳的会议纪要；在影视分析中，可定位特定台词或音效出现的时间点。离散音频标记带来的 40% 计算节省，使得模型在边缘设备上的部署更为可行，这一特性与 前沿语音技术：基于渐进知识蒸馏的因果Mamba实时语音增强模型 中讨论的实时处理效率问题高度相关。

此外，时长混合设计的经验教训对于其他长序列建模任务具有借鉴意义。混合不同时长的训练样本，本质上是在训练过程中让模型接触多尺度的时间依赖关系，这一策略可推广至长视频理解、长文档分析等领域。

6. 我们的思考

在南京昱声科技的机器人语音交互业务中，GigaChat Audio 的时间感知能力可直接应用于长时间人机对话的时序整理。例如，在服务机器人连续工作数小时的场景中，模型可自动定位用户指令发生的时间点，为离线对话日志生成带时间戳的摘要，大幅提升交互历史回溯的效率。当用户投诉“机器人在下午 2 点左右的回答有问题”时，运维人员可直接通过时间查询定位到具体对话轮次，无需逐段回听。

在声学检测场景中，该模型的时间定位能力尤为契合。工业设备运行录音通常长达数小时甚至数天，异常事件的检测和定位一直是痛点。部署 GigaChat Audio 后，质检人员可直接用自然语言查询“在 3 小时 45 分附近是否有异常敲击声”，模型返回精确时间窗口，省去手动标注和逐段排查的繁琐工作。结合昱声已有的降噪前端和远场拾音技术，可进一步提升长时间录音中的时间定位准确性，尤其是在工厂车间等高噪声环境下，降噪预处理能够减少背景噪声对时间标记的干扰，保证时间感知注意力机制的稳定工作。

在产线音频质检场景中，该模型可对整条产线数小时的运行录音进行批量分析，快速定位设备异响、工艺异常等事件的时间点，并与产线节拍数据关联，实现异常事件的精准溯源。这一能力与 前沿语音技术：CASA 基于语音编码器与大语言模型的内容-声学口语评估 中讨论的音频内容理解技术形成互补，可共同构建更完整的智能质检方案。

从技术演进角度看，时间感知音频 LLM 的下一步发展方向可能包括：更细粒度的时间标记（如 1 秒级）、多通道音频的时间同步分析、以及时间感知与空间感知的联合建模。在远场拾音场景中，时间标记与声源定位的结合，将使得模型不仅能回答“发生了什么”，还能回答“在哪里发生”，为机器人听觉系统提供更丰富的时空感知能力。

原文链接：https://arxiv.org/abs/2607.10387

作者：Aleksandr Kutsakov; Mariia Sadovina; Georgii Gospodinov; Alexandr Maximenko; Oleg Kutuzov; Pavel Bogomolov; Fyodor Minkin

发布日期：2026-07-11T16:34:25Z

收录：Interspeech 2026