前沿语音技术：基于非自回归LLM的词级时间戳与说话人归属联合标注

论文速览

这篇 ICASSP 2027 论文提出了一种基于非自回归大语言模型（Non-Autoregressive LLM）的后处理方案，核心功能是为任意给定转录文本补全词级时间戳（Word Timestamps）和说话人归属（Speaker Attribution）。模型接收音频与文本作为输入，一次性并行输出每个单词的开始/结束时间边界及说话人 ID，无需逐词串行生成。

关键性能指标表现亮眼：时间戳平均绝对误差（MAE）降至约 30 毫秒，较对比系统的 40~50 毫秒相对降低超过 20 个百分点；说话人归因在 LibriCSS 数据集上取得约 8.5% 的 cpWER（词错误率串联），优于此前最优的 9.5%。推理速度方面，标注 10 分钟音频仅需约 0.5 秒，而同等组件的自回归版本需要 30 秒以上，加速比达到 10~100 倍。该模型与前端自动语音识别（ASR）系统完全解耦，可作为独立后处理模块灵活集成。

研究背景与挑战

现代 ASR 系统输出的纯文本远不能满足会议记录、对话分析、客服质检等场景需求。这些应用需要带有精确时间戳和说话人身份的富文本转录，以实现内容检索、责任追溯和声学事件关联。传统方案将问题拆解为时间对齐与说话人标注两个独立阶段，形成冗长的处理流水线。

时间对齐通常依赖语音活动检测（VAD）、基于 CTC 音素对齐（CTC Phoneme Alignment）或强制对齐（Forced Alignment）技术，在帧级别建立声学特征与文本单元之间的硬对应关系。说话人归属则通过声纹嵌入（Speaker Embedding）提取后做分割聚类（Speaker Diarization），将语音段分配给不同说话人。两个阶段串行处理，前序误差会向后逐级累积：时间戳偏差导致说话人片段划分不准，聚类错误又反过来污染边界精度。

自回归模型（Autoregressive Model）虽能建模序列依赖，但逐词生成时序信息的推理速度太慢，难以应对实时或大规模处理需求。非自回归并行解码天然更快，但挑战在于如何让模型在一次性并行输出时准确捕捉声学-文本之间的细粒度时序对应关系，并同时嵌入说话人身份属性。此前该方向缺乏成熟方案。

核心方法

模型架构基于编码器-解码器 Transformer（Transformer Encoder-Decoder），但解码端采用非自回归策略。处理流程为：将输入文本与音频特征（如 mel 频谱）拼接后送入编码器，解码器一次并行预测序列中每个词的时间边界（Start, End）和说话人标签。这种设计放弃了逐词循环，转而依赖交叉注意力（Cross-Attention）在声学特征与文本 token 之间建立软对齐。

这步软对齐是技术精髓所在。不同于传统强制对齐需要显式的帧级硬映射，模型借助大语言模型的上下文理解能力，同时捕捉声学事件（如停顿、音调变化）与语言结构（如语法边界、语义单元），自动学习词与音频片段之间的概率对应关系。训练目标上，时间戳预测采用 L1 回归损失直接优化时间值误差，说话人归属使用说话人标签序列的交叉熵损失，两者联合优化，促使模型在端到端序列到序列（Sequence-to-Sequence）框架下同时掌握词边界检测（Word Boundary Detection）和说话人分割聚类能力。

值得强调的是，模型以给定文本作为输入条件，专注于后处理而非重做识别。这意味着它可与任何 ASR 系统解耦——无论是端到端语音识别（End-to-End ASR）还是传统混合系统，只需提供转录文本和原始音频，即可输出结构化标注。工程集成门槛显著降低。

实验与结果

研究团队在公开的会议转录数据集上进行系统评估，涵盖多种录制条件和说话人数量场景。时间戳准确度方面，模型 MAE 从对比系统的 40~50 毫秒降至约 30 毫秒层次，相对提升超过 20 个百分点，在词边界检测任务上达到领先水平。

说话人归因性能以 cpWER 度量，该指标同时考量识别错误和说话人标注错误。在 LibriCSS 等基准上，本模型取得约 8.5% 的 cpWER，显著优于此前最优的 9.5%，确立了新的最佳结果。速度测试在 GPU 环境下进行：处理 10 分钟音频，非自回归版本耗时约 0.5 秒，而等效的自回归构建需 30 秒以上，Transformer 并行解码（Transformer Parallel Decoding）带来 1~2 个数量级的加速比。

消融实验揭示了多任务联合训练的价值。将时间戳回归（Timestamp Regression）与说话人标注分开训练时，两项指标均出现退化；联合优化则获得额外收益，验证了声学时间对齐与说话人身份判别之间的互补性——准确的时间边界有助于提取更纯净的说话人表征，反之明确的说话人切换点也强化了时间边界的可预测性。

创新点与工程价值

这项工作的核心创新在于首次将非自回归 LLM 应用于词级时间戳与说话人归属的联合预测，从架构层面打破了时间对齐和说话人分割聚类的两阶段割裂。将两个任务纳入统一的并行解码框架，消除了模块间的误差传递通路。这不仅是算法范式的转换，更带来了工程上的质变。

并行解码使后处理速度提升 1~2 个数量级。以 10 分钟音频 0.5 秒的处理速度推算，一小时音频仅需约 3 秒，这为云端大规模异步处理和近实时场景打开了新的可能性。与 ASR 解耦的设计意味着现有语音平台无需重训前端模型，只需在后端增加该模块，即可为存量转录文本“补全”结构化时间戳和说话人信息。

在需要精确审计和检索的领域——如金融合规会议记录、医疗问诊存档、法律庭审转录——这项技术能大幅降低人工标注成本，同时提高信息的可操作性和检索效率。低延迟特性也使其适用于流式处理管线，可逐段输出带说话人标签的时间对齐文本。对于正在评估智能语音公司怎么选？一文看懂机器人声学全栈方案的团队，这类高效后处理能力正成为区分方案优劣的关键维度。

我们的思考

在机器人语音交互场景中，准确的时间戳和说话人身份对多轮对话管理、指代消解和声源分离至关重要。服务机器人在嘈杂展馆或家庭环境中需区分多个说话人的指令，并准确记录每条指令的发生时刻以便状态回溯。该非自回归方案为离线及近实时场景提供了高效的后装式增强能力，可直接植入昱声科技现有的机器人语音链路，提升对话结构化处理速度，同时保持与前端 ASR 模块的独立性。

在阵列降噪和声学检测业务中，该技术能将语音增强从前处理延伸到后处理层面。通过词级时间戳与说话人归属，系统可精确分离不同方向的干扰源声学片段，为自适应波束形成或说话人提取算法提供准确的参考边界，这与前沿语音技术：基于任务特定波束成形的多通道重放语音检测领域增量学习中讨论的多通道处理思路形成互补。在产线音频质检场景，时间戳与说话人归属可用于定位特定工位操作员的语音报告片段，联动前沿语音技术：并行时频带混合与学习观察添加的鲁棒ASR前端中的鲁棒前端，有望在多说话人复杂声学环境下显著改善识别和检测的鲁棒性。

昱声科技在远场拾音和声学检测领域积累了大量带噪多说话人场景数据。该模型的后处理定位使其可快速融入现有质检流水线，为语音日志补全结构化信息，支撑更精细的异常分析和趋势追踪。

原文链接：https://arxiv.org/abs/2609.15218

作者：Zvi Kons; Avihu Dekel; Hagai Aronowitz; Vishal Sunder; Ron Hoory

发布日期：2026-09-14T08:38:46Z

收录：ICASSP 2027