前沿语音技术：基于词元级通配弧的全时分类训练准则实现转写歧义容忍的语音识别

1. 论文速览

这篇被 ICASSP 2027 收录的论文提出了一种名为 token-level Omni-temporal Classification（词元级全时分类，简称 token-level OTC） 的训练准则，直击自动语音识别（ASR）中长期存在却较少被正面解决的难题：参考转录并非唯一正确的标签序列。传统连接时序分类（CTC）训练将标注文本视为绝对真值，但真实标注中充斥着发音变异、拼写差异和词汇选择上的局部不确定性。作者的做法是在 CTC 对齐图中插入粒度更细的 通配符弧（wildcard arcs），让模型在词元（token）级别拥有“跳过”某个不可靠标签的逃逸路径，而不必放弃整个词的监督信号。

实验覆盖 19 种语言、3 个语料库共计 25 项任务，token-level OTC 在所有任务上均优于标准 CTC，平均相对词错误率（WER）降低 9.45%。更具说服力的是独立验证转录的实验：token-level 模型在争议字符位置分配的通配弧概率显著高于 CTC，这表明模型的“容忍”并非盲目，而是精准定位到了标注中的局部歧义。该框架还引入基于预测熵的自适应调度来替代固定 epoch 的权重松弛，使超参数对训练长度不再敏感，进一步提升了方法的工程实用性。

2. 研究背景与挑战

ASR 系统的训练长期依赖一个理想化假设：参考转录是给定语音的唯一有效标注。但这一假设在真实数据面前相当脆弱。即使是所谓“逐字转录”，标注者在听到同一段语音时也会在冠词选择、缩略形式、连读词边界甚至字符级拼写上产生分歧。这些局部差异并非标注错误，而是语言本身容许的变异空间，但标准 CTC 对此毫无容忍能力——它强制模型在每一帧对齐到唯一标签，从而将标注中的不确定性转化为训练噪声。

此前提出的 全时分类（Omni-temporal Classification，OTC） 尝试通过在 CTC 对齐图中添加通配弧来缓解这个问题。OTC 允许对齐路径“跳过”某些时间步而不产生任何输出，从而回避不可靠的标签片段。但 OTC 的逃逸弧被定义在词级别，一旦激活就跳过一个完整单词。粒度过粗的代价很明确：如果某个词中只有一个字符或音素在标注中存在歧义，模型必须放弃对这个词全部帧的监督——信息浪费严重，且损失了词内其他可靠部分的训练信号。这种粗粒度容错在处理形态丰富语言的长词时尤其低效，因为词内结构的大量标注信息被无谓丢弃。

3. 核心方法

论文的核心贡献是将通配弧从词级下沉到词元级。在实际实现中，token 可以是字符、子词单元或音素，作者在每个 token 节点旁增加一条直接指向下一个 token 的跳跃边。这样一来，如果某个特定 token 在声学上缺乏足够支持（比如标注者在某个音节上犹豫不决），模型可以只绕过这个 token，而词内其余部分依旧保持正常对齐和梯度回传。这种细粒度容错既保留了 CTC 的序列建模能力，又赋予模型处理局部转写噪声的灵活性。

作者没有简单地用 token 级通配弧替换词级弧，而是构建了一个 混合对齐图：在同一图中同时保留两种粒度的逃逸路径，让模型在训练过程中自行学习何时需要精细跳过、何时需要结构化地处理整个词的歧义。两类弧形成互补——token 级弧负责局部的不确定性，词级弧应对更大范围的对齐模糊。通配弧的权重通过一个可调参数控制，该参数原本按 epoch 线性松弛，但论文发现这种策略对训练轮数敏感，更换数据集时需要重新调参。

为此，作者引入 基于预测熵的动态调度。在训练过程中实时计算模型对每一帧的预测熵，高熵帧意味着模型对该时刻的标签判断不确定，此时自动增大通配弧的逃逸权重，鼓励模型“跳过”而非强行输出一个低置信度的标签。这种自适应的容忍策略使超参数调度与训练长度解耦，在不同规模的数据集上都表现出稳定性能。

4. 实验与结果

实验设计具有相当的说服力。三个语料库各具特色：CSJ 是日语自发演讲，充满口语化的停顿和重复；CommonVoice 覆盖 18 种语言，标注质量参差不齐；LibriSpeech 是英语有声书朗读，标注相对规范但仍存在标点和拼写变异。在 25 项子任务上，token-level OTC 的 WER 全部低于标准 CTC，没有任何例外。

从数值上看，token-level OTC 在三个语料库上相对 CTC 的平均 WER 降幅分别为 9.81%（CSJ）、9.22%（CommonVoice 平均）和 9.33%（LibriSpeech），综合平均为 9.45%。当把熵自适应调度与混合对齐图结合使用时，所有语料库均取得最低 WER，说明两个设计存在叠加增益。对比实验进一步显示：纯 token 级 OTC 优于纯词级 OTC，而混合图又优于纯 token 级方案，验证了细粒度容错与多粒度互补各自的价值。

可解释性分析尤其值得关注。作者使用独立的验证标注（不同于训练标注的转录版本）来定位争议字符，然后统计 token-level 模型在这些位置激活通配弧的概率。结果显示，模型在争议字符处的通配弧概率显著高于 CTC 基线，且提升幅度与争议程度正相关。这直接证明了 token-level OTC 的容忍机制确有针对性，而非笼统地降低训练难度。在此之前，关于语音识别鲁棒性的研究可参考语音识别公司方案靠谱吗？这8个技术问题全说清了中关于标注质量与模型鲁棒性的讨论。

5. 创新点与工程价值

将 OTC 从词级扩展到 token 级并非简单的粒度替换。词级通配弧的本质是“跳过整个词”，其对齐图结构直接沿袭自然的分词边界；而 token 级通配弧需要在字符或子词单元的细粒度上定义逃逸路径，同时还要保留词级弧作为结构性的容错手段。混合图的构建涉及两种粒度逃逸路径在训练中的协同优化，这是一个此前未被探索的设计空间。

工程层面的突破在熵自适应调度。深度学习训练中，超参数对训练轮数的敏感性长期以来是模型迁移和复现的痛点。固定 epoch 的权重松弛意味着每次更换数据规模都要重新搜索最优的松弛曲线。预测熵作为模型自身的不确定性度量，天然具备数据规模和训练阶段的自适应性，这个思路在其他序列建模任务中同样有推广价值。此外，减少对人工精标数据的依赖具有直接的成本意义——标注歧义难以完全消除，但可以让模型学会在标注不确定的地方“保持沉默”而非强行拟合错误信号，这比反复清洗标注更加经济。对于多语言 ASR 场景，该方法在 CommonVoice 18 种语言上的一致性表现印证了跨语言的泛化能力，类似的技术路线也可参考前沿语音技术：Mizar 159M参数音频-语言模型，在三个基准上超越同类并支持单CPU实时推理中对多语言语音模型的设计思路。

6. 我们的思考

南京昱声科技在机器人语音交互业务中面临的一个典型痛点是：用户指令中包含大量非标准发音、口音变体和口语化表达，标注团队在转写这些指令时经常产生局部歧义。例如“打开客听灯”与“打开客厅灯”在语流中难分彼此，标注者可能在不同轮次做出不同选择。传统做法是反复校对标注直到达成一致，但 token-level OTC 提供了一条更聪明的路径——让模型在训练时自动识别哪些 token 的标注不可靠并降低其权重，从而减少对人工校对的依赖，同时提升对真实用户口语输入的鲁棒性。

在声学事件检测场景中，异常声音（如机器异响、撞击声）的标注边界本身就存在模糊性——一个冲击声究竟从哪一帧开始、到哪一帧结束，不同标注者给出的边界可能相差几十毫秒。可以将事件标签序列类比为文本序列，在 CTC 风格的对齐图中引入通配弧，让模型在事件起止边界附近的帧拥有跳过标签的选项。这种做法有望提高异常检测的召回率和时间定位精度，尤其是在产线音频质检中对间歇性故障音的捕捉。

降噪方向同样值得借鉴。传统语音增强模型在每个时间帧都必须输出增强后的语音估计，但在极低信噪比下，某些帧的目标语音能量几乎为零，强行估计反而引入伪影。如果在增强网络的输出层引入通配机制，让模型在高不确定性帧选择“不输出”而非产生错误估计，再配合后端的插值与平滑，有望改善低信噪比条件下的语音质量和可懂度。这一思路与我们目前在远场拾音和机器人语音交互相结合的产品线高度相关。关于产线声学检测的落地细节，可参见语音识别公司如何让产线质检长出“耳朵”？声学检测方案落地拆解中的工程实践经验。

论文通过在 CTC 框架内引入细粒度的容忍机制，本质上重新定义了训练过程中“正确性”的标准——从追求逐字匹配转向承认标注本身存在合法变异空间。这一视角转换对 ASR 工程实践的影响将超越单纯的 WER 数字改进，引导我们重新审视标注流程的设计哲学和模型训练中不确定性建模的方式。

原文链接：https://arxiv.org/abs/2609.30160

作者：Saurabh Kumar; Diptiman Mohanta; Prasanta Kumar Ghosh

发布日期：2026-09-24T17:17:55Z

收录：ICASSP 2027