前沿语音技术：统一梯度投影实现多语言低资源语音识别的语言平衡持续学习

1. 论文速览

本文提出统一梯度投影（Unified Gradient Projection, UGP），面向多语言低资源自动语音识别（ASR）中的持续学习。大规模预训练语音模型如Whisper通过自监督学习获得跨语种能力，但针对低资源语言微调往往导致旧语言性能急剧下滑，即灾难性遗忘。UGP利用语言平衡回放计算参考梯度，在统一投影空间中约束参数更新，缓解这一退化。

与传统持续学习方法不同，UGP将梯度级投影与数据级回放相结合。语言平衡回放确保每种语言在参考梯度中贡献均等，消除高资源语言偏置；统一投影空间提供一个公共几何框架，精准过滤与旧知识冲突的更新方向。在Whisper-large-v3上，该方法实现近零平均遗忘，并在多个低资源语言组和模型规模上验证了有效性。

2. 研究背景与挑战

Whisper等预训练语音模型通过自监督学习在海量多语种数据上获得强大的多语言语音识别能力。然而工程中常需针对特定低资源语言进行适配微调，例如少数族裔语言或地域方言。直接微调会显著降低模型对其他已支持语言的识别率，因为新任务梯度会覆盖旧语言的关键参数，形成灾难性遗忘。

现有多语言持续学习方法主要包括回放、正则化和架构扩展。回放受限于低资源样本稀缺；正则化难以判断哪些参数对哪些语言重要；架构扩展则增加部署成本。更本质的困难在于跨任务干扰：高资源语言在联合优化中天然占优，低资源语言的梯度贡献被抑制。若不为每种语言显式均衡贡献，遗忘很难避免。

这一现象在多语言场景中尤为突出，单语种持续学习通常不会暴露该问题。因此需要一种能显式调节跨语言干扰的方法，在保持新语言塑性的同时守住旧语言稳定性。UGP正是针对这一缺口设计。

3. 核心方法

UGP第一步是构建语言平衡回放。为每种已见语言维护一个小型样本缓冲区，从该语言历史数据中均匀采样。每次训练迭代时，从所有语言缓冲区各取相同数量样本，分别计算梯度并取平均，得到语言平衡的参考梯度。这确保高资源语言不会因样本量占优而压制低资源语言的更新信号。

第二步，将新任务当前批次的原始梯度与参考梯度映射到统一投影空间。该空间可视为参数空间的一个子空间，由参考梯度张成。UGP将原始梯度中与参考梯度方向冲突的分量移除，只保留不增加旧任务损失的方向。具体实现为求解约束优化：最小化新任务损失，同时保证旧任务损失不上升。

第三步，UGP同时采用数据级回放。梯度投影提供稳定性约束，数据回放为新任务学习补充旧任务上下文，两者产生互补增益。实验表明，单独使用任一组件效果有限，结合后平均遗忘显著下降，新语言词错误率保持较低。

4. 实验与结果

实验覆盖多种低资源语言组，涵盖东南亚、非洲和南美原住民语系。骨干模型包括Whisper-small、medium和large-v3。评估指标为旧语言平均遗忘率（越低越好）和新语言平均词错误率（WER）。基线包括经验回放（ER）、弹性权重巩固（EWC）和梯度投影记忆（GPM）等。

结果显示，UGP在所有模型规模上均明显优于基线。在Whisper-large-v3上，旧语言平均遗忘率接近零，远低于ER和GPM的遗忘水平；新语言WER相比仅微调新任务仅小幅上升，塑性损失可控。作者报告，移除语言平衡回放或梯度投影后，遗忘率分别上升超过几个百分点，证实两个组件的必要性。

低资源语言组内部差异大，UGP仍表现出稳定的跨语系性能。这提示统一投影空间中的语言均衡策略不仅具备工程价值，也有助于学习更通用的多语言表征。

5. 创新点与工程价值

UGP的核心创新在于首次在统一投影空间中显式均衡各语言贡献。此前梯度投影方法通常对任务整体做约束，忽略多语言内部的贡献不平衡。UGP从梯度层面消除主导语言偏置，使低资源语言的更新信号不被淹没，该思路可推广至任意多任务持续学习。

工程上，UGP不引入额外模型参数，仅增加回放缓冲区存储和每轮多语言梯度计算。相比架构扩展方法，存储和计算开销低一个数量级，可无缝集成到现有预训练ASR微调流程。前沿语音技术：基于全语种ASR的语音大模型系统——MLC-SLM挑战赛方案中的全语种ASR系统面临持续增加语言的需求，UGP可为其提供轻量级防遗忘方案。

此外，UGP的投影约束与自监督语音模型表征分析方法有相通之处。前沿语音技术：证据子空间投影测量自监督语音模型对深度伪造检测的解释力利用子空间投影分析模型表征，UGP则将投影用于参数更新约束，两者均通过子空间操作提升模型可控性。

6. 我们的思考

南京昱声科技在机器人语音交互、远场拾音和产线音频质检等业务中，经常需要支持多语言、多方言或多声学环境。传统做法是收集新场景数据后全量重训，成本高且易遗忘已有能力。UGP提供了增量路径：为每种语言或声学场景维护小型回放缓冲区，在新场景微调时计算语言平衡参考梯度，并在统一投影空间中约束更新，使机器人持续增加新方言支持而不牺牲已支持语言的识别率。

声学检测和降噪模型同样面临多任务或多环境持续学习问题。例如产线音频质检需适应不同设备与噪声，顺序微调会使早期环境检测性能骤降。借鉴UGP的语言平衡回放，可按环境类别均衡采样回放样本，再通过梯度投影防止有害更新。远场拾音中的多通道降噪模型也可将不同混响条件视为“语言”，利用统一投影空间实现跨声学场景稳定适应。

UGP的投影约束本质是对参数空间的几何正则，计算开销可控，适合边缘设备增量更新。结合我们在实时语音增强方面的积累（如前沿语音技术：基于渐进知识蒸馏的因果Mamba实时语音增强模型），可探索将投影约束与蒸馏结合，进一步降低低算力平台上的持续学习门槛。

原文链接：https://arxiv.org/abs/2607.11163

作者：Ziang Ren; Guodong Lin; Yuchen Ai; Kaize Tan; Wei-Qiang Zhang

发布日期：2026-07-13T06:57:02Z

收录：Interspeech 2026