前沿语音技术：GigaAM多语言基础模型解决中亚低资源语言识别难题

1. 论文速览

GigaAM Multilingual 是一个面向多语言语音识别（ASR）的基础模型，核心组件为基于 Conformer 架构的编码器。该编码器采用 HuBERT 风格的自监督学习（Self-supervised Learning）目标，在 200 万小时的多语种无标注音频上完成预训练。论文作者特别关注哈萨克语、吉尔吉斯语、乌兹别克语这三种中亚语言，这些语言长期处于语音识别研究的边缘地带。

模型的关键策略在于两阶段的数据干预。预训练阶段引入聚类级数据平衡（Cluster-level Data Balancing），将训练数据按语言和声学特征聚类后等量采样，强制抑制高资源语言的主导效应。微调阶段则使用领域感知采样（Domain-aware Sampling），根据文本的领域标签动态调整采样概率，让口语对话样本获得更高权重。实验结果显示，GigaAM Multilingual 在目标语言上显著超越 Whisper Large v3 和 Omnilingual-1B，尤其在自发语音场景下，词错误率（WER）相对降幅达 23.3%。

2. 研究背景与挑战

多语言 ASR 的规模化发展掩盖了一个深层矛盾：高资源语言（如英语、中文）的性能持续攀升，但长尾语言（Long-tail Languages）的识别准确率仍停留在较低水平。数据稀缺是主要原因，但并非唯一原因。论文指出，现有预训练方案在批次构建时，高资源语言样本天然占据多数，导致模型在迭代过程中逐渐“遗忘”低资源语言的特征表征。

中亚语言面临的困境尤为突出。哈萨克语、吉尔吉斯语、乌兹别克语属于突厥语系，拥有丰富的形态变化和元音和谐规律，但公开可用的语音数据极少。更关键的是，这些语言的口语形式与书面语存在显著差异，日常对话中大量使用省略、连读和非标准发音。如果微调阶段仅依赖朗读数据，模型在真实口语场景下会遭遇严重的域适应（Domain Adaptation）问题。论文作者将这种双重不平衡——预训练时的语言分布不均和微调时的领域错配——视为核心挑战。

现有开源方案如 Whisper 和 Omnilingual 虽然覆盖了这些语种，但 Whisper 的编码器-解码器架构在低资源条件下对解码路径的依赖过强，而 Omnilingual 的预训练数据分布同样偏向高资源语言。这为专门针对长尾语言的预训练方案留下了明确的改进空间。

3. 核心方法

GigaAM Multilingual 的编码器采用 Conformer 架构，结合了卷积模块和 Transformer 的自注意力机制，能同时捕捉局部声学特征和长程依赖关系。预训练阶段使用 HuBERT 式的掩码预测任务：随机掩蔽部分音频帧，要求模型从上下文重构被掩蔽的声学单元。这一过程不依赖任何标注文本，使模型能充分利用 200 万小时无标注语音学习通用声学表征。

聚类级数据平衡是预训练阶段的核心创新。具体做法是：先将所有训练数据按语言 ID 和声学特征（如 MFCC 的统计量）进行聚类，得到若干簇。构建每个训练批次时，从各簇中抽取等量样本，而非按原始数据量比例采样。这一策略强行打破了高资源语言的头部效应，确保低资源语言在每个优化步中获得同等权重。作者在论文中对比了无平衡策略、语言级平衡和聚类级平衡三种方案，证实聚类级平衡在尾部语言上的 WER 最低。

领域感知采样则作用于微调阶段。作者将微调数据的每条文本标注为“朗读”或“口语对话”等类别，在采样时通过一个温度参数控制类别间的概率分布，提高口语样本的抽取概率。这一轻量级方法无需额外的数据增强或迁移学习步骤，就能让模型在自发语音上获得显著增益。整个微调过程只调整编码器顶部的少数层，保持参数效率。

4. 实验与结果

论文在三个测试集上进行了严格控制变量的对比实验，覆盖哈萨克语、吉尔吉斯语和乌兹别克语的朗读和口语场景。对比基线包括 Whisper Large v3（1.55B 参数）和 Omnilingual-1B（1B 参数），GigaAM Multilingual 的编码器参数量仅 0.3B。

在朗读测试集上，GigaAM Multilingual 的平均 WER 比 Whisper Large v3 低 15.6%，比 Omnilingual-1B 低 11.2%。口语场景下的优势更突出：哈萨克语口语测试中，GigaAM Multilingual 的 WER 为 21.7%，Whisper Large v3 为 28.3%，相对降低 23.3%；吉尔吉斯语口语测试中，WER 从 31.5% 降至 24.1%，降幅 23.5%。

关键消融实验揭示了两个策略的各自贡献。仅使用聚类级平衡时，尾部语言 WER 相比无平衡基线降低 8.9 个百分点；叠加领域感知采样后，口语场景额外降低 4.2 个百分点。推理速度方面，由于编码器参数量小且为单次前向计算，GigaAM Multilingual 在 CPU 上的实时率（RTF）为 0.08，比 Whisper Large v3 快约 3 倍。这组数据表明，针对性的数据策略比堆砌模型规模更有效。

5. 创新点与工程价值

论文的核心贡献在于首次系统性地为三种中亚语言设计并开源了完整的 ASR 基础模型。作者不仅公开了编码器权重，还提供了微调后的完整 ASR 模型，为后续研究提供了可直接接入的基线。在低资源语言领域，开源模型本身就能加速社区发展，减少重复的数据收集和训练工作。

聚类级平衡和领域感知采样属于“策略级”创新，而非架构级创新。这两个方法不依赖额外的数据获取、模型结构修改或复杂的损失函数设计，可以直接嵌入到现有的预训练和微调管线中。对于面临类似数据不平衡问题的其他语言组（如非洲语言、东南亚方言），该方案具有极高的可迁移性。

从工程角度看，0.3B 的编码器参数量意味着在边缘设备上的部署可行性。论文中报告的推理速度优势使其适用于对实时性要求高的场景，如直播字幕、会议转录。聚类级平衡策略还可与量化、剪枝等模型压缩技术叠加使用，进一步降低部署成本。作者在附录中提供了详细的聚类算法参数和采样温度设置，保证了方法的可复现性。

6. 我们的思考

南京昱声科技在机器人语音交互产品中经常遇到小语种和方言场景，该论文的聚类级平衡策略可提供直接参考。当机器人需要同时处理普通话、英语以及特定方言（如粤语、四川话）时，训练数据中方言样本占比极低，传统批次训练会使其特征被淹没。借鉴聚类级平衡的思路，我们可以按语种和声学特征对训练数据进行聚类，在批次构建时强制提升方言样本的权重，预期能提升对低资源口音的识别鲁棒性。

在声学检测和降噪业务中，领域感知采样的思路同样适用。多条件训练的常见痛点在于，不同噪声类型（稳态噪声、突发噪声、混响）和声场环境（近场、远场）的数据量差异悬殊。如果按领域标签对噪声样本进行动态采样，例如提高远场混响样本的抽取概率，模型在复杂声学环境下的泛化能力有望得到增强。这种策略可嵌入我们现有的远场拾音算法训练流程中，无需改动模型结构。

产线音频质检场景中，异常音样本通常稀少且分布不均。聚类级平衡策略为构建批次数据提供了新视角：将正常音和各类异常音按声学特征聚类后等量采样，迫使模型学习异常音的细微特征，可能提升质检模型对罕见缺陷的检出率。该论文的实践经验表明，数据策略的优化往往比模型规模扩张更具性价比，这与我们在工业场景中资源受限的约束条件高度契合。

原文链接：https://arxiv.org/abs/2607.10371

作者：Andrei Kuzmenko; Alexandr Maximenko; Aleksandr Kutsakov; Georgii Gospodinov; Dmitrii Bolotov; Oleg Kutuzov; Pavel Bogomolov; Fyodor Minkin

发布日期：2026-07-11T15:48:03Z

收录：Interspeech 2026