前沿语音技术：基于XLS-R大规模语音模型的鲁棒逐层决策融合虚假音频检测方法

1. 论文速览

这篇被Interspeech 2025收录的论文，提出了一种面向假音频检测（Fake Audio Detection）的逐层决策融合（Layer-Wise Decision Fusion）方法。作者没有沿用业界主流的特征级融合思路，而是让XLS-R预训练模型的每一层Transformer独立完成真假判别，再将各层决策结果进行融合。这种“先决策、后融合”的范式，在In-the-Wild跨数据集评估中取得了6.90%的等错误率（EER），显著优于单层最优的7.89%、特征拼接的7.20%以及注意力融合的7.14%等强基线。

XLS-R是Meta推出的超大规模自监督语音模型，其内部Transformer层数很深，通常超过20层。不同层捕获的语音表征各有侧重：浅层保留更多声学细节，深层则提炼出高层语义信息。传统方法要么只取最后一层输出，要么把所有层特征拼接起来送入分类器，这往往导致特征崩溃（Feature Collapse）——多层信息在压缩过程中相互抵消，反而丢失了判别力。该论文的逐层决策机制，则为每一层保留了独立的表达空间，让融合发生在更抽象的决策层面，而非高维特征空间。

更值得关注的是模型的可解释性。由于每层都输出独立的真假分数，研究者可以直接观察各层对最终判决的贡献权重，理解哪一层在面对特定伪造类型时发挥了关键作用。这种透明性在安全攸关的语音交互场景中尤为重要，我将在后续章节详细展开。

2. 研究背景与挑战

假音频检测是说话人验证（Speaker Verification）系统的核心防线，其任务是判断一段语音是真实人声还是经由语音合成、声音转换、重放攻击等手段生成的伪造音频。近年来，自监督学习（Self-Supervised Learning）预训练模型如Wav2Vec 2.0、HuBERT和XLS-R，凭借在大规模无标注数据上习得的鲁棒性表征，已经成为该领域的主流骨干网络。

然而，这些模型动辄20层以上的深度结构带来了一个棘手问题：如何有效利用多层表征？现有方法大致分为两类。一类是“单层提取”，直接选用某一层的输出作为最终语音表征，通常选最后一层或通过验证集挑选最优层。这种做法丢弃了其他层可能蕴含的互补信息，泛化能力受限。另一类是“特征级融合”，将所有层的隐藏状态拼接或通过注意力机制加权求和，得到一个固定维度的句子级嵌入。这类方法虽然利用了多层信息，但高维拼接容易引发特征崩溃——不同层表征的分布差异巨大，粗暴混合反而模糊了各自的判别特性，导致模型在跨数据集场景下性能骤降。

跨数据集泛化能力是假音频检测落地的关键瓶颈。训练集通常覆盖已知的伪造算法，但真实环境中可能出现完全未知的攻击类型。如果模型在训练时过度依赖某一层的单一表征模式，面对未知伪造时很容易失效。因此，研究界迫切需要一种既能充分利用多层互补信息，又能保持决策透明性的方法，以应对复杂多变的真实世界攻击。

3. 核心方法

该论文的方法框架清晰且优雅。首先，将输入音频送入冻结的XLS-R预训练模型，提取Transformer各层输出的隐藏状态序列。XLS-R共24层Transformer，加上输入嵌入层，总计可提取25层表征。每层输出的时间维度取决于输入音频长度，通常经过均值池化（Mean Pooling）压缩为固定维度的层向量。

真正的创新在于后续处理。作者为每一层设计了一个独立的轻量分类器，该分类器由全连接层和Sigmoid激活函数组成，直接输出该层对“真/假”的判别概率。这25个分类器互不干扰，各自基于本层表征独立做出决策。这种设计实现了逐层决策——第3层可能认为这段语音“60%概率为真”，第18层可能给出“80%概率为假”的相悖判断，这恰恰反映了不同层对伪造线索的敏感度差异。

最后是决策级融合（Decision-Level Fusion）。所有层的预测分数通过加权平均汇聚为最终输出，权重向量由模型自动学习。作者还尝试了注意力加权和简单投票等变体，加权平均在实验中表现最优。这种先决策后融合的范式，与传统的先融合后决策形成了根本性对立。特征级融合要求模型在极高维空间中寻找分类边界，而决策级融合将问题分解为多个低维子问题，每层只需处理本层表征的判别任务，融合层则学习如何在不同层之间“取长补短”。

从表示学习角度看，这一设计避免了层间特征压缩导致的信息损失，每层表征的独特属性得以保留并贡献于最终判决。同时，融合权重本身成为可解释性的窗口——权重高的层，其表征模式对当前任务更具判别力。

4. 实验与结果

实验聚焦于In-the-Wild数据集，这是目前假音频检测领域最具挑战性的跨数据集基准之一，其测试集包含多种未知伪造算法生成的音频，能真实反映模型的泛化能力。评估指标为等错误率（EER），数值越低表示性能越好。

对比基线包括：XLS-R单层最优（第23层，EER 7.89%）、特征拼接（所有层向量拼接后送入分类器，EER 7.20%）、注意力融合（对各层表征加权求和，EER 7.14%）。所提逐层决策融合方法以6.90%的EER拔得头筹，相比单层最优降低了近1个百分点，相比注意力融合降低0.24个百分点。看似微小的EER差距，在实际部署中意味着数千次交互中少出现数十次误判，对用户体验影响显著。

消融实验揭示了更深层的规律。通过可视化各层融合权重，研究者发现：浅层（1-8层）权重集中在高频声学细节上，对重放攻击等涉及声道畸变的伪造类型更敏感；中层（9-16层）同时关注声学和音素信息；深层（17-24层）权重偏向语义和韵律特征，对基于文本到语音（TTS）生成的高层语义伪造更有效。这种分层互补特性，正是逐层决策融合跨数据集泛化能力优于单层或多层拼接的根本原因。

作者还测试了不同分类器架构的影响，发现简单的线性分类器已足够，无需复杂设计，这进一步降低了工程部署门槛。

5. 创新点与工程价值

该论文的核心创新在于范式转换——从“融合后决策”变为“决策后融合”。这一思路颠覆了假音频检测领域长期固守的特征融合范式，为解决特征崩溃问题提供了新路径。它不是简单地堆叠更复杂的网络结构，而是重新思考了多层信息该“在哪里融合”这一根本问题。

工程价值体现在三个层面。第一，即插即用的集成便利性。该方法不改变XLS-R的预训练权重，仅在每层后追加轻量分类器，计算开销增加极小。在已部署XLS-R的语音交互系统中，可直接嵌入该模块升级防御能力，无需重新训练整个骨干网络。第二，跨数据集鲁棒性提升。在机器人、智能音箱等开放场景中，攻击者可能使用训练集从未见过的伪造算法，逐层决策融合的多层互补机制天然具备更强的未知攻击抵抗力。第三，可解释性带来的运维优势。当系统出现误判时，工程师可以回溯各层决策分数，定位是哪个层对特定伪造类型失效，从而有针对性地优化数据增强策略或微调对应层分类器。这在安全敏感的金融声纹验证、司法录音鉴定等场景中，有助于建立监管信任。

此外，该方法的融合权重可视化，为理解XLS-R不同层的表征特性提供了分析工具，这一副产品本身对自监督学习研究具有参考价值。

6. 我们的思考

南京昱声科技深耕机器人语音交互与声学检测领域，该论文的逐层决策融合思想与我们的技术栈高度契合。在机器人语音交互中，声纹验证模块需持续抵御回放攻击、语音合成欺骗等威胁，传统的单层特征提取方案在跨场景迁移时经常出现性能衰减。我们可以将逐层决策融合直接嵌入现有说话人验证管线，利用XLS-R的多层表征增强对未知伪造的鲁棒性，从而提升机器人在嘈杂环境中的交互安全性。这与机器人语音交互核心技术怎么选？声学算法与参数深度解析中提到的多层级防护理念一脉相承。

逐层决策的思想还可迁移到更广泛的声学任务中。例如在声学检测在产线质检怎么选？家电与机器人质检方案详解所涉及的电机异音检测场景，我们可以对多尺度频谱特征或不同深度的时域卷积输出进行独立异常判别，再融合各层决策，提升对微弱异音的检出率和可解释性——这对于产线音频质检的故障溯源尤为重要。在语音降噪领域，DeepFilterNet等深度降噪模型同样拥有多层结构，逐层决策融合有望替代传统的最后一层输出方案，在语音降噪方案的技术趋势与AI多模态应用全解析所述的非平稳噪声场景中获得更优的降噪保真度。

更进一步的思考是，决策级融合的透明性可转化为产品竞争力。在面向B端客户的声学检测方案中，我们可以展示各层分类器对不同故障类型的敏感度热力图，让客户直观理解模型判断依据，而非面对一个黑盒分数。这种可解释性对于推动AI声学检测在高端制造、特种设备质检等领域的落地，具有不可忽视的商业价值。

原文链接：https://arxiv.org/abs/2607.20023

作者：Yixuan Xiao; Ngoc Thang Vu

发布日期：2026-07-22T11:05:04Z

收录：Interspeech 2025