前沿语音技术：XSQ-AST可解释音频频谱图Transformer框架定位合成语音伪影

一、论文速览

这篇来自 ICASSP 2027 的论文提出 XSQ-AST，一个将预训练语音质量模型与音素对齐技术结合的可解释诊断框架。它的核心能力是在不重新训练模型的前提下，对合成语音中的伪影（artifacts）进行时间维度的精确定位，而非仅仅输出一个全局质量分数。

框架由三个组件构成：以 SQ-AST（Speech Quality Audio Spectrogram Transformer）作为基础评估模型，借力 WhisperX 的强制对齐（forced alignment）能力生成音素级时间边界，再叠加三种不同的显著性图（saliency map）计算方法——注意力回滚（Attention Rollout）、注意力流（Attention Flow）以及针对频谱图改良的 GradCAM。

研究团队组织 40 名听音者，围绕 5 个感知维度对合成语音片段进行伪影位置标注。结果显示，三种显著性方法生成的时间分布均与听音者感知热点存在显著关联。在音素离散化任务上，注意力回滚取得了 0.38 的平均相关系数；注意力流则在连续核密度估计（KDE）分布上表现最优。AUC-ROC 分析进一步证实，所有方法的检测能力均显著优于随机水平（p<0.01），改编 GradCAM 在电子噪声类伪影上 AUC 达到 0.72。

二、研究背景与挑战

当前合成语音质量评估的主流范式存在一个明显短板：大多数方法只输出单一全局分数，比如 MOS（Mean Opinion Score）或 PESQ 值。这些分数能告诉你“这段语音整体好不好”，却无法指认“问题出在第几秒、哪个音素上”。对于需要调试语音合成系统或定位模型缺陷的工程师而言，这种粗粒度的反馈几乎不具备可操作性。

更深层的问题在于可解释性技术的缺位。智能语音公司怎么选？一文看懂机器人声学全栈方案 中曾指出，语音系统的工程落地往往卡在“知道有问题但找不到根因”的阶段。计算机视觉领域已有成熟的显著性图工具链——GradCAM、Integrated Gradients 等方法在图像分类任务中被广泛用于解释模型决策。然而，将这些技术从二维图像空间迁移到 Mel 频谱图的时频域，并使其输出与人类听觉感知的时间分辨率对齐，是一个非平凡的技术挑战。

频谱图的高度非平稳性、时频分辨率之间的权衡、以及 Transformer 注意力机制的跨层信息流动特性，都使得直接套用视觉显著性方法效果不佳。此外，合成语音检测领域长期依赖自监督学习（self-supervised learning）预训练模型提取特征，但这些模型的内部表征如何在时间轴上与感知维度对应，仍缺乏系统研究。XSQ-AST 正是瞄准这个空白展开的探索。

三、核心方法：从全局评分到音素级归因

XSQ-AST 的方法设计围绕一个核心思路展开：让预训练模型在不经微调的情况下“开口解释”自己的判断。具体流程分为三步。

3.1 基座模型与特征提取

框架以 SQ-AST 为基座——这是一个基于 Audio Spectrogram Transformer 架构的语音质量评价模型，在多个合成语音数据集上预训练完成。输入语音经过 Mel 频谱图转换后送入模型，各层 Transformer 的注意力权重矩阵被完整保留，作为后续显著性计算的原材料。与此同时，WhisperX 对同一段语音执行音素对齐，输出每个音素的起止时间戳，形成一组精确的时间锚点。

3.2 三种显著性图的计算策略

框架支持三种可切换的显著性方法：

• 注意力回滚（Attention Rollout）：通过递归矩阵乘法将多层注意力权重线性组合，生成输入 token 对最终预测的贡献分布。这种方法假设注意力在层间线性传播，计算效率高，但可能高估浅层 token 的重要性。
• 注意力流（Attention Flow）：将多层注意力视为有向图中的信息流，使用最大流算法计算任意两个 token 之间的信息传递强度，能更精细地刻画非线性的跨层交互。
• 改编 GradCAM：针对频谱图二维结构的特殊性修改了原始 GradCAM 的梯度聚合方式。对于 Mel 频谱图在频率轴和时间轴上的不对称性，改编版在时间轴上做全局平均池化前先对频率维度加权，保留了对伪影频带分布的敏感性。

3.3 从稀疏响应到可解释诊断图

原始显著性图在时间轴上往往是稀疏且不连续的——某些帧响应极强，相邻帧却近乎为零。这种形态不便于与人类听音者的连续感知做比较。为解决这一问题，研究团队引入核密度估计（KDE），以高斯核将离散的帧级显著性值平滑为连续时间分布曲线。进一步地，利用 WhisperX 生成的音素边界，将连续分布按音素区间积分，得到音素离散化的伪影指示图。最终输出的诊断结果可以精确到“/t/音素在 1.23-1.35 秒处存在 0.72 的伪影概率”。

四、实验与结果：谁在哪种伪影上更敏锐

评估实验设计得相当扎实。40 名参与者听取覆盖 5 个感知维度（电子噪声、频谱断裂、共振峰扭曲、喉化音质、混叠失真）的合成语音片段，使用标注工具在时间轴上标记自己感知到的伪影位置。以听音者标注的聚合热点作为“伪影真实分布”，与各显著性方法输出的时间分布计算相关系数。

实验结果揭示了不同方法之间存在明确的类型适配性：

显著性方法	最佳适用场景	关键指标
注意力回滚	音素离散化任务	平均相关系数 0.38
注意力流	连续 KDE 分布	整体相关性最优
改编 GradCAM	电子噪声类伪影	AUC 达 0.72

AUC-ROC 分析覆盖了所有方法-维度组合，结果一致表明检测能力显著超越随机机会（p<0.01）。值得注意的是，改编 GradCAM 在电子噪声这类具有明确频带能量特征的伪影上表现突出——AUC 达到 0.72，说明基于梯度的定位策略对频谱层面的异常更敏感。而注意力流在连续分布任务上的优势则表明，基于图的信息流建模能更自然地捕捉人类感知中“伪影逐渐浮现又消退”的连续特性。

音素离散化带来的另一个好处是诊断粒度的可控性。工程师可以根据需求在“帧级精细度”和“音素级可读性”之间切换，这在语音识别公司如何让产线质检长出“耳朵”？声学检测方案落地拆解所描述的实际工程场景中尤为重要——产线环境下的音频异常往往需要既精确又易于理解的归因报告。

五、创新点与工程价值

XSQ-AST 的核心创新在于完成了一次“技术嫁接”：将 Transformer 可解释性工具与音素对齐技术结合，解决了合成语音检测领域中长期悬置的时间定位问题。此前，无论是基于 WaveNet 的检测器还是基于 Wav2Vec 2.0 的分类器，都只能回答“这段语音是否含有伪影”，而无法回答“伪影在哪个音素上、持续了多久”。

三个工程层面的优势使这套框架具备直接的落地潜力：

• 零额外标注成本：框架完全基于预训练模型，不需要针对特定伪影类型收集标注数据或进行微调。这对于快速迭代的 TTS 系统开发尤为重要——模型版本更新后，诊断流水线无需重新训练即可继续工作。
• 多维显著性聚合：通过支持三种显著性方法并可灵活切换，框架适应了不同伪影类型的检测需求。工程师可以根据当前排查的伪影类型选择最适配的方法，或同时运行多种方法进行交叉验证。
• 可嵌入自动化流水线：输出的音素级伪影概率可以直接作为下游模块的输入——比如触发特定频段的滤波补偿，或标记训练数据中的问题样本进行重标注。

在语音合成质量评估从“评分”走向“诊断”的趋势下，这类可解释框架的价值会愈发凸显。研究者明确指出代码将开源，这将进一步降低社区采用的门槛。

六、我们的思考：从合成语音诊断到声学检测流水线

南京昱声科技在机器人语音交互和工业声学检测场景中，常遇到一个与论文高度相关的痛点：经降噪或增强处理后的语音信号，可能在局部出现频谱断裂或共振峰扭曲，而传统的全局信噪比或 PESQ 指标无法定位这些异常的具体位置。XSQ-AST 提供了一条不依赖额外标注的轻量诊断路径。

具体而言，机器人语音交互公司如何破解工业声学检测与机器人远场交互难题？ 中提到的远场拾音和降噪链路，往往涉及多级信号处理模块的串联。某个模块的参数不当可能导致特定频段在特定时间段出现过度抑制——例如降噪算法在清辅音段误判为噪声而切除高频成分。将 WhisperX 音素对齐的思路嵌入现有声学检测流水线后，可以对 TTS 前端输出的异常或唤醒词响应失真进行字级甚至音素级的归因分析。当终端用户反馈“机器人偶尔在某个词上声音发闷”，工程师可以回溯到对应音素段的频谱特征，结合显著性图判断是否源于降噪模块的过处理。

更长远来看，这类可解释诊断框架与产线音频质检场景的结合也值得探索。在电机异响检测或机械故障声学预警中，异常声音往往耦合在正常运转的背景噪声中，呈现出类似合成语音伪影的“局部出现、特定频带分布”特征。将 XSQ-AST 的显著性分析方法适配到工业声学场景，有望实现从“检测到异常”到“定位异常发生的精确时段并描述其特征”的升级，减少人工复核成本，提升故障定位效率。

原文链接：https://arxiv.org/abs/2609.24770

作者：Ben Heritage; Luca Resti; Mónica Villanueva Aylagas; Timothy Mehlenbacher; Konrad Tollmar; James Alfred Walker

发布日期：2026-09-21T15:38:11Z

收录：ICASSP 2027