1. 论文速览
这篇收录于 ICASSP 2027 的论文提出了一种完全无监督的瞬时相位与基频跟踪方法，内嵌于一个名为逆语音合成（Inverse Voice Synthesis）的源-滤波器神经声码器中。与以往需要外部基频（F0）标注或独立音高追踪器的方案不同，该方法从声门源激励的显式瞬时相位序列中直接求取瞬时频率，再通过统计聚合得到连续基频轨迹。在主客观评测中，重建语音的信号重建误差比（SRER）达到 8.1 dB，而同等条件下的 HiFi-GAN 等神经基线均呈现负值（低至 –0.5 dB 以下），证明模型能够实现精确的相位对齐重建。在 LM-SSD 数据集上，该方法恢复的 F0 总体准确率超越了所有对比方法，包括有监督的神经基频追踪器；声门闭合时刻（GCI）识别 F-measure 仅比有监督的 REAPER 低 0.53 个百分点，全程未使用任何 F0 标签。
2. 研究背景与挑战
神经声码器端到端地学习基频一直是一个棘手的问题。常见的频谱损失函数，如多尺度梅尔频谱误差，主要惩罚频域包络的偏差，对精细的周期性结构和相位关系只提供非常弱的监督信号。这使得模型难以自发形成稳定的 F0 内部表征，生成的波形往往存在随机的相位漂移，导致听觉上的粗糙感和信号重建指标恶化。因此，主流方案会引入额外的 F0 特征作为输入，或依赖独立的前端基频追踪器（如 CREPE、REAPER）提供条件信息。这带来了两个负担：一是增加了训练流程的复杂度和模块间的信息延迟，二是要求数据集必须包含可靠的音高标注，在低资源或弱监督场合难以部署。
源-滤波器模型天然将语音生成分解为声门激励与声道响应两部分，理论上更容易显式建模 F0。但经典实现多采用脉冲串或低阶合成，容易出现频谱混叠、相位不连续和“蜂鸣”般的机械音质。因此，如何在一个可微分、抗混叠的声门源上，利用波形损失自动发现基频轨迹，是该领域的重要突破点。
3. 核心方法
该工作的神经声码器采用逆语音合成框架，包含一个无混叠的加性声门源（alias‑free additive source）。它通过抗混叠谐波合成直接生成声门激励波形，每一个谐波分量的瞬时相位都被显式计算并累加，形成连续、无折叠的瞬时相位序列。随后，对瞬时相位进行一阶数值微分，即可得到以赫兹为单位的瞬时频率（instantaneous frequency），再使用池化操作（作者在论文中比对了均值与中值）从一帧内多个时刻的瞬时频率估计出当前帧的基频 F0。
训练时，波形损失仅作用于确定性谐波路径——即由源端激励产生的、不含随机噪声成分的那部分信号，从而迫使模型精确对准瞬时相位。同时，频谱损失（多尺度幅度谱与梅尔谱误差）覆盖全信号，保证频域包络的自然度。两个损失的协同使整个声码器在没有任何 F0 标签的前提下，学习到稳定的基频轨迹和与原始录音高度对齐的波形。这种设计巧妙地让发声过程的可解释性转为自监督信号，实现了端到端的无监督基频发现与跟踪。
4. 实验与结果
研究团队在 M4Singer（专业歌唱）和 LM-SSD（多说话人朗读）两个数据集上验证了方法。重点考察了三个维度：波形相位对齐质量、F0 估计精度以及 GCI 检测能力。
在相位对齐方面，以 SRER 来量化重建波形与原始波形在时间-幅度上的匹配程度。所提方法获得了 8.1 dB 的 SRER，而强基线 HiFi-GAN 在不提供外部 F0 时，SRER 仅约‑0.5 dB，对照组的神经源-滤波器模型（如 GOLF 的无监督版本）也为负值。这组对比清晰地表明，该声码器能够重建出相位一致的高保真波形，避免随机相位反转带来的波形抵消。当给 GOLF 提供真实 F0 时，其频谱失真略低于本文的无监督方案，但后者已极为接近，并在无外部信息条件下远胜所有基线。
F0 估计的评估更为亮眼。在 LM-SSD 上，模型自动恢复的基频轨迹在总体准确率（Gross Pitch Error, GPE 等综合指标）上超过了 CREPE、SPICE 等主流有监督神经追踪器，以及经典的 REAPER。这一结果在没有任何音高标注的情况下达成，证明了声门源微分策略的有效性。同时，GCI 检测的 F-measure 仅比专门训练的 REAPER 低 0.53 个百分点，这表明该方法对声门周期边界的捕捉已接近有监督方法的水准。
5. 创新点与工程价值
论文的核心创新在于首次将抗混叠加性源与瞬时相位数值微分结合，在声码器内部实现了端到端的无监督 F0 与 GCI 联合提取。这打破了“声码器依赖外部 F0”的长期范式，让训练流程变得极简化：数据无需任何韵律标注，可直接用于自监督预训练或低资源场景。
工程方面，该方法对实时语音合成、低码率编码和前端声学分析具有直接集成价值。例如，在语音合成中，一旦声码器内嵌了精确的相位跟踪，合成音高低起伏自然，且无需额外的 F0 预测模块，可降低整体推理延迟与模型尺寸。在语音编码中，与波形相位对齐的重建能避免常见的预回声噪声。更广义地，这种“以声门运动反推基频”的思路也可用于病理嗓音分析、歌唱评价调等辅助研究，推动语音技术向可解释、节能的方向演进。
6. 我们的思考
结合南京昱声科技在机器人语音交互、工业声学检测等方向的产品布局，这项工作的思路可以带来三个层面的启发。
第一，无监督 F0 跟踪能直接增强对话机器人的韵律感知与情感表达。传统的儿童陪伴或服务机器人需要依赖大量标注语料训练韵律模型，而该方案允许声码器在重建过程中自行发现基频走势，免去了前端音高追踪器和昂贵标注的开销。这与昱声科技在低资源儿童场景下的语音交互需求高度吻合，可参考案例语音识别公司是怎么搞定儿童机器人的？中关于语调自然的探讨。
第二，谐波相位对齐特性为远场拾音中的语音降噪提供了新途径。由于重建波形严格对齐激励相位，谐波结构得到强化，非谐波噪声成分在损失中被自然抑制。在机器人嘈杂环境或产线质检的音频前端中，这一特性可以充当一种内在的“谐波增强器”，配合机器人语音交互公司必读：大模型与端侧AI如何实现500ms全双工？中强调的端侧实时处理，有望在单通道拾音中提升信噪比。
第三，瞬时相位跟踪的思路可迁移到机械声学检测。旋转机械或传动系统的异常往往体现在振动信号相位的突变或跳变上。借助无混叠的瞬时相位估计，可以设计无监督的异常声学事件检测模型，类似前沿语音技术：COSED中跨域泛化的声学事件识别框架。昱声科技的产线音频质检方案可直接利用相位轨迹捕捉早期故障特征，降低对标注异常样本的依赖，构建更鲁棒的预测性维护系统。
原文链接：https://arxiv.org/abs/2610.03058
作者：Chin-Yun Yu; György Fazekas
发布日期：2026-10-02T09:42:25Z
收录：ICASSP 2027
相关问题解答
- 该方法在训练时需要F0标签或外部音高追踪器吗？
- 完全不需要。它利用波形级对齐信号隐式监督瞬时相位，F0是通过对模型输出的瞬时相位进行数值微分和统计聚合获得的，全程无监督。