前沿语音技术：基于谐波感知的残差分区训练策略HARP显著提升神经音频编解码器

1. 论文速览

神经音频编解码器（Neural Audio Codec）在语音通信、音乐流媒体和实时互动中扮演核心角色。HARP（Harmonic-Aware Residual Partitioning）提出了一种新的训练策略，专门解决残差向量量化（Residual Vector Quantization，RVQ）中长期存在的频谱纠缠问题。传统RVQ在训练时对所有频率一视同仁，导致码本（Codebook）中不同频率成分相互交织，一旦截断编码阶段，丢失的频谱信息完全不可预测。

HARP的核心思路是将RVQ的量化阶段按频率顺序分组：第一组专注低频，第二组覆盖中频，后续组逐步扩展到高频。每个分组在训练时被强制只重建其目标频带，而解码器（Decoder）始终保留所有更低频分组的量化索引，确保谐波在基频的上下文中恢复。这种设计使得码本学习过程自然形成了“由粗到精”的频谱构建机制。

该方案最吸引人的地方在于零推理成本——不需要修改任何编解码器架构，仅调整训练损失函数，推理阶段完全等同于标准RVQ。在语音、音乐和通用音频数据集上，MUSHRA主观测试得分均有显著提升：语音平均提升约3.5分，音乐平均提升约4.2分，通用音频平均提升约2.8分。对于谐波结构丰富的信号，改善尤为明显。这项工作是Interspeech 2026收录论文，为低码率音频编码提供了一个即插即用的优化方案。

2. 研究背景与挑战

现代神经音频编解码器普遍采用编码器-量化器-解码器架构。编码器将音频波形压缩为连续潜在表示（Latent Representation），随后由RVQ将其离散化为一系列码本索引。RVQ通过多个级联的量化阶段，逐层逼近原始信号，每个阶段使用独立的码本，上一阶段的残差成为下一阶段的输入。这种级联结构天然支持可变比特率——只需截断尾部阶段即可降低码率。

但问题恰恰出在这个截断机制上。标准RVQ训练时没有对码本施加频率选择性约束，导致每个码本向量都包含全频带的混合信息。当截断发生，被丢弃的不仅是“细节层”，而是随机分布在频谱上的各种频率成分。你可能同时丢失了低频的基频能量和高频的谐波细节，也可能只丢失了中频的共振峰信息。这种不可预测性严重损害了重建音频的感知质量，尤其在低码率场景下，语音的自然度和音乐的音色保真度急剧下降。

另一条技术路线是并行频带分解（Parallel Band Decomposition），将音频信号通过滤波器组拆分为多个独立子带，对每个子带分别编码和量化。这种方法虽然实现了精细的频带控制，但付出了高昂代价：潜在空间被碎片化，跨频率的相干性（Coherence）被破坏。语音和音乐中最重要的结构——基频与谐波之间的整数倍频关系——在独立编码后无法保证一致性。结果是，重建信号听起来“松散”，失去了原声的紧凑感和自然泛音结构。如何在保持谐波相干性的前提下实现频率有序的量化，成为提升编解码质量的关键瓶颈。

3. 核心方法

HARP的训练策略基于一个优雅的观察：音频信号的感知质量高度依赖于谐波结构的完整性，而谐波总是以基频为锚点向上延伸。如果让解码器在重建高频谐波时能够“看到”低频基频信息，就能维持这种结构约束。基于此，HARP将RVQ的N个量化阶段划分为K个频率有序的分组，每组负责特定的频带范围。

具体来说，假设共有8个量化阶段，可以分为3组：Group 1（阶段1-3）负责0-2kHz低频，Group 2（阶段4-6）负责2-8kHz中频，Group 3（阶段7-8）负责8kHz以上高频。训练的损失函数被修改为频率选择性损失（Frequency-Selective Loss）：对每个分组，施加一个仅作用于其目标频带的频谱损失（如多尺度梅尔频谱损失）或波形损失。总损失为各组损失的加权和。关键设计是，解码器在计算Group k的损失时，可以访问Group 1到Group k的所有量化索引，即高频谐波是在低频基频的上下文中重建的。

这种设计带来了两个效果。第一，编码器在训练中学会了将低频信息自动分配到早期量化阶段，高频细节自然沉积到后期阶段，形成隐式的频率分层。第二，解码器在重建高频成分时，始终以真实低频信息为条件，谐波结构得以保持。训练完成后，推理阶段无需任何特殊处理——所有阶段按序参与解码，码本已经内化了频率有序结构，无需显式频带拆分。整个方案不引入任何额外计算开销，也不改变网络拓扑，仅通过损失函数施加了谐波感知先验（Harmonic-Aware Prior）。

这种训练策略与前沿语音技术：剖析神经音频编解码器标记自监督学习的训练语言敏感性中讨论的码本学习问题形成互补，都是从训练目标优化角度提升编解码器表现。

4. 实验与结果

作者在三个代表性数据集上进行了系统评估：LibriTTS（语音）、MUSDB18（音乐）和AudioSet（通用音频）。基线方法包括标准RVQ和并行频带分解（Parallel Band），所有模型使用相同的编码器-解码器骨干网络和相同的总码率。客观指标覆盖了语音质量感知评估（PESQ）、短时客观可懂度（STOI）、虚拟语音质量客观评估器（ViSQOL）等。

实验数据清晰地展示了HARP的优势。在语音场景下，HARP的PESQ得分比标准RVQ高0.15分，比并行分解高0.09分；STOI指标提升幅度类似。音乐场景的差距更为显著，因为音乐信号富含谐波结构：HARP在ViSQOL音乐指标上比标准RVQ提升0.23分，比并行分解提升0.31分。通用音频场景下，提升幅度虽小但依然稳定。

MUSHRA听力测试的结果更具说服力。20名听音员参与盲测，评分区间0-100。HARP在语音类别获得平均78.5分，标准RVQ 75.0分，并行分解73.2分——HARP领先3.5个百分点。音乐类别的差距拉大到4.2个百分点，HARP 82.1分 vs 标准RVQ 77.9分。通用音频类别HARP提升2.8个百分点。所有差异均通过配对t检验，p值小于0.05。消融实验进一步验证了两个关键设计：频率有序分组和低频上下文保留，去掉任何一个都会导致MUSHRA得分显著下降2-3分。

值得一提的是，HARP在低码率场景（如1.5kbps）下的优势更为突出，这表明频谱解耦在极度压缩时价值最大。与前沿语音技术：个性化与文化适应的情感语音合成——交互式优化个体情感感知空间中强调的感知质量优化思路一致，HARP也是从感知最敏感的谐波结构入手改进。

5. 创新点与工程价值

HARP的创新性体现在三个层面。首先，首次在RVQ训练框架中引入频率有序分组与谐波感知先验，通过简单的损失函数修改实现了频谱解耦。这不同于以往需要显式频率分解的方案，无需滤波器组、子带编码器或多分支架构，保持了模型整洁性。其次，通过强制解码器保留低频上下文，解决了并行分解方法中跨频率相干性丢失的根本问题。第三，实现了“零成本”部署——训练好的模型与标准RVQ推理完全一致，可以直接替换现有编解码器而无需修改下游推理管线。

从工程角度看，HARP的价值尤为突出。在实时通信（RTC）场景中，低码率下的语音自然度一直是痛点。HARP可通过保留谐波结构显著提升合成语音的清晰度，而无需增加计算量，这对移动设备和边缘侧的语音交互至关重要。在语音合成（TTS）和音乐生成领域，编解码器作为中间表示直接影响生成质量，HARP训练的码本能更好地保留音色和泛音特征，使生成结果更自然。对于前沿语音技术：WeSep：模块化可组合提示的目标说话人提取框架这类需要精细频谱处理的任务，HARP提供的频率有序表示也能带来额外收益。

HARP的策略还与现有的其他改进方向叠加——例如更大的码本、更好的量化技术、更深的网络——因为它不改变架构，只改变训练目标。这种即插即用特性使其成为一项高度实用的基础技术。

6. 我们的思考

南京昱声科技在机器人语音交互业务中，长期面临低码率传输下语音自然度和可懂度下降的挑战。机器人与人对话时，语音需要经过编码、传输、解码流程，带宽受限时编码质量直接影响交互体验。HARP策略可轻松集成到现有声码器或编解码器训练流程中，通过保留谐波结构提升合成语音的清晰度，尤其对改善嘈杂环境下机器人语音的可懂度有直接帮助。

在声学检测和降噪业务中，HARP的思路同样具有启发意义。工业生产中的许多故障声——如电机异响、轴承磨损声、齿轮啮合异常——具有明显的谐波特征，其基频和倍频关系携带了故障类型和严重程度的关键信息。借鉴HARP的频率选择性损失思想，可设计更精细的频带处理模块，在保持信号整体相干性的同时，增强对特定频带异常模式的特征提取能力。对于降噪模型，也可引入类似的频率感知训练策略，优化对谐波成分的保护，避免传统降噪算法对语音泛音结构的过度损伤。

在产线音频质检场景中，产品的声音质量往往取决于特定频带的谐波完整性。HARP的理念提示我们，可以在训练质检模型时，对不同频带施加差异化的监督权重，让模型学会关注那些真正决定产品品质的频率成分，从而提升质检的准确率和鲁棒性。昱声科技在远场拾音、声学检测和机器人语音交互三条业务线上，都可以从HARP的频率有序表征和上下文保留策略中获得技术启发，将这些思想融入现有产品迭代中。

原文链接：https://arxiv.org/abs/2607.16657

作者：Qiaoyu Yang; Lixing He; Binyue Deng; Weifeng Zhao

发布日期：2026-07-18T06:24:59Z

收录：Interspeech 2026