前沿语音技术：基于渐进知识蒸馏的因果Mamba实时语音增强模型

RT-SEMamba：实时语音增强的状态空间模型与渐进知识蒸馏

1. 论文速览

RT-SEMamba 是一种完全因果的语音增强（Speech Enhancement, SE）模型，构建在因果时频 Mamba 块之上。与 Transformer 自回归推理时键值缓存随序列长度线性增长不同，Mamba 每层仅传播固定大小的循环状态，使长时推理的内存与带宽开销保持恒定。

在 Voicebank-DEMAND 基准上，8 层 RT-SEMamba 在 25 ms 算法延迟约束下取得 3.32 PESQ（语音质量感知评估指标）。论文进一步设计渐进知识蒸馏（progressive knowledge distillation, KD）策略，把 8 层教师模型压缩为 1 层学生模型。

该学生模型 PESQ 达到 3.18，相比朴素 1 层基线的 3.06 提升 0.12，同时保持与基线相同的稳态实时因子（Real-Time Factor, RTF），推理速度是教师模型的 2.75 倍。结果显示状态空间模型结合渐进 KD 为实时 SE 提供了有竞争力的质量-延迟权衡。

2. 研究背景与挑战

实时语音增强必须在极低算法延迟（通常 25 ms 以内）和有限计算资源下运行。基于 Transformer 的模型虽然性能强，但自回归推理时键值缓存随序列长度线性增长，导致内存和带宽开销持续上升，不适合长时间流式处理。

相比之下，Mamba 等状态空间模型用固定大小的循环状态传播信息，单步计算成本不随时间步增加，天然适合流式推理。然而直接训练浅层模型（如 1 层）性能不足，容量受限导致 PESQ 明显下降。

因此需要知识蒸馏把深层教师的能力压缩到浅层学生，同时保持推理延迟和内存优势。这一挑战在嵌入式语音前端尤其突出，例如机器人麦克风阵列和多通道降噪系统需要在低算力平台上维持高语音质量。

3. 核心方法

模型架构上，RT-SEMamba 采用因果时频域处理：输入波形经短时傅里叶变换（STFT）得到复数谱，送入多个因果 Mamba 块。每个 Mamba 块在每一层维护固定大小的循环状态，不使用全局注意力，因此推理时内存占用为 O(1)，单步推理仅需更新状态。这种设计避免了键值缓存增长，也保证了 25 ms 延迟约束下的严格因果性。

渐进知识蒸馏策略分多阶段进行：先训练 8 层教师模型至收敛；随后逐步将教师知识迁移到 1 层学生模型。蒸馏损失同时约束复数谱输出——包括幅度和相位两个分支——以及中间层表示。

与仅匹配最终输出的传统 KD 相比，中间表示蒸馏提供了更细粒度的监督信号，能缓解浅层学生模型的欠拟合问题。多阶段设计逐步缩小教师与学生之间的容量差距，避免一次性蒸馏带来的信息损失。

这种对复数谱幅度与相位的联合约束，使学生在时频表示上更贴近教师，而不是只追求幅度谱的相似性。

4. 实验与结果

在 Voicebank-DEMAND 语音增强基准上，8 层 RT-SEMamba 在 25 ms 算法延迟约束下取得 3.32 PESQ，证明 Mamba 架构在实时约束下具备竞争力。为验证蒸馏效果，论文训练了朴素 1 层基线（PESQ 3.06）和渐进 KD 得到的 1 层学生（PESQ 3.18），提升 0.12。

两个 1 层模型具有相同的稳态 RTF，因此学生模型在推理速度上比 8 层教师快 2.75 倍，却保留了大部分质量增益。下表汇总关键数据：

模型	层数	PESQ	相对推理速度
8 层教师	8	3.32	1x
朴素 1 层基线	1	3.06	2.75x
KD 1 层学生	1	3.18	2.75x

这一结果表明，通过渐进 KD，1 层学生模型在几乎不增加推理成本的前提下，接近教师模型的语音质量。

5. 创新点与工程价值

RT-SEMamba 首次将 Mamba 状态空间模型用于完全因果的实时语音增强，避免了键值缓存随序列增长，内存带宽占用恒定，适合长时流式处理。渐进知识蒸馏策略成功把 8 层教师压缩到 1 层学生，在 25 ms 延迟约束下 PESQ 仅下降 0.14，同时获得 2.75 倍加速，为边缘设备部署提供了实用路线。

与前沿语音技术：基于模块化网络扩展的嵌入式关键词识别可扩展方法类似，通过结构压缩和知识迁移降低计算负担，但 RT-SEMamba 针对复数谱语音增强给出了新的状态空间方案。因果卷积与固定状态组合使模型天然适配流式推理，避免了未来缓存溢出或延迟累积问题。

6. 我们的思考

南京昱声科技的业务场景——机器人语音交互、声学检测、降噪、远场拾音、产线音频质检——普遍要求低延迟、低功耗且稳定的前端处理。Mamba 的固定大小循环状态正好契合嵌入式平台限制：机器人麦克风阵列前端可以在 DSP 或低算力 SoC 上维持恒定内存，不必为长对话或连续质检音频预留不断增长的键值缓存。

渐进蒸馏思路可直接用于压缩我们现有的降噪模型：保留教师模型在复杂声学环境下的幅度与相位估计能力，蒸馏到轻量学生模型，在保持 PESQ 的同时显著降低计算量，提升多通道处理实时性。相关多通道低算力方案如前沿语音技术：云增强低算力多通道语音增强方法已经展示了计算分层思路，RT-SEMamba 可与之结合：云端训练大规模 Mamba 教师，边缘部署蒸馏后的因果 Mamba 学生。

未来可探索将 Mamba 与多通道空间滤波联合建模，用状态空间结构同时处理时频和时间序列依赖，进一步压缩多通道降噪和远场拾音系统的资源占用。对于产线音频质检，固定状态推理还能保证长时间连续录音分析时延迟不漂移，适合 24 小时运行的质检流水线。

原文链接：https://arxiv.org/abs/2608.12099

作者：Rong Chao; Sung-Feng Huang; Moreno La Quatra; Sabato Marco Siniscalchi; Wen-Huang Cheng; Szu-Wei Fu; Yu Tsao

发布日期：2026-08-12T14:21:05Z

收录：INTERSPEECH 2026