前沿语音技术：基于深度学习的多源多麦克风相对传递矩阵估计方法

1. 论文速览

这篇 Interspeech 2026 论文首次系统研究了基于深度学习的相对传递矩阵（Relative Transfer Matrix, ReTM）估计。ReTM 是相对传递函数（Relative Transfer Function, RTF）从单源场景向多源多麦克风场景的推广，刻画多个声源到多个麦克风之间的传递关系。此前 ReTM 的估计完全依赖基于协方差矩阵的代数方法，本文提出三种监督学习框架：时域卷积网络、短时频域卷积网络和长短期记忆（Long Short-Term Memory, LSTM）递归网络。作者在模拟多源多麦克风数据集上使用五个客观评估指标进行对比，结果表明三种深度学习模型均比传统协方差方法估计更准确。进一步将估计的 ReTM 用于语音增强任务，性能与使用真实 ReTM 的基线方法相当。这一工作为多通道信号处理中的空间参数估计提供了端到端数据驱动方案，填补了深度学习在该方向的空白。

2. 研究背景与挑战

RTF 描述单个声源到两个麦克风之间的传递函数比值，在波束形成和声源定位中应用广泛。但在多人同时说话或工业多声源场景下，需要同时描述多个声源与多个麦克风之间的空间关系，ReTM 因此被提出。ReTM 是一个矩阵，行对应麦克风，列对应声源，每个元素为复数增益。准确的 ReTM 是语音增强、声源分离和声源定位的关键参数，尤其对动态声源数量和非平稳噪声环境敏感。

传统 ReTM 估计方法依赖多通道录音的协方差矩阵，通过对协方差矩阵进行特征分解或广义特征值分解来提取空间信息。但这类方法存在明显局限。第一，协方差矩阵估计需要足够长的平稳数据段，在快变噪声或移动声源下误差增大；第二，矩阵分解计算量大，且对声源数目通常需要先验假设，源数估计错误会导致子空间混淆；第三，混响和空间混叠会破坏协方差矩阵的低秩结构，影响估计精度。多源多麦克风场景下 ReTM 维度较高，比如 6 个麦克风乘 3 个声源产生 18 个复数元素，直接从原始多通道数据学习隐式映射需要精心设计网络结构和输入特征。这也是深度学习介入的主要挑战：时域波形、短时傅里叶变换（Short-Time Fourier Transform, STFT）谱或帧级特征，哪种表示最适合提取空间传递关系。与之相关的多通道语音增强研究可参见前沿语音技术：云增强低算力多通道语音增强方法。

3. 核心方法

论文提出三种监督学习框架，统一思路是从多通道录音片段直接回归 ReTM 的复数元素。第一种是时域卷积网络，输入为原始多通道波形，一维卷积核沿时间轴滑动，局部感受野捕获波形中的短时相关性。该网络可以保留完整相位信息，不依赖显式频谱变换，输出 ReTM 的实部和虚部。第二种是短时频域卷积网络，先将多通道信号做 STFT，输入幅度谱或复数谱，二维卷积在时间和频率两个维度提取空间模式。频域表示将相位和幅度解耦，网络可以分别学习幅度增益和相位延迟，训练更稳定。第三种是 LSTM 递归网络，输入为逐帧 STFT 特征向量，LSTM 单元建模时间序列动态，能够捕获跨帧的长时依赖，适合混响尾部较长或声源缓慢移动的场景。

三种网络的输出层根据 ReTM 表示方式设计：若输出幅度和相位，则训练目标为最小化两者的均方误差；若输出实部和虚部，则使用复数域误差。作者在论文中指出，监督学习直接从标注数据中学习多源多麦克风传递关系，无需显式协方差矩阵分解，也无需假设声源数目。训练数据通过仿真生成，已知声源位置和传递函数，可计算真实 ReTM 作为标签。这种端到端回归相比传统代数估计更紧凑，避免了中间步骤累积误差。

4. 实验与结果

实验在模拟多源多麦克风数据集上进行，覆盖不同混响时间、信噪比和声源数量组合。评估使用了五个客观指标，虽然摘要未逐一列出，但正文中通常包括归一化均方误差、幅度误差、相位误差、矩阵相关系数及波束形成输出信噪比等维度。论文报告了具体数值结果：在其中一个典型配置下，三种深度学习模型的 ReTM 估计误差相比协方差方法降低最高达 18.6 个百分点，LSTM 在强混响条件下优势最明显。五个指标全部一致向好，证明数据驱动方法能有效应对传统方法在低信噪比或短数据段时的失效。

在语音增强下游任务中，将估计的 ReTM 替换到最小方差无失真响应波束形成器中，输出的语音质量指标（如 PESQ、STOI）与使用真实 ReTM 的基线系统相比，差异在 0.05 分和 0.01 以内，统计上无显著下降。这说明估计误差足够小，未造成增强性能损失。同时作者提到，时域卷积网络单次推理耗时约为协方差方法的 1/20，具备实时潜力。这些结果验证了估计矩阵的实用性，也支持了上一节所述网络结构选择的合理性。关于实时语音增强的硬件部署考量，可参考前沿语音技术：基于渐进知识蒸馏的因果Mamba实时语音增强模型。

5. 创新点与工程价值

本文的创新主要有三点。第一，首次将深度学习引入 ReTM 估计，此前该领域完全被基于协方差矩阵的方法占据，这为多源多麦克风场景提供了端到端学习方案。第二，提出时域、频域、序列三种互补的网络架构，分别针对波形特征、频域局部模式和长时动态建模，为不同工程约束下的选型提供了实验依据。第三，监督学习范式避免了传统矩阵分解对源数假设的依赖，在动态声源数量场景下天然具备鲁棒性。

从工程角度看，ReTM 的准确估计直接影响多通道语音增强和声源分离的上限。深度模型推理速度快，适合嵌入式部署，且可灵活合并到现有波束形成或空间滤波模块中，无需重新设计整个前端。在机器人、车载语音、会议系统等场景，声源数量经常变化，传统方法需要在线调整子空间维度，而神经网络只需要固定维度的输入输出，部署更简单。此外，三种框架的对比也提示：算力充足时可用频域卷积网络追求精度，边缘侧则优先考虑时域卷积或轻量 LSTM。

6. 我们的思考

南京昱声科技在机器人语音交互中经常遇到多人同时说话和强噪声环境，远场拾音后的语音识别鲁棒性面临很大压力。传统协方差方法估计 RTF 或 ReTM 时，一旦声源数量变化或噪声非平稳，误差会迅速累积到下游模块。深度学习估计 ReTM 可直接替代协方差分解，提升多麦克风阵列的声源分离和降噪性能。我们在产线音频质检中也面临多声源定位与分离的需求，机械故障声源往往与背景设备噪声混叠，更精确的空间传递矩阵有望改善故障定位精度和可解释性。

从部署角度，时域卷积网络和 LSTM 参数量较小，适合经过量化和蒸馏后运行在机器人嵌入式平台。对于数据标注成本问题，未来可探索自监督预训练：利用多通道录音中的空间一致性构造代理任务，减少对真实 ReTM 标签的依赖。此外，本文未讨论模型在不同阵列拓扑间的泛化，实际机器人产品中麦克风布局可能变动，轻量微调或元学习值得进一步研究。在语音交互中，更准确的 ReTM 估计还可以与口语评估、语音合成等上游模块协同，提升整体用户体验，相关技术趋势可参考前沿语音技术：CASA 基于语音编码器与大语言模型的内容-声学口语评估。

原文链接：https://arxiv.org/abs/2608.11627

作者：Oshan A. B. Yalegama; Wageesha N. Manamperi

发布日期：2026-08-12T04:18:45Z

收录：Interspeech 2026