前沿语音技术：云增强低算力多通道语音增强方法

1. 论文速览

这篇发表于 Interspeech 2026 的论文提出了一种云-端协同的语音增强框架，核心目标是让可穿戴设备在极低算力预算下获得接近服务器端大模型的语音增强效果。边缘设备算力通常被限制在 1 GFLOPs 以下，而服务器端模型动辄超过 10 GFLOPs，两者的性能差距一直难以弥合。

该框架通过三项互补技术实现了突破：延迟服务器输出作为额外输入、层间特征增强（Layerwise Feature Boosting）以及协作多通道维纳滤波（Collaborative Multichannel Wiener Filtering）。三者协同工作，让边缘模型能够有效利用服务器端的大模型知识。

在 CHiME-3 真实噪声场景下的实验结果显示，相比纯边缘基线，PESQ 从 2.32 提升至 2.59（+0.27），STOI 从 0.875 提升至 0.917（+4.2 个百分点），分别达到服务器模型性能的 91% 和 93%。更关键的是，额外计算开销仅约 0.5 GFLOPs，完全在低功耗设备的承受范围内。这个框架为实时通信场景中的语音增强提供了一条切实可行的部署路径。

2. 研究背景与挑战

可穿戴设备——TWS 耳机、智能眼镜、助听器——对实时语音通信的依赖越来越深。用户在嘈杂的街道、地铁或咖啡馆中通话，期望设备能实时剥离背景噪声，但现实是芯片算力通常被限制在 1 GFLOPs 以内，远不足以运行高性能的语音增强模型。

知识蒸馏（Knowledge Distillation）和知识增强（Knowledge Boosting）在计算机视觉领域取得了显著成效，但在语音增强任务中表现平平。原因在于语音信号高度动态，低算力模型难以有效吸收服务器端大模型的复杂表示，往往只能学到粗糙的近似，增益十分有限。

多通道信号处理原本是解决噪声问题的利器，波束成形（Beamforming）通过多麦克风阵列的空间选择性来抑制干扰。然而，传统波束成形需要估计噪声协方差矩阵和语音协方差矩阵，这些操作在低算力设备上执行开销极高，很多时候直接被放弃。如何在保留波束成形优势的同时降低计算负载，是工程上的核心难题。此外，前沿语音技术：基于模块化网络扩展的嵌入式关键词识别可扩展方法 也面临类似的嵌入式端算力受限问题，但该文通过模块化设计给出了另一种思路。

3. 核心方法

本文提出的框架本质上是一个“云-端流水线”：服务器端模型处理历史帧并生成增强信息，边缘模型利用这些信息进行当前帧的实时推理。由于服务器输出有约 50ms 的延迟，不影响实时性，但为边缘端提供了宝贵的先验知识。

第一项技术：延迟服务器输出作为额外输入。边缘模型接收两路信号：当前麦克风采集的原始音频，以及服务器端对历史帧（延迟约 50ms）的增强输出。这种拼接让边缘模型看到了“干净版本”的历史帧，相当于获得了一个参考信号，有助于更准确地估计当前帧的噪声成分。这项技术实现简单，但效果显著。

第二项技术：层间特征增强（Layerwise Feature Boosting）。服务器端模型在推理时保留中间层的特征表示，经过降维投影后传输到边缘端，注入边缘模型对应的中间层。这类似于在边缘模型训练或推理时给予“导航纠偏”，让每一层学到的特征尽量靠近服务器模型的鲁棒表示。与直接知识蒸馏不同，这种方式不要求边缘模型完全复制服务器模型的行为，而是通过中间引导来改善特征质量。

第三项技术：协作多通道维纳滤波。这是本框架最具创新性的部分。服务器端模型和边缘端模型各自估计噪声协方差矩阵和语音协方差矩阵，然后通过自适应权重来融合两份统计量。权重根据模型置信度动态调整——如果边缘端对当前帧的估计不确定性高，则更多地依赖服务器端的统计量。融合后的协方差矩阵用于维纳滤波，得到最终的多通道增强输出。该方案避免了边缘端单独计算高质量协方差矩阵的高昂开销，同时保留了波束成形的空间抑制能力。

4. 实验与结果

实验在 CHiME-3 数据集上进行，该数据集收录了真实公交、街道、咖啡馆等复杂噪声环境下的多通道录音。边缘模型是一个基于卷积循环网络（CRN）的轻量模型，算力仅 0.8 GFLOPs；服务器端模型则是大规模 Transformer，算力超过 10 GFLOPs。

下表汇总了主要性能指标：

模型配置	PESQ	STOI	计算量 (GFLOPs)
纯边缘基线	2.32	0.875	0.8
服务器端模型	2.84	0.986	>10
完整协同框架	2.59	0.917	1.3

完整框架的 PESQ 提升 0.27，STOI 提升 4.2 个百分点，分别达到服务器模型性能的 91% 和 93%。额外计算开销仅 0.5 GFLOPs，主要来自协方差矩阵融合操作，完全在可接受范围内。

消融实验进一步揭示了各项技术的贡献：延迟服务器输出单独带来约 0.08 PESQ 提升，层间特征增强贡献约 0.07 PESQ，而协作多通道维纳滤波贡献最大，高达 0.12 PESQ。三项技术叠加后的效果并非简单相加，而是产生了协同增益，说明它们从不同维度补充了边缘模型的能力。这一点与 前沿语音技术：基于谐波感知的残差分区训练策略HARP显著提升神经音频编解码器 中利用谐波结构提升编码质量的设计哲学有异曲同工之处，都是从信号特性出发挖掘额外增益。

5. 创新点与工程价值

本文首次将知识增强（Knowledge Boosting）成功应用于多通道语音增强，打破了该领域此前增益有限的僵局。三项技术从时序先验、中间特征引导、统计量融合三个维度充分利用服务器端信息，构成了一个完整的互补体系。

协作多通道维纳滤波是工程价值最高的创新点。传统需要在边缘端独立完成的协方差矩阵估计和波束成形计算，被拆解为边缘端轻量估计与服务器端高质量估计的加权融合。这种设计既降低了边缘端的计算压力，又保证了波束成形的空间选择性，在低算力平台上实现了过去难以实施的多通道处理。

从工程部署角度看，该框架仅需要约 50ms 延迟的服务器辅助信息传输，Wi-Fi 或低延迟蓝牙连接均可满足要求。对于 TWS 耳机、智能眼镜等实时通信设备，这一方案可以直接在现有硬件上部署，无需等待芯片算力的代际提升。此外，前沿语音技术：基于分层自监督世界模型的音乐共创智能体理解与生成 中探讨的分层表征思想，与本框架的层间特征增强存在方法学上的共鸣，都强调在不同抽象层级上传递结构化知识。

6. 我们的思考

南京昱声科技在机器人语音交互中面临的核心挑战与本文高度契合：机器人本体算力有限，但需要高精度降噪和远场拾音来保证指令识别和对话自然度。该云-端协同框架可以直接迁移到机器人场景——将机器人本地处理器作为边缘设备，云端服务器通过 Wi-Fi 或 5G 提供延迟辅助信息，在保持低本地算力开销的同时显著提升噪声环境下的语音质量。

针对声学检测场景，例如工业产线的异常声音监测，环境噪声往往复杂多变，本地轻量模型难以准确判别。层间特征增强技术提供了很好的借鉴：将服务器端预训练大模型在正常和异常音频上的中间特征表示，注入边缘端的轻量检测模型，引导其在低信噪比条件下学习更鲁棒的判别特征，有望大幅提升检测准确率。

协作多通道维纳滤波尤其适合机器人常见的环形麦克风阵列。机器人执行任务时，声源方向不断变化，需要自适应波束成形。传统方案要么在本地高成本计算协方差矩阵，要么牺牲波束质量。通过融合云端计算的统计量，机器人可以在不增加本地算力的情况下实现高质量的自适应波束成形，这对远场拾音和声源定位场景具有直接的应用价值。昱声科技在产线音频质检中的多麦克风采集方案，也可以借用这一思路，将协方差矩阵估计卸载到云端，降低边缘质检设备的硬件成本。

原文链接：https://arxiv.org/abs/2608.07423

作者：Xulin Fan; Juan Azcarreta; Ashutosh Pandey; Jesus Alvarez; Ke Tan; Jacob Donley; Ritwik Giri; Buye Xu

发布日期：2026-08-07T17:11:35Z

收录：Interspeech 2026