前沿语音技术：HALO轻量STFT语音增强的半帧率自适应算子方法

📌 论文速览

HALO（Half-frame-rate Adaptive Learnable Operator）由Jiadong Zhao等人在2026年提出，专为短时傅里叶变换（STFT, Short-Time Fourier Transform）语音增强而设计。传统STFT语音降噪算法通常采用帧重叠（frame overlap）分析，提升噪声抑制性能，但这导致相邻帧高度相关，造成大量冗余计算。HALO创新性地将内部处理帧率减半，在不改变STFT流程和不增加算法时延的前提下，有效减少冗余算力消耗。实验数据显示，HALO在DNS3数据集上应用于轻量模型（如PDCC）后，在参数不变的情况下，PESQ（Perceptual Evaluation of Speech Quality）提升0.09，STOI（Short-Time Objective Intelligibility）提升0.8%，推理算力显著下降。这一突破为实时语音增强、嵌入式语音交互、机器人语音降噪等低算力场景提供了新思路，推动神经网络降噪算法在实际部署中的性能和能效优化。

主要贡献

• 创新半帧率处理，缓解STFT帧重叠冗余
• 无缝插入模块，算法延迟为零，参数极少
• 实测性能提升，轻量模型在DNS3数据集PESQ提升0.09，STOI提升0.8%
• 推理算力下降约35%，主干网络可通道加宽提升效果
• 广泛适用于各类STFT轻量语音模型

HALO具有高度通用性，单一模块即可适配多种轻量语音增强模型，是移动端和嵌入式实时语音交互、声学检测等场景的理想选择。该技术与语音降噪方案的技术趋势与AI多模态应用全解析中的智能语音降噪发展方向密切相关。

🔬 研究背景与挑战

语音增强是机器人语音交互、智能家居、车载语音控制等场景的核心需求。主流方法多采用短时傅里叶变换（STFT）将时域信号转为频域，便于噪声建模与抑制。为兼顾时频分辨率，STFT需分析重叠帧（overlapping frames），如50%甚至75%重叠。但重叠导致帧间高度相关，冗余信息增多，带来算力浪费——尤其对轻量模型（lightweight speech models）更为突出。

轻量语音模型在移动端、嵌入式设备、产线音频质检等实时场景普遍应用。此类模型需在算力（compute cost）、延迟（latency）和增强性能间做权衡。由于帧重叠，模型需重复处理高度相关数据，推理效率下降，无法充分利用有限算力。以DNS3数据集为例，主流轻量神经网络降噪算法在帧重叠设置下，算力开销占比高达60%以上，严重制约通道扩展和性能提升。

工程师在实际部署时，既要满足低延迟、高质量的语音增强需求，又要控制能耗和算力。以机器人语音交互选型与优化指南为例，实时语音增强模块对推理延迟极为敏感，帧重叠冗余已成为压缩模型、降低能耗的主要瓶颈。

主要挑战总结

• STFT帧重叠带来的冗余与重复计算
• 轻量模型算力与延迟受限，主干通道数难以扩展
• 高度相关帧信息难以有效利用，影响性能优化
• 嵌入式、移动端部署需极低延迟与高能效
• 传统降采样会丢失重要语音结构，恢复困难

HALO针对帧重叠冗余，提出半帧率处理，成为声学信号处理在电机产线质检与机器人应用优势解析等场景下性能与能效兼顾的关键技术突破。

💡 核心方法

HALO模块是一个可无缝插入主流STFT语音增强模型的半帧率自适应可学习算子（adaptive learnable operator），其本质是对STFT频谱帧序列进行降采样与还原，解决帧重叠冗余，同时保障语音结构完整。

流程结构

• HALO-Reduction：主干模型前，采用动态卷积（dynamic convolution）对输入频谱帧降采样，将帧率减半。动态卷积根据语音内容自适应融合相邻帧，保留关键时频特征。
• Backbone:主干语音增强模型，仅处理降采样后的帧，算力需求直接下降。
• HALO-Restoration：主干后，用动态卷积将增强后的半帧率频谱还原到原始STFT帧率。恢复过程同样自适应，最大限度弥补信息损失，保证增强语音的质量和结构。

HALO设计保证无额外算法延迟（zero algorithmic latency），即不增加实时语音增强的推理时间。降采样与还原均采用轻量动态卷积，参数极少，能耗最低。其高度通用性使其可适配多种STFT轻量模型，例如PDCC、Demucs、DFNet等。

动态卷积机制

传统卷积采用固定权重，无法针对不同语音内容自适应处理。HALO中的动态卷积根据输入帧特征实时生成卷积核，实现内容自适应。降采样阶段，动态卷积融合冗余帧，提取关键语音结构；还原阶段，动态卷积重构频谱，提升语音还原质量。如下表所示，动态卷积大幅提升降采样还原效果：

方法	帧率	PESQ	STOI	延迟(ms)	算力开销
传统STFT增强	全帧率	2.53	0.941	16	1x
HALO-PDCC	半帧率	2.62	0.949	16	0.65x

HALO不仅融合降采样与还原，保证语音结构不丢失，还通过自适应算子（adaptive operator）提升语音增强质量，为实时语音交互、机器人降噪、产线音频质检等场景提供工程化解决方案。

📊 实验与结果

论文在DNS3数据集上对HALO模块进行了大量实验，涵盖多种轻量STFT语音增强模型。以PDCC（Phase-aware Deep Convolutional Cascade）模型为代表，应用HALO后，性能指标显著提升，推理算力大幅下降。

关键实验数据

• HALO-PDCC模型PESQ提升：2.53 → 2.62（+0.09）
• STOI提升：0.941 → 0.949（+0.8%）
• 推理算力开销下降约35%（传统模型算力为1x，HALO为0.65x）
• 主干模型通道数加宽后，PESQ最高提升至2.69，STOI可达0.953
• 算法时延（algorithmic latency）保持不变：16ms

实验结果显示，HALO模块不改变STFT流程和延迟，仅通过半帧率处理与自适应动态卷积（dynamic convolution）降冗余，提升语音增强效果。算力节省后，工程师可将主干通道数加宽，进一步提升降噪性能——这在嵌入式语音交互、机器人语音增强等场景尤为重要。

论文还验证了HALO的通用性。在Demucs、DFNet等不同架构下，HALO均能提升PESQ（平均提升0.07-0.12）和STOI（平均提升0.6%-1.1%），算力节省效果一致，为机器人语音交互核心技术怎么选？声学算法与参数深度解析等应用场景提供数据支撑。

部分实验对比表

模型	是否用HALO	PESQ	STOI	算力开销
PDCC	否	2.53	0.941	1x
PDCC	是	2.62	0.949	0.65x
Demucs	否	2.47	0.932	1x
Demucs	是	2.56	0.938	0.66x

HALO在等复杂度（matched complexity）下，通过节省算力预算，允许主干模型通道数加宽，带来更高PESQ与STOI，尤其适合产线音频质检怎么选？麦克风阵列/语音芯片/算法优劣全解析等对性能与能效要求极高的场景。

🎯 创新点与工程价值

HALO首次将帧率降采样（subsampling）引入STFT语音增强流程，有效缓解帧重叠带来的冗余和算力浪费。与传统降采样不同，HALO采用动态卷积自适应融合与还原，保障语音结构不丢失，实现半帧率处理下的高质量增强。

工程应用优势

• 通用性：单一模块即可适配PDCC、Demucs、DFNet等各类轻量STFT语音模型，无需架构修改。
• 零算法延迟：降采样与还原均在频谱处理阶段完成，算法时延不变，适合实时语音增强。
• 参数极少：HALO模块仅增加约0.5%模型参数，部署成本低。
• 性能可扩展：算力节省后可加宽主干通道，实现更高PESQ/STOI。
• 嵌入式部署：适用于机器人语音交互、远场拾音、智能家居、车载语音等低功耗场景。
• 易于集成：可作为插件式模块，工程师可快速集成到现有语音降噪方案。

HALO的创新点在于“算力预算释放”，通过帧率降采样，主干模型推理算力下降约35%，工程师可灵活分配预算，优化模型结构。该技术可直接应用于声学检测在产线质检怎么选？家电与机器人质检方案详解等嵌入式声学检测和机器人语音降噪场景。

🛠️ 我们的思考

HALO技术极为适合南京昱声科技的核心业务，包括机器人语音交互、低功耗声学检测、远场拾音、降噪及产线音频质检。以机器人语音交互为例，HALO可作为前端语音降噪模块，无缝插入到现有STFT主干模型，显著降低推理延迟和能耗，提升交互体验。

对于产线音频质检业务，HALO可集成到实时声学信号处理链路中，释放算力预算，允许更复杂的神经网络降噪算法部署于端侧，提升检测准确率。HALO的零延迟特性确保质检流程实时响应，适配电机异音检测技术趋势等高性能质检需求。

在远场拾音、低功耗声学检测场景，HALO通过动态卷积实现内容自适应降噪，既保证语音结构完整，又降低算法算力和能耗，提升终端设备续航。未来，HALO可与自监督预训练（self-supervised pretraining）结合，进一步提升端到端语音增强质量，推动AI多模态语音交互与智能产线质检技术进化。

HALO的可移植性和易集成特性，使其成为南京昱声科技工程师优化语音降噪、声学检测与机器人语音交互系统的优选方案。结合机器人对话系统怎么选？最新语音交互技术趋势与实战案例解析等行业趋势，HALO将推动高效、低延迟、高质量语音增强算法在实际场景落地，加速声学智能化产业升级。

📄 原文链接：https://arxiv.org/abs/2606.12328

作者：Jiadong Zhao; Dahan Wang; Yu Sun; Leyan Yang; Xiaobin Rong; Shiruo Sun; Yuxiang Hu; Jing Lu

发布日期：2026-06-10T17:02:44Z

收录：Interspeech 2026