前沿语音技术：协作多智能体强化学习驱动的非IID数据半监督联邦学习自适应聚合

1. 论文速览

这篇被 ICASSP 2026 收录的论文提出了一种名为 pFedMARL（personalized Federated Multi-Agent Reinforcement Learning）的新方法，核心思路是将多智能体强化学习（MARL）与 TD3（Twin Delayed Deep Deterministic Policy Gradient）算法结合，动态调整联邦学习中的聚合策略。与传统的联邦平均（FedAvg）固定权重聚合不同，pFedMARL 在服务器端和客户端各部署一个智能体，通过持续交互学习最优的聚合权重和个性化更新策略。

论文聚焦于半监督音频频谱变换器（AST）训练任务，在多种非独立同分布（非IID）场景下进行验证。实验结果显示，pFedMARL 在准确率上最高可提升约 5 个百分点，同时在抗对抗攻击能力和模型公平性（各客户端准确率标准差降低）方面均显著优于 FedAvg、Ditto 及纯本地训练方法。该方法无需预训练，可直接部署于真实异构环境。

2. 研究背景与挑战

联邦学习（Federated Learning）的设计初衷是在保护数据隐私的前提下实现分布式模型训练，各客户端数据不出本地，仅上传模型更新。但现实场景中，客户端数据分布往往是非IID的——不同设备采集的数据在类别比例、特征分布上存在显著差异。这种异构性会导致全局模型向数据量大的客户端倾斜，产生严重的模型偏差，最终降低整体性能。

传统的 FedAvg 算法对所有客户端更新进行等权或按数据量加权平均，这种固定权重聚合策略无法感知各客户端更新对全局模型的实际贡献差异。当某些客户端数据分布严重偏离整体时，其更新可能将全局模型拉向错误方向。此外，半监督学习虽然缓解了标注成本压力，但在非IID 场景下，未标注数据的分布差异会进一步加剧模型漂移，使得全局模型一致性更难保证。Ditto 等方法虽然引入了个性化机制，但其权衡参数需人工设定，缺乏自适应能力。

3. 核心方法

pFedMARL 的架构设计分为两个协同优化的智能体层级，均采用 TD3 算法——一种基于策略梯度（Policy Gradient）的确定性策略强化学习方法，通过双 Q 网络和目标策略平滑来缓解过估计问题。

服务器端代理的核心任务是动态调整各客户端在全局模型聚合中的贡献权重。该代理将当前全局模型状态、各客户端上传的更新方向及历史性能记录作为状态输入，输出一个权重向量，决定每个客户端在聚合中所占的比重。奖励函数设计为全局模型在验证集上的准确率提升，使代理学会识别并抑制低质量或恶意更新，优先采纳有助于提升全局鲁棒性的客户端贡献。

客户端代理则负责平衡全局模型与本地更新，实现个性化模型。每个客户端代理观察本地数据分布、全局模型参数与本地模型参数的差异，输出一个混合系数，决定本地训练时保留多少全局信息、加入多少本地特化。该代理的奖励函数综合考虑本地准确率和与全局模型的一致性，在不牺牲协作优势的前提下实现个性化适配。整个过程无需任何预训练步骤，代理从零开始在线学习。

此外，在半监督 AST 训练中，pFedMARL 还引入了一致性正则化机制，对未标注数据施加扰动后要求模型输出保持一致，进一步提升了非IID 数据下的学习稳定性和泛化能力。

4. 实验与结果

论文在多个维度上进行了系统性评估。数据分布采用狄利克雷分布（Dirichlet distribution）模拟不同程度的非IID 场景，从轻微异构到极度偏斜（α 值从 0.1 到 1.0），覆盖了实际部署中可能遇到的各种情况。对比基线包括 FedAvg、Ditto 和纯本地训练，评估指标涵盖全局准确率、个性化准确率、鲁棒性及公平性。

在标准非IID 设置下，pFedMARL 的全局模型准确率较 FedAvg 最高提升约 5 个百分点，较 Ditto 也有约 3 个百分点的优势。更关键的是，当引入对抗客户端（上传随机梯度或反转梯度）时，FedAvg 的准确率急剧下降超过 15 个百分点，而 pFedMARL 仅下降不到 3 个百分点，展现出极强的对抗鲁棒性。在公平性方面，pFedMARL 将各客户端准确率的标准差降低了约 40%，意味着模型在不同客户端上的表现更加均衡，不会出现某些客户端性能极差的情况。

消融实验进一步验证了服务器端代理和客户端代理各自的作用：单独启用服务器端代理可提升全局鲁棒性但个性化能力有限，单独启用客户端代理虽有良好个性化效果但全局一致性受损，两者协同后达到最优平衡。

5. 创新点与工程价值

这项工作的核心创新在于首次将多智能体强化学习引入联邦学习的自适应聚合，实现了服务器端与客户端的双端协同优化。此前的方法要么聚焦于服务器端聚合策略改进，要么专注于客户端个性化，缺乏一个统一的框架同时处理两个层面的动态适应问题。pFedMARL 通过 TD3 算法将这两者统一为协作式决策过程，思路清晰且实用性强。

从工程角度看，该方法具有几个显著优势。第一，无需预训练，代理从零开始在线学习，降低部署门槛。第二，服务器端代理能有效识别并抑制恶意客户端，这对于在不可信环境下部署联邦学习系统至关重要——例如多租户的云端声学模型训练平台。第三，同时提升全局模型鲁棒性和客户端个性化性能，意味着同一个框架既适用于需要统一模型的场景（如大规模语音识别），也适用于需要个性化适配的场景（如个人降噪偏好）。

对于真实的分布式声学模型部署，该方法的自适应特性使其能应对客户端数据分布随时间动态变化的情况，代理可持续调整策略，无需人工干预重新调参。

6. 我们的思考

在机器人语音交互场景中，不同机器人的麦克风阵列配置、部署环境噪声特性以及交互对象的口音、语速分布高度非IID。传统做法通常是对每个机器人单独微调模型，成本高且难以维护。利用 pFedMARL 的自适应聚合机制，可以在保护用户隐私的前提下，让多台机器人协同训练一个共享声学模型，同时每台机器人保留个性化适配能力。例如，语音识别公司怎么选？2025选型指南与关键参数对比 中提到的远场拾音挑战，正可通过此类方法进行针对性优化。

在声学检测领域，如工厂设备异常监测，不同产线或不同型号设备采集的音频信号在频谱特征、噪声模式上差异显著，标注数据稀缺。联邦学习与半监督机制的结合可大幅减少标注成本，而自适应聚合能确保模型在数据分布差异大的站点间保持良好泛化。这与前沿语音技术：基于说话人日志的转录校正抑制级联多说话人ASR的说话人泄漏 中涉及的复杂声学场景处理有相通之处，都要求模型在非理想条件下保持鲁棒性。

在个性化降噪任务中，用户对降噪强度的偏好各不相同——有人希望完全消除背景声，有人则需要保留部分环境感知。pFedMARL 的客户端代理机制恰好能平衡全局降噪效果与用户个人偏好，无需为每个用户从头训练模型。同样，在产线音频质检中，不同产品的合格/缺陷音频样本分布极不均衡，该方法可帮助各质检节点在保持全局一致性的同时适应本地产品特性，提升整体检测准确率。

南京昱声科技在远场拾音、麦克风阵列处理和声学检测方面有深厚积累，这类自适应聚合方法为分布式声学模型部署提供了新的技术路径，值得在工程实践中深入探索。

原文链接：https://arxiv.org/abs/2608.25794

作者：Rene Glitza; Luca Becker; Rainer Martin

发布日期：2026-08-26T13:46:43Z

收录：ICASSP 2026