1. 论文速览
ICASSP 2027 收录的这篇论文提出了首个听觉电生理基础模型——一个端到端的深度神经网络，能够直接从双耳声波预测整个听觉通路的连续高采样率脑电（EEG）信号。作者 Thomas J. Stoll 和 Ross K. Maddox 训练了一个因果卷积网络，将双耳音频波形映射到多通道头皮 EEG 电压，跨越从脑干到皮层的多个神经层级，无需事先提取诱发反应或平均。
训练集规模可观：采集了 92 名被试约 250 小时的 EEG 数据，涵盖 tonebursts、语音和音乐等多种刺激，且电极排布在不同实验中并不统一。模型将不同电极帽通过球面插值对齐到标准头表位置，从而统一输出 128 通道、500 Hz 采样率的连续脑电响应。研究团队以三项经典听觉电生理指标检验模型泛化能力：听觉脑干反应（ABR）、连续语音下的时间响应函数（TRF）以及短声诱发的双耳交互成分（BIC）。单一模型在所有任务上均复现了已知的生理形态和刺激效应，模型多被试总平均响应与真实被试响应的相关系数落入个体间变异的分布之内，BIC 的波幅和潜伏期也与文献报道高度吻合。这种跨范式、跨时间尺度的统一预测能力，标志着脑电响应建模从“一个反应一个模型”走向通用基础模型。
2. 研究背景与挑战
计算听觉模型长期受困于碎片化：一种模型常针对某一特定听觉诱发反应（如 ABR 的波 V 或皮层 P1-N1-P2 复合波）设计，要么聚焦脑干，要么只研究皮层，很难将不同实验范式下的发现统一在同一个框架内。这阻碍了系统性整合——例如，脑干的快速时间处理与皮层的慢时程整合本属同一听觉通路，却需要用完全不同的数学模型分别描述。
时间尺度的跨度是核心难点。脑干反应涉及亚毫秒级的时间精度（波 V 潜伏期约 5–6 ms），而皮层 TRF 的 N1、P2 成分则延伸到 100–300 ms。传统模型依赖平均诱发反应来克服背景 EEG 噪声，丢失了刺激间的动态变化，也难以从任意声音输入直接生成连续 EEG 预测。这限制了模型在真实场景中的应用——比如实时评估一段语音或音乐对神经编码的即时影响。此外，现有研究通常单独分析单耳或双耳线索，而双耳听觉整合机制（如 BIC）对空间听力至关重要，单一模型若能同时捕捉这些成分，才能称为真正的“基础模型”。
3. 核心方法
模型结构基于因果卷积神经网络，确保输出仅依赖过去的音频输入，可实现逐样本实时推理。可以将其理解为一种特殊的时序卷积架构（类似 WaveNet），通过多尺度扩张卷积来同时捕捉极短和极长的时间依赖关系：浅层小感受野对应脑干的 <1 ms 级动态，深层大感受野覆盖皮层数百毫秒的整合窗口。输入是左右耳两路音频波形（重采样到与 EEG 相同的 500 Hz），输出为 128 通道的高采样率 EEG电压序列。
一个关键工程步骤是跨实验数据的电极统一化。不同实验使用了 32 导、64 导或 128 导电极帽，电极位置也有所不同。研究者将所有电极坐标通过球面 spline 插值映射到标准的 BioSemi 128 通道布局上，从而形成固定维度的输出张量。损失函数为均方误差（MSE），在约 250 小时的归一化 EEG 数据上进行训练。整个模型完全端到端，没有显式嵌入任何听觉外周模型或预定义的滤波阶段，完全从数据中学会从声学波形到神经电压的映射。这种设计使得模型天然成为一个可微分、可学习的“虚拟被试”，为后续听力技术研究提供了通用仿真平台。
4. 实验与结果
ABR 测试中，模型精确复现了刺激速率对波 V 潜伏期的经典效应。当短声（click）序列的重复率从 11.1 Hz 升高到 51.1 Hz 时，预测的波 V 潜伏期显著延长，增大幅度与真实人类数据一致。例如，在真实被试中速率引起的潜伏期移动约 1.5 ms，模型给出的总平均 ABR 也显示出同等尺寸的位移，且波形形态与主流文献的波形图高度相似。
对于连续语音刺激，研究者计算了预测 EEG 和真实 EEG 的 TRF。模型产生的皮层 TRF 清晰地显示出 N1（约 100 ms）和 P2（约 180 ms）等成分，其极性与潜伏期与人类数据吻合。关键量化指标是模型-总平均预测与实际 EEG 的 Pearson 相关：在被试间相关度分布中，中位数相关系数达到约 0.81，模型的预测值直接落入这一分布之内，表明单模型对群体均值的模拟已接近真实个体间的变异性。即，如果把模型当成一名新“被试”，其反应与其他真实被试没有显著差异。
双耳交互成分同样被有效重现。以短声诱发的 BIC 差波为例，模型预测的波幅约为 0.2 μV，与文献报道的 0.2–0.3 μV 区间一致，且波 III 附近的双耳差异波潜伏期偏移小于 1 ms。从头至尾，单一模型无需任何针对特定范式的微调，在 ABR、TRF 和 BIC 三项电生理标志上均表现出跨范式泛化——这意味着网络内部已经形成了对听觉通路逐级处理机制的某种隐式表征。
5. 创新点与工程价值
这项工作的核心贡献在于构建了首个跨层级、跨被试的听觉脑电响应基础模型。过去想要研究某声学参数对 ABR 的影响，必须设计实验、招募被试、采集并平均数据；如今同一模型可直接生成符合生理规律的波形，充当虚拟被试。这为高通量听觉实验打开了大门：研究人员可以先在模型上筛选声码器参数、降噪策略或压缩算法，再转入有限的人类实验进行验证，显著降低时间和经济成本。
模型的因果架构支持逐样本实时预测，这一特性对听力技术至关重要。例如，在助听器或人工耳蜗中，可以利用佩戴者自身的 EEG 或模型预测的未来神经响应，在线优化增益、降噪和方向性策略，形成闭环康复系统。这与智能语音公司怎么选？一文看懂机器人声学全栈方案中讨论的实时自适应信号处理理念相通。此外，基础模型可以作为标准化神经评估工具，用于对比不同音频编码格式或声场再现技术对语音感知神经通路的影响，不再仅依赖行为测听或主观评分。
从“一个反应一个模型”到单一网络预测多个层级反应，该工作打破持续数十年的碎片化现状，为计算听觉科学提供了一种可复用、可扩展的仿真基础设施。
6. 我们的思考
南京昱声科技在声学检测和机器人语音交互中积累了大量实际需求，这一基础模型恰好可以桥接至多个业务方向。首先，公司研发的降噪算法和远场拾音方案多用于工业产线噪声环境，传统评价依赖信噪比提升或语音识别率，但未触及听觉系统真实感受。我们可以将该模型作为客观评价器：将降噪前后的音频分别输入模型，预测出脑干和皮层的连续脑电，比较神经响应保真度。若观察到降噪处理使皮层 N1-P2 的 TRF 波形更接近原始干净语音的形态，或者 ABR 波 V 的时序抖动更低，就相当于为音质和可懂度提供了生物学标志物，这一思路与语音识别公司如何让产线质检长出“耳朵”？声学检测方案落地拆解中提到的客观质检理念一脉相承。
其次，在机器人语音交互中，我们可借助模型实时预测用户的听觉通路响应，间接推断聆听努力度或清晰度。当检测到皮层 TRF 成分的幅度下降或延迟增大，系统可自适应调整合成语音的语速、基频轮廓或增强降噪强度，优化人机交互体验。最后，昱声科技可利用历史积累的少量中国被试 EEG 数据对该预训练模型进行微调，构建本土化听觉神经仿真工具，用于声学检测产品的原型验证与效果预测。比如，在设计新的传声器阵列或密闭腔体声学结构时，无需频繁开展听感实验，即可快速预估不同方案对神经编码的影响，大幅缩短研发迭代周期。这将使公司在远场拾音、产线音频质检等领域建立起难以复制的技术壁垒。
原文链接：https://arxiv.org/abs/2609.20595
作者：Thomas J Stoll; Ross K Maddox
发布日期：2026-09-17T15:46:15Z
收录：ICASSP 2027
相关问题解答
- 这个模型能否用于实时语音交互场景？
- 可以。模型为因果结构，仅依赖过去声音样本，理论上可流式运行。实际部署时需优化推理引擎并控制处理延迟至数十毫秒以内，即可在机器人或听力设备中实时监控听觉神经状态。