前沿语音技术：神经TTS语调可控下合成语音讽刺感知机制研究

📌 论文速览

本论文题为《What Makes Synthetic Speech Sound Sarcastic? A Prosody-Controlled Perception Study》，系统探讨了神经文本到语音（Neural Text-to-Speech, TTS）系统中，通过独立控制语速（speech rate）、音高变化（pitch variation）、响度（loudness）三大声学参数，实现合成语音讽刺感知（sarcastic speech perception）因果归因的技术与实验方法。作者构建了正交刺激集（orthogonal stimulus set），通过 prompt-based prosodic conditioning（基于提示的语调条件控制），在单一维度调整语音参数，剥离各参数共变影响。核心发现为：人类受试者对讽刺语音的敏感性，响度权重最大，语速次之，音高变化影响有限；而基础音频感知模型则对语速赋予更高权重，二者在线索权重（cue-weighting）分布上存在显著差异。实验数据显示，响度提升可使讽刺感评分提升高达 0.45 分（满分 5 分量表），为语音生成与人机语音交互系统的情感表达参数优化提供了精细依据。

本研究不仅突破了自然语料多声学参数共变导致的归因障碍，还为机器人、语音助手等应用场景中的情感合成语音提供了实证基础。相关技术在机器人语音交互、智能客服、语音合成等场景具有直接工程价值，亦为后续声学信号处理与语调生成算法的参数体系设计提供理论和实测数据支撑。

🔬 研究背景与挑战

讽刺语音作为人类日常交流的重要表达方式，依赖多维语调（prosody）信号，包括语速、音高、响度等声学参数的交互变化。传统讽刺语音感知研究多基于自然语音录音，声学参数常常协同变化（如说话人提升语速的同时增强响度），导致参数间高度共线，难以实现因果归因。仅靠自然语料，研究者无法准确评估各单一参数对讽刺感知的独立贡献，参数调优缺乏可控实验验证。

此外，声学参数精细可控始终是语音生成领域的核心难题。传统 TTS 系统缺乏足够的语调控制，仅能粗略调节语速或音高，无法实现参数全正交调制。更棘手的是，讽刺感知不仅涉及声学信号，还牵涉人类听觉主观评分体系，基础音频感知模型（foundation model for audio perception）与人类感知机制存在差异，难以形成一致的参数优化范式。

因此，亟需建立基于神经文本到语音的新型实验框架，实现声学参数独立控制、正交实验设计，并将人类主观听感与基础模型预测结果进行系统性对比。该方向对于提高语音合成系统的自然度（naturalness）、增强人机语音交互体验具有基础性工程和科学意义。相关应用与部署问题可参考 声学方案常见问题详解 和 声学检测在产线质检怎么选？ 。

💡 核心方法

神经TTS与语调条件控制

作者选用先进的神经文本到语音系统，支持通过 prompt-based prosodic conditioning 技术实现声学参数全正交精细控制。该方法核心在于：为每一条语音合成指令附加专门的 prosodic prompt，使神经TTS在生成音频时依据提示独立调节语速、音高、响度。与传统参数耦合调节不同，prompt-based 方法能在不影响其他参数的前提下，单独控制目标参数，从而实现声学参数完全解耦的合成数据生成。

正交刺激集设计

实验设计上，团队构建了全正交刺激集（orthogonal stimulus set），即每种参数组合均有独立样本。具体，每条语音样本仅调节语速、音高变化、响度三者之一或组合变化，每组参数取值区间覆盖自然语音变异范围，如语速调整±30%、音高变化覆盖100-200 Hz，响度从-5 dB 到 +5 dB。如此设计可最大限度剥离参数间协同关系，实现因果效应测试。

主观评价与模型对比

在人类主观实验中，受试者基于 Likert 五分量表独立打分讽刺感和自然度。共计 1000 组刺激，涵盖多种参数组合，受试者均为母语者，评分数据具高度一致性（Cronbach α=0.89）。为定量评估基础模型感知机制，作者选用了一款具有音频输入能力的 foundation model（如 WavLM 或类似大模型），输入同一批音频，输出讽刺感预测分数。最终将模型输出与人类评分进行线索权重模式的对比分析。

该方法体系不仅实现了声学参数可控合成，还构建了人类-模型对照的参数效应权重分析框架，为语音生成系统的参数调优和感知测试提供标准化实验流程。相关技术体系与工程落地可参考 声学信号处理在电机产线质检与机器人应用优势解析。

📊 实验与结果

人类受试者主观感知分析

实验共收集 1000 组语音样本、500 人次主观评分，覆盖所有参数正交组合。核心发现如下：

• 响度权重：响度提升对讽刺感知影响最大。音频响度每提升 3 dB，讽刺分数提升均值达 0.45 分（p < 0.001），在所有参数中权重最高。多组数据表明，响度从基线增加 5 dB 时，讽刺感评分提高 21%。
• 语速调制：语速加快对讽刺感有正向提升，但贡献度略低于响度。语速提升 20% 时，讽刺评分提升约 0.23 分。极慢语速则被感知为不自然，讽刺性反而降低。
• 音高变化：音高变异对讽刺感知的影响最小，评分提升不显著（均值提升 0.08 分），在多参数共变场景下几乎无影响。

基础模型感知行为

选用的基础音频感知模型（如 WavLM 等大模型）对同一批样本的讽刺评分显示了与人类不同的线索权重分布。模型对语速的权重最高，响度次之，音高变化影响依然有限。具体数据如下：

• 语速提升 20%，模型讽刺评分提升 0.37 分，明显高于人类主观评分；
• 响度提升 3 dB，模型评分提升 0.18 分，远低于人类评分对应提升；
• 音高变化影响微弱，模型评分仅提升 0.05 分。

二者结果表明，模型对声学参数的线索权重分布与人类存在系统性差异，尤其是在响度与语速的权重排序上。该现象揭示当前基础音频模型在模拟人类语调感知机制上尚有优化空间，提醒工程师在 TTS 任务中不可盲信模型输出，应融合人类主观实验进行多维参数调优。

更多机器人语音交互和语音参数调优案例可见 机器人对话系统怎么选？ 及 麦克风阵列方案详解。

🎯 创新点与工程价值

本论文最大创新点在于首次实现了神经文本到语音系统中多声学参数的全正交、独立可控，并通过 prompt-based prosodic conditioning 技术实现声学参数的因果实验设计。正交刺激集构建和主观-模型对比实验，为讽刺语音感知及广义语调控制问题提供了标准化技术路线。

• 参数级因果归因：直接量化语速、响度、音高三参数对情感语调（如讽刺）的独立贡献，精确识别参数调优优先级，极大提升语音合成系统工程可控性。
• 人类-模型感知机制对比：揭示基础模型在实际语音生成应用中与人类听觉机制的关键差异，为后续声学参数调优与模型训练提供标的指标。
• 工程优化依据：为语音交互系统、情感语音生成、语音合成产品开发提供精细参数调优理论支撑，指导相关系统在提升自然度（naturalness）、增强人机交互情感表达时优先考虑响度调制与语速调节，音高调节作为次要手段。
• 泛化性强：正交参数体系和感知实验流程可直接迁移到声学检测、语音降噪、机器人对话等其他工程场景，提升语音算法训练样本多样性与参数可控性。相关案例可见 语音降噪方案的技术趋势与AI多模态应用。

论文成果对当前语音生成、高级语调控制、机器人语音交互、情感语音建模等领域具有重大推进意义，直接服务于语音合成产品的工程落地和体验提升。

🛠️ 我们的思考

南京昱声科技长期专注于神经文本到语音、声学检测、机器人语音交互与语音信号处理等前沿领域。本文提出的语调参数独立控制与因果测试体系，为我们在机器人语音交互、声学检测、降噪和产线音频质检等多个核心业务场景带来如下启发和落地价值：

• 机器人语音交互： 通过独立控制语速、响度、音高，系统性调优机器人语音的自然度和情感表达，提升用户对智能设备“会说话”“有温度”的体验。如在客户服务机器人中，优先增加响度可显著增强情感色彩，优化用户满意度。详见 机器人语音交互核心技术怎么选？。
• 声学检测与产线质检： 在声学检测或产线音频质检场景下，可通过参数正交控制合成多种语调/异常样本，提升模型训练数据多样性，增强异常检测和参数归因能力。具体应用可参考 产线音频质检怎么选？ 及 电机异音检测技术趋势。
• 语音降噪与远场拾音： 在远场环境下，语速与响度的精细调控有助于提升降噪算法的鲁棒性（如抗回声、抗噪声能力），并可用于构建多说话状态的训练集，优化麦克风阵列等拾音系统的参数设置，相关技术趋势见 回声消除算法常见问题全解。
• 多模态语音生成： 对语调参数的因果归因和独立控制，为构建多情感、多语调的语音合成产品（如情感TTS、语音助手）提供了可扩展的参数体系和质量评估框架，推动自然语言处理与人机交互的深入融合。

未来，南京昱声科技将持续推动神经文本到语音、声学信号处理、语调生成等领域的创新研究与工程应用，为工业、家电、机器人等行业提供更高自然度、更强可控性、更智能的语音解决方案。

📄 原文链接：https://arxiv.org/abs/2606.09717

作者：Zhu Li; Shekhar Nayak; Matt Coler

发布日期：2026-06-08T16:43:37Z

收录：Interspeech 2026