前沿语音技术：CtrlSpeech：从粗粒度到细粒度的表现力语音合成控制

1. 论文速览

CtrlSpeech 是一个面向表现力语音合成的粗粒度到细粒度可控框架，被 Interspeech 2026 收录。它基于扩散变换器自回归（DiTAR）架构，将全局说话人嵌入与音素对齐的基频（pitch）、响度（loudness）和时长（duration）信号相结合，实现单词或音素级别的局部韵律控制，同时严格保持目标说话人的音色。

在 LibriTTS 数据集上的零样本语音克隆实验显示，CtrlSpeech 的自然度平均意见得分（MOS）达到 4.12，说话人相似度指标为 0.71，均与当前最优基线持平。韵律可控性评估中，音节级基频重构的均方根误差（RMSE）较基线降低 22%，主观偏好测试中 67% 的评测者更倾向于 CtrlSpeech 的可控合成结果。这些数据表明，该框架在不牺牲生成质量的前提下，实现了细粒度的表现力编辑。

CtrlSpeech 的提出，为语音合成中的可控生成开辟了新路径：用户只需设定全局风格，再对个别词或音素微调基频、响度或时长，即可让合成语音携带自然的强调、疑问或情感变化，无需重新训练模型。

2. 研究背景与挑战

当前文本到语音（TTS）系统已在自然度和零样本语音克隆上达到令人瞩目的水平，但细粒度表现力控制仍是瓶颈。大多数系统仅提供全局风格调节（如“更快乐”或“更慢”），难以精确编辑某个词的重音、音高或节奏，导致合成语音在情感表达上显得机械，缺乏自然的抑扬顿挫。

表现力语音合成需要同时处理两个相互制约的目标：保持说话人音色稳定，以及允许对韵律参数进行高风险编辑。主流的解耦方法往往在精细度和音色保真度之间顾此失彼——要么控制粒度太粗，要么在编辑局部基频时意外改变了说话人的声纹特征。用户无法方便地针对“把第三个词的重音提高一点”这样的需求进行修改，而这类需求在内容创作、语音助手等场景中极为常见。与个性化与文化适应的情感语音合成研究类似，表现力控制需要既能感知个体差异，又能进行高分辨率的编辑，但 CtrlSpeech 更聚焦于音素级的韵律对齐和零样本条件下的可编辑性。

此外，传统方法通常将基频、时长等韵律特征从音频中提取后直接作为全局条件，缺少与音素序列的精确时序对齐，导致编辑某个音素时会不自然地波及相邻音素，破坏了语音的连贯性。因此，需要一种既能保持说话人嵌入，又能实现音素同步韵律注入的架构。

3. 核心方法

CtrlSpeech 的核心是基于 DiTAR 的扩散生成框架。它利用扩散模型从噪声中逐步重建梅尔频谱（mel-spectrogram），并将说话人嵌入作为全局条件注入每一层扩散变换器，从而锁定音色。同时，它引入了一条细粒度控制通路：将输入音素序列与预测的时长对齐后，为每个音素分配对应的基频和响度目标值，形成音素级韵律控制信号。

在训练过程中，模型学习从音素序列、时长、基频、响度到梅尔频谱的映射。基频和响度信号通过强制对齐技术与音素序列建立精确的时序对应关系，保证每个音素都能获得独立的韵律参数，而不会在时间轴上发生错位。推理时，用户可以交互式地编辑这些韵律参数——例如，将一个疑问词的尾音基频上调 20 Hz，或将某个形容词的时长拉长 30%——系统会基于扩散过程逐步去噪，生成符合编辑意图的语音，且不改变说话人身份。

控制流程采用粗粒度到细粒度的设计：首先设定全局说话人、语速和整体音高范围，然后针对特定词或音素进行微调。这种分层策略既保留了全局韵律的一致性，又实现了局部表现力的精准编辑，且整个过程无需重新训练，极大提升了可控生成的效率和灵活性。

4. 实验与结果

实验在 LibriTTS 测试集上进行，基线模型为同样基于扩散的零样本 TTS 系统。在自然度评估中，CtrlSpeech 获得 MOS 4.12，略高于基线的 4.08；说话人相似度指标为 0.71，也优于基线的 0.69。这些差异在统计上虽然不大，但重要的是证明了引入细粒度控制并未损害生成质量。

韵律可控性实验是核心亮点。研究者要求受试者编辑测试句子的基频、响度和时长，并测量合成语音的音节级基频与目标值的 RMSE。结果显示，CtrlSpeech 的 RMSE 较基线降低了 22%，说明其能更忠实地将用户编辑转化为声学现实。在主观 AB 测试中，67% 的评测者偏好 CtrlSpeech 的可控合成结果，他们认为编辑后的语音在重音、语调和节奏上更自然，且没有出现“电子音”或“音色漂移”等问题。

消融实验进一步表明，音素对齐的韵律信号和解耦的说话人嵌入缺一不可。若移除对齐机制，基频编辑的 RMSE 会上升约 15%；若将说话人嵌入与韵律条件耦合，则编辑韵律时会导致说话人相似度下降 0.05 以上。这些结果验证了框架设计的合理性。

5. 创新点与工程价值

CtrlSpeech 的创新之处在于，首次将音素级韵律控制与扩散 TTS 模型的零样本能力结合，通过解耦的说话人嵌入和时序对齐的韵律信号，在不破坏音色的前提下实现了细粒度的表现力编辑。这一设计突破了以往“全局可控”或“需要微调”的限制，让可控生成达到了词和音素级别的分辨率。

从工程角度看，该框架可快速集成到多种产品中。在有声内容创作平台，编辑人员可以像修图一样“修音”，单独加强某个角色的某句台词的情绪；在语音助手和车载导航中，系统可根据上下文动态调整播报语音的基频和响度，使提醒更突出、安抚更柔和；在教育培训应用中，语言教师可以生成带有精确重音和语调的示范语音，帮助学生掌握发音技巧。这些场景均能大幅降低后期人工录制和编辑成本，提升定制化语音的生成效率。

此外，CtrlSpeech 的粗到细控制范式也为其他生成任务（如音乐、环境音合成）提供了思路，即通过全局条件加局部修饰的方式，实现高保真、高可控的内容生成。

6. 我们的思考

南京昱声科技在机器人语音交互、声学检测和降噪领域有深厚积累，CtrlSpeech 的细粒度控制能力为我们的业务带来了直接启发。在巡逻安防、服务导引等机器人场景中，语音播报需要根据实时上下文动态调整表现力，例如在检测到异常事件时，自动提高基频和响度，加快语速，以增强警示效果；而在夜间静音模式下，则降低响度并柔化音色，避免惊扰。CtrlSpeech 的音素级编辑能力可以让这种动态调整精确到词语，使交互更自然、更安全。

结合公司已有的远场拾音和降噪技术，我们可以在前端对参考语音进行增强，利用云增强低算力多通道语音增强方法等方案，从嘈杂环境中提取干净的基频、响度参数和说话人嵌入，作为 CtrlSpeech 的输入，从而在真实场景下实现高质量的可控语音合成。这不仅提升了机器人语音的鲁棒性，也为产线音频质检中生成标准、可编辑的测试样本提供了新可能，加速了从实验室到产品的落地进程。

原文链接：https://arxiv.org/abs/2608.08362

作者：Zhisheng Zheng; Xiaohang Sun; Zhu Liu; Caren Chen; Rohith Kumar; Manoj Aggarwal; Gerard Medioni; David Harwath

发布日期：2026-08-08T23:17:09Z

收录：Interspeech 2026