arXiv · cs.CL· Wenbing Yang·· 17 天前AI 评分28
VoTSpeech:在指令跟随 TTS 中将音色设计与语音生成解耦
VoTSpeech: Decoupling Voice Design from Speech Generation in Instruction-Following TTS
来源与原文
arXiv · cs.CL
作者:Wenbing Yang
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.14694v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
VoTSpeech 通过显式中间语音潜变量,将音色设计与语音生成解耦。该系统基于共享语言模型骨干,先用 flow 模块从文本指令预测连续语音潜变量,再同时作为语言模型与 Acoustic DiT 的共享条件,最后由 audio VAE 解码器生成波形;语音潜变量由 speaker embeddings 与时间池化的 audio VAE 特征联合监督。VoTSpeech 在 InstructTTSEval-ZH 上表现强劲,与强开源模型相比具备竞争力且保持高自然度,代码、模型与音频样本已开源。
来源:arXiv · cs.CL · arxiv.org