2022-11-01语音之家&火山音频的分享

2022-11-01语音之家&火山音频的分享

文本转写

• 主要是单语言内部的二次创作。在保证翻译质量，时长对齐（这里做的是中英文音节数的对比，实验发现误差在正负10%以内TTS合成听感影响不大），韵律一致性。
• 目前做了长度对齐的工作
• 数据来源：文本试译
  

跨语种合成&风格迁移

• 高表现力的使用VC方案
• 腰部技术使用跨语种TTS方案，同时尽量增强TTS的表现力；
  基础结构
• 音色相似度
• 发音鲁棒性
  风格迁移 ref-encoder提取emb，没有显式的风格id
• 风格细粒度建模
• 风格和口音的解耦
  情感迁移
  划分参考了普鲁契克的情感轮盘
• 情感的跨语种合成
• 情感和合成的解耦

• multi-scale: global style, local style
• style-adaptor, 风格在对应语种上完成迁移（自适应）
  
• speaker adaptor：一个人在不同情感下的音色也会有变化

方言合成

• 需要根据方言的表达方式进行二次创作，尤其是南方方言（会影响理解性），北方方言一般不需要（但是可能影响地道性）。
•