唇形对不上音频，有提升效果的方法吗？

[HarryLue]

ditto确实很牛，不错。但是，有时候唇形和音频的发音不对应，有什么方法可以提升效果吗？

[RobinROAR]

ditto确实很牛，不错。但是，有时候唇形和音频的发音不对应，有什么方法可以提升效果吗？

感谢您对ditto的关注。因为motion空间的高度抽象性，相比于一些有代表性的在压缩像素空间训练的方法（Hallo、Echomimic等），Ditto对于训练视频的要求更高，因为过大的头部或镜头运动会导致motion representation提取出现偏差。受限于筛选后有限的训练数据时常，目前ditto在某些发音和音色上可能的训练可能存在训练不充分，影响了相关的口型表现。

我们认为如果需要进一步提升具体发音或特定音色的口型表现，可以通过针对性补充和驱动音色、语料对应的训练数据来进行补充训练解决。上月我们已经开源了基础训练代码，欢迎进行进一步尝试。