您好，生成质量和您展示的有些区别

[Ch4tppt]

为什么利用您原始推理代码的参数，生成的视频帧与帧之间经常会出现闪动，主要体现在脸型的突然变化，是推理代码的问题还是参数设置的问题，抑或是模型本身就存在这种现象？

[mayuelala]

您好，可以具体展示下结果吗

[Ch4tppt]

1_mppose_7_all.mp4

[Ch4tppt]

test_temple_5_all.mp4

[Ch4tppt]

在echomimic这篇论文中与您比较相似的提到了用landmark encoder来指导模型生成与drive motion一致的动作，它也有出现抖动很严重的现象，我不知道是我的例子选择的问题，还是其他情况

[Ch4tppt]

我似乎找到了原因，在您放出的代码中
context_queue = list(
context_scheduler(
0,
num_inference_steps,
latents.shape[2],
context_frames,
context_stride,
0,
)
)
context_overlap设置的一直为0，因此导致帧过渡不平滑

[Ch4tppt]

这是修改后的效果

1_mppose_7_all.mp4

[mayuelala]

输入图像的清晰度是多少呀？是512x512 吗

[Ch4tppt]

马斯克的这个应该是530*530的，另外可否了解一下您在训练的时候overlap设置的是多少呢

[mayuelala]

设置的16~

[j18655633156]

我也出现了帧间抖动现象，请问您是只怎么修改的，修改了infer.yaml里面的video_length以及上面所提到的那段代码的context_overlap吗

[Ch4tppt]

是的，在上下文设置中加入contextoverlap即可减少抖动的现象

[j18655633156]

请问你把那个overlap从0改成了多少呀，而且不同长度的视频是不是要使用不同的overlap，感觉这个抖动效果只能稍微改进但不能消除

…

---原始邮件--- 发件人: ***@***.***> 发送时间: 2024年8月27日(周二) 下午2:38 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [mayuelala/FollowYourEmoji] 您好，生成质量和您展示的有些区别 (Issue #18) 是的，在上下文设置中加入contextoverlap即可减少抖动的现象 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>

[zhou186]

您好，我将context_overlap设置为16，抖动还是很严重。请问还有什么改进的方法嘛

13_mppose_100_oo.mp4

设置的16~

[wonderDiWu]

Hello. 遇到同样的闪动的问题。Overlap参数有改善，但是还是会有。当前有什么解决方案吗？

[mayuelala]

可以换用forward_long 就会解决