关于Fig2和损失函数

[kortdo]

你好作者，我注意到你们用到了“diffusion forward”过程并且设定了参数“t”，是否可以理解成Fig2上半张图的输出对应于原始stable diffusion模型中每次扩散过程的条件嵌入呢？
既然U-Net是frozen的，损失函数Ls和Ls是起到什么作用呢？Lws和Lwt中的Ws(f)和Ws(t)是起到权重的作用为什么对(Z,Zs)和(Z,Zt)的余弦相似度求损失呢？
期望得到你们的回答，感谢你们做出这么具有创新性的deepfake detection文章。

[skJack]

您好， 谢谢关注；
您可以把整个过程理解成我们强迫一个带条件的，frozen的预训练stable diffusion让一张伪造图像重建出他对应的源和目标，这里SD的作用是用于补充那些重建过程中的信息损失。由于预训练stable diffusion是冻住的无法微调，为了成功的完成重建（也就是Ls和Lt损失的降低），那么可学习的Guide网络就必须解耦出source和target的相关信息作为条件，注入到Stable Diffsuion中，并且利用他的预训练知识做信息补充才可以完成重建。所以Ls和Lt的降低本质上在强迫Fig2上半部分提取到对应解耦的，有利于重建的信息。这样在推理的时候encoder的泛化性就会好。
另外权重的本质其实是提供先验，他控制了重建过程对预训练的SD网络和Guide网络两部分的依赖程度；
例如一张只有嘴巴篡改的图片要重建成他的target可能就要对guide网络依赖度大一些，因为他的大部分信息都来自于fake，只有小部分篡改信息需要SD网络做信息补充；所以我们事先用余弦相似度进行损失就是去计算图像和对应source和target的差异，差异越小，对SD的依赖就越小，对guide的依赖就越大；反之亦然。

[kortdo]

感谢解答！