训练分辨率风格迁移的影响较大

[create-li]

您好，感谢您的分享。我训练风格转换使用384384的效果比较好。但是使用符合数据集比例大小的256512的分辨训练无法迁移，gen_ba=0.999，gen_ab=0.67,fake_a的图像都是黑的，fakeb图则转换效果还可以，没有转换风格效果。训练的其他参数设置都是一样的。
请问，什么原因？

[pphuangyi]

你好！谢谢你对我们的工作感兴趣！我们没有遇到过类似情形，但是我有几个可能会造成这种状况的猜想可以和你分享一下。

1. GAN的训练就是出了名的不稳定。我们训练自拍照和动画形象时也遇到了图像都是黑的的情形。当时我们调整了loss function里面cycle consistency的系数，问题就解决了。但是我们也不是非常肯定，是不是就是这个系数的问题。所以我想，对于256和512分辨率，你可不可以尝试一下重新开始训练，或者更换一下神经网络初始化的方式。
2. 我们在相对大的数据集（比如CelebHQ 或者AFHQ）上的训练时，似乎遇到的训练不稳定的情形比较少（自拍照和动画形象那个数据集非常的小）。所以，我想如果你的数据集也比较小的话，可不可以尝试一下更多的data augmentation。比如颜色的微调，镜像转换，或者稍微转动一下角度（比如正负五度）。
3. 最后，因为GAN的训练不稳定，它对参数的敏感度可能很高。虽然对于384x384的效果还可以，但也不能完全排除有幸运的情形。所以我想在算力充分的情况下，你可不可以做一个小规模的hyper parameter tunning。这样我们就可以知道是不是就是分辨率造成了模型训练的失败。如果对于很多的hyper parameter configurations， 都出现了类似的情况，那可能就真是模型有什么隐藏bug了。那时我们可以更深入的探究一下。

再次感谢你的关注！希望这些对你能有一些小的帮助！如果有补充的信息，也请让我们知道。

最后祝你研究顺利！

[create-li]

谢谢您的回复和指导，您的方法在我风格迁移任务中表现很好，我还有些问题，我在其他自己的任务做风格迁移：
1、我数据量1500对的效果会比4500对非配对风格迁移的效果好，是因为网络拟合能力差吗，样本多样性学习不到吗？
2、基于此方法针对风格差异较明显的任务。针对白天和夜晚风格转换，迁移的数据分布一致性还可以，但是图像中物体结构内容会发生较大变化，参数调节lambda-cycle，lambda_idt，有改善，但是lambda_idt，调太大，内容保真高，会出现风格转换失败。降低就会出现保真度下降问题。数据扩充一倍多达到5000多组，效果改善不明显，是不是需要减少模型拟合能力，降低模型参数？
3、增加还有最近的R3GAN，被评价为GAN研究带来新的转机，将R3GAN的提到的技巧与您的迁移框架方法结合，提高问题训练问题和效果呢？

[pphuangyi]

太好了！针对你的回复，我有几个问题：

1. 这1500是从4500对里面随机选择出来的结果吗？
2. 白天黑夜这样的数据集是否出现了：“白天到黑夜”还行，但是“黑夜到白天”比较遭的情形。如果是这样的话，我们也有类似经验。比如在男女转换中，男生到女生的转换比较顺利，女生到男生的转化，效果就要差很多。我们的理解是也许女生的数据集的多样性偏低（可能是女生好看的标准相对统一一些），男生的数据集的多样性比较大。我们觉得如果两个数据集的多样性不一样的话，保真和风格转换就很难两全了。神经网络本质上是在做分布拟合，如果两个数据集的分布差别很大（比如说自由度就不一样），复杂到简单是做减法也许还成，但是简单到复杂就比较难了。要不试一试，两个方向的loss function用不一样的参数组合？但这个更像是数学上的barrier，（就像秩不一样的矩阵不可能有一一映射一样），不像是能够用神经网络的改进全部解决的。

• 或者先选出不是特别黑的的黑天和白天训练一下，然后用这个有经验的网络当初值，再训练更更黑的天？这个好像叫curriculum learning（我不清楚中文怎么翻译的）。

3. 那太好不过了！因为我们主要是为物理学家（或者其他专业的科研人员）提供深度学习的辅助，所以我们在这个项目结束后就没有在跟进GAN发展了。你如果能把两者结合起来那就太好了！非常期待听到你的发现和结果！

[create-li]

谢谢您给的建议，我将根据建议进行实践，模改有进展，效果如何将会与您讨论。