你好，我有一个8万张图片的数据集，我想用一张A100来进行训练，不用分布式训练，请问你可以告诉我要改哪些设置吗

[gzhuinjune]

imagenet对我来说太大了，我想用自己的图片来进行训练，我是不是直接把八万张图片丢到train文件夹里面就可以了呢，请问一张a100够吗，我需要调整哪些别的超参数呢，谢谢您的工作，祝您一切顺利！！！

[LTH14]

感谢您的关注。如果你使用和code里面一样的dataloader，可以直接把八万张图片放在train文件夹里就可以了。一张a100足够训练representation generator（RDM），也不需要修改参数，但是要训练image generator（MAGE）可能不够。

[gzhuinjune]

不知道是不是和这个比较类似

[LTH14]

单卡的问题是因为MAGE在generate的时候会把所有GPU上生成的图片进行concat_all_gather操作。对于单卡来说这个会报错，把这句话注释掉就行。我没有在多卡A100上调试过，但多卡A6000上torch 1.7.1也会出现问题，你可以试试如下操作：

1. 把pytorch升级到1.11.0版本，torchvision升级到0.12.0
2. 上述升级会导致timm报错，需要根据这个issue进行修改。除了添加该issue里的代码之外，还要在代码文件里import torch
3. 命令第一行改为torchrun --standalone --nproc_per_node=2 --nnodes=1 --node_rank=0 \

[gzhuinjune]

谢谢您的回答！

[gzhuinjune]

是rdm的问题还是mage的问题呢。理论上来说我这个数据集比imagenet应该简单很多才多，可是imagnet上面才个位数的fid

[LTH14]

我觉得可能有如下几个问题，供您参考：

第一，在您的数据集上的生成模型表现不应该用传统的FID进行衡量。FID使用的是在imagenet上预训练的inception network从图像中提取特征，然后计算真实数据集的特征分布与生成数据的特征分布之间的frechet distance。在imagenet上预训练的inception network很难从你的数据中提取出有意义的特征。并且，请不要使用我提供的这个方式安装torch-fidelity pip install -e git+https://github.com/LTH14/torch-fidelity.git@master#egg=torch-fidelity，而是应该直接安装正版 pip install torch-fidelity，因为我提供的方式只能计算与imagenet training statistic的FID。

第二，mage使用的tokenizer是在imagenet上预训练的，在您的数据集上表现不一定好。DiT和LDM的tokenizer在OpenImage上进行预训练，效果可能会好一些。但我建议您自己在您的数据集上预训练tokenizer，或者不使用tokenizer，用类似ADM的方法直接diffuse pixel也可以考虑。

第三，由于您的数据集与imagenet分布差异非常大，我建议您重新训练每一个模块，包括Moco v3，RDM，tokenizer，pixel generator。

希望对您有所帮助！

[gzhuinjune]

对，rdm和pixel generator我都重新训练了，我试试也重新训练一下另外两个

[gzhuinjune]

请问您可以给我一些重新训练Moco v3和tokenizer的指引嘛，我看issue里面也有很多人更换数据集，说不定他们也能用上

[gzhuinjune]

https://github.com/facebookresearch/moco-v3，我看到了，是不是用这个就行

[gzhuinjune]

我用自己的数据集训练一下这个，https://github.com/dome272/VQGAN-pytorch
然后替换文件夹里面的vggan.ckpt就行对吗，这个就相当于重新训练了tokenizer，希望得到您的回复，感谢您的帮助

[gzhuinjune]

哎哎，我看到mage好像没有用到vqgan呀，只有ldm用到了对吗

[LTH14]

MAGE用到的是Google训练的tokenizer https://github.com/LTH14/rcg/blob/main/pixel_generator/mage/models_mage.py#L299-L302
我建议把他替换成你自己使用官方VQGAN在你自己数据集上训练的checkpoint：https://github.com/CompVis/taming-transformers

[gzhuinjune]

好，那么moco v3用这个来训练对吗，谢谢
https://github.com/facebookresearch/moco-v3

[LTH14]

对

[gzhuinjune]

谢谢您的帮助，事情正在往好的方向发展。这是我用vqgan训练的部分结果，重建效果挺好的，我想这次训练完应该没问题。

我想顺便再问您一个非常小的问题，mage用的这个vqgan权重是哪里下载的呢，对应的参数是什么呢，我在vqgan的官网看到的imagenet训练的两个权重和您这个不同，请问为什么不用它们提供的呢，这个是您自己训练的吗，我现在比较担心我训练完之后和mage的对不上