Vocab Size Mismatch

[xuwayyy]

使用官方requirements.txt里面的 transformers==4.38.2 在测试时可以顺利测试，但发现使用 transformers==4.56 时运行

 model = SegEarthR2.from_pretrained(model_path, mask_decoder_cfg=mask_cfg, **kwargs)

会报错词表大小不一致, 错误信息:

RuntimeError: Error(s) in loading state_dict for Linear:
        size mismatch for weight: copying a param with shape torch.Size([50296, 2560]) from checkpoint, the shape in current model is torch.Size([51200, 2560]).

因为在llava_phi.py中lm_head硬编码为51200 (Mipha词表大小)，但是训练权重下config.vocab_size: 50296, 这是否代表测试时 lm_head为随机初始化参数并没有加载权重参数, 只不过在低版本 transformers 版本下容许了这种行为？

[xcarl1]

感谢提出这个问题，下面我解答一下疑问：

1. llava_phi.py中lm_head的51200与config.vocab_size可以不一致，只要config.vocab_size < 51200即可（这个你可以看一下Qwen等主流模型，lm_head的大小一般都是大于vocab_size的，这样可以方便扩充新词元）。
2. 经过测试transformers==4.38.2时可以正确回答我们训练的文本QA，所以不是lm_head随机初始化，这边你可以debug一下transformers==4.56时的问题，应该在不同的transformers版本对模型配置的形式有区别。