基于Seed-Llama的生成性重新排序

[Icecream-wu]

作者，您好：
我对您的这篇论文十分感兴趣，所以进行了复现。在跑完stage2阶段时，test set的召回率跟表二的数值大致相同，但是距离表一还有很大的差距，我有注意到您在Implement Details部分有提到为了与Tiger[24]进行公平的比较，在总体性能上对基于Seed-Llama[10]的检索结果进行了生成性重新排序。我想问一下基于Seed-Llama的生成性重新排序的这部分源码有在stage2文件中提供吗，还是说这部分代码是为了与Tiger[24]进行公平的比较从而单独进行的，没有在stage2文件中给出。
非常渴望您的解答，谢谢您！

[HongruCai]

您好，感谢您对我们工作的关注以及复现！

关于您提到的生成性重排序部分，我们是有提供基于 Seed-Llama 的相关源码的，这部分位于代码中的 Reranker 模块（对应 step5–7）。

需要说明的是，stage2 只涉及检索模型本身的训练过程，并不包含重排序部分的训练与推理。表一中的结果是在检索结果基础上，进一步经过 Seed-Llama 进行生成式重排序得到的。

因此，如果您目前只跑了 stage2，对应的结果会更接近表二；若要复现表一，还需要额外训练 Reranker 部分。