关于微调参数设置

[jaleehj]

您好！我的配置为2*A40(48G) ，无法使用项目中的全参数训练设置
我更改为了lora微调方式，并将lora_rank设置为1024，目前双卡分别占用38G显存，请问这会对复现结果造成很大影响吗？

[MaxyLee]

您好！使用lora进行微调对于第一阶段训练（CoT-SFT）的性能影响可能较小。但对于第二阶段训练（GRPO）而言，可能存在计算资源紧张的问题。

如果您在复现过程中遇到其他问题，也欢迎与我联系！