关于Reagent-U训练可能出现的格式泄露问题

[asilverlight]

您好，很好的工作！很有启发！
想问一下关于Reagent-U训练的一些问题。在Reagent-U刚开始训练的阶段，对于使用Reagent-C得到的轨迹来说，它们的质量可能会更高，在GRPO中会得到更多的优势值，agent在梯度更新时更容易学习到这些轨迹的输出模式。但是，由于这些轨迹是参考Agent-RRM的critique得来的，它们是否会受到prompt较大影响，输出一些类似于“根据critique结果分析”等等格式泄露的内容？
例如，对于Figure 5: Case 1: a search question from GAIA.，agent在Second Response开头输出了“Following the critique, I ...”这样的话，但是实际测试时，并没有任何critique提供给agent。这种推理范式是否也会被agent学习到，从而影响真正测试时的推理范式呢？

[kxfan2002]

您好，很好的工作！很有启发！ 想问一下关于Reagent-U训练的一些问题。在Reagent-U刚开始训练的阶段，对于使用Reagent-C得到的轨迹来说，它们的质量可能会更高，在GRPO中会得到更多的优势值，agent在梯度更新时更容易学习到这些轨迹的输出模式。但是，由于这些轨迹是参考Agent-RRM的critique得来的，它们是否会受到prompt较大影响，输出一些类似于“根据critique结果分析”等等格式泄露的内容？ 例如，对于Figure 5: Case 1: a search question from GAIA.，agent在Second Response开头输出了“Following the critique, I ...”这样的话，但是实际测试时，并没有任何critique提供给agent。这种推理范式是否也会被agent学习到，从而影响真正测试时的推理范式呢？

感谢关注！我检查了一下Reagent-U的benchmark测试结果，没有凭空出现critique的幻觉推理。
如果你指的是模型在没有critique的时候是否推理能力减弱了，这是很有趣的问题。从实验结果来看，模型总体的表现还是提升的，并且在测试的时候是没有经过critique的refine，是模型直接inference的结果。

[asilverlight]

您好，很好的工作！很有启发！ 想问一下关于Reagent-U训练的一些问题。在Reagent-U刚开始训练的阶段，对于使用Reagent-C得到的轨迹来说，它们的质量可能会更高，在GRPO中会得到更多的优势值，agent在梯度更新时更容易学习到这些轨迹的输出模式。但是，由于这些轨迹是参考Agent-RRM的critique得来的，它们是否会受到prompt较大影响，输出一些类似于“根据critique结果分析”等等格式泄露的内容？ 例如，对于Figure 5: Case 1: a search question from GAIA.，agent在Second Response开头输出了“Following the critique, I ...”这样的话，但是实际测试时，并没有任何critique提供给agent。这种推理范式是否也会被agent学习到，从而影响真正测试时的推理范式呢？

感谢关注！我检查了一下Reagent-U的benchmark测试结果，没有凭空出现critique的幻觉推理。 如果你指的是模型在没有critique的时候是否推理能力减弱了，这是很有趣的问题。从实验结果来看，模型总体的表现还是提升的，并且在测试的时候是没有经过critique的refine，是模型直接inference的结果。

感谢回复！可能我没有表述清楚，我的意思是，对于Reagent-C方法，使用prompt引导agent，基于Agent-RRM给出的critique进行修正的。但是正如Figure 5: Case 1: a search question from GAIA.所示，在Second Response中，由于参考了critique，模型在开头输出了“Following the critique”（根据critique所述...）这类的话，那么像这样的输出是否也会被模型在RL时学到呢？也就是说，训练完的模型在实际测试时，output开头是不是也会输出类似于“根据critique所述”这种话？

[kxfan2002]

您好，很好的工作！很有启发！ 想问一下关于Reagent-U训练的一些问题。在Reagent-U刚开始训练的阶段，对于使用Reagent-C得到的轨迹来说，它们的质量可能会更高，在GRPO中会得到更多的优势值，agent在梯度更新时更容易学习到这些轨迹的输出模式。但是，由于这些轨迹是参考Agent-RRM的critique得来的，它们是否会受到prompt较大影响，输出一些类似于“根据critique结果分析”等等格式泄露的内容？ 例如，对于Figure 5: Case 1: a search question from GAIA.，agent在Second Response开头输出了“Following the critique, I ...”这样的话，但是实际测试时，并没有任何critique提供给agent。这种推理范式是否也会被agent学习到，从而影响真正测试时的推理范式呢？

感谢关注！我检查了一下Reagent-U的benchmark测试结果，没有凭空出现critique的幻觉推理。 如果你指的是模型在没有critique的时候是否推理能力减弱了，这是很有趣的问题。从实验结果来看，模型总体的表现还是提升的，并且在测试的时候是没有经过critique的refine，是模型直接inference的结果。

感谢回复！可能我没有表述清楚，我的意思是，对于Reagent-C方法，使用prompt引导agent，基于Agent-RRM给出的critique进行修正的。但是正如Figure 5: Case 1: a search question from GAIA.所示，在Second Response中，由于参考了critique，模型在开头输出了“Following the critique”（根据critique所述...）这类的话，那么像这样的输出是否也会被模型在RL时学到呢？也就是说，训练完的模型在实际测试时，output开头是不是也会输出类似于“根据critique所述”这种话？

我明白你的意思了。我检查了gaia 和 webwalkerqa的Reagent-U 测试结果，检索了 critique 关键词，是没有这种现象的。这种情况只在Reagent-C的测试（也就是 figure5）中出现。我推测这证明了强化学习训练的泛化性不至于学到这种奇怪的格式，而是让模型学习 thinking 和 reasoning。