NAT可以使用其他结构代替吗？

[VincentZhao1992]

目前正在尝试onnx导出，但是存在精度损失过大问题，在最后导出的onnx模型中，推理结果与pytorch版本差距较大，尤其在其他目标的行为预测prediction上，prediction的第一个通道损失看起来还可以接受，但在后面的目标上，几乎无法接受，在逐层特征分析时，发现NAT这个结构中，特征损失达到了无法接受的程度，那么我想请问一下，NAT可以使用其他结构代替吗？

[Hailan-9]

请问大佬对NAT模块中的 laterals[i - 1] = laterals[i - 1] + F.interpolate(
laterals[i],
scale_factor=(laterals[i - 1].shape[-1] / laterals[i].shape[-1]),
mode="linear",
align_corners=False,
)这段代码 造成的同样的条件下，两次训练结果不一致是如何解决的呢？这个官方提供的插值函数，数据一样的情况下，推理的时候可以保证一致性，但是在训练阶段，前后两次训练结果不一致。torch.use_deterministic_algorithms(True)加入这个代码也不可以。
现象就是前几百个batch，loss等等完全一模一样，但是之后开始出现小数点之后几位慢慢不一样，并逐渐差异越来越大，同样条件下，训练的模型结果也不一样 @VincentZhao1992 期待大佬的回复

[VincentZhao1992]

请问大佬对NAT模块中的 laterals[i - 1] = laterals[i - 1] + F.interpolate( laterals[i], scale_factor=(laterals[i - 1].shape[-1] / laterals[i].shape[-1]), mode="linear", align_corners=False, )这段代码 造成的同样的条件下，两次训练结果不一致是如何解决的呢？这个官方提供的插值函数，数据一样的情况下，推理的时候可以保证一致性，但是在训练阶段，前后两次训练结果不一致。torch.use_deterministic_algorithms(True)加入这个代码也不可以。 现象就是前几百个batch，loss等等完全一模一样，但是之后开始出现小数点之后几位慢慢不一样，并逐渐差异越来越大，同样条件下，训练的模型结果也不一样 @VincentZhao1992 期待大佬的回复

这个会有影响吗？正常训练的时候，tensor是有梯度的，可能是梯度造成的不一致吧。

[Hailan-9]

要是使用这个模块，后续再新加一些其他功能，带来的效果提升，不太能准确确定是模型训练不一致带来的还是因为新加入其他功能代码带来的，对吧？

…

---原始邮件--- 发件人: ***@***.***> 发送时间: 2025年4月7日(周一) 上午9:39 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [jchengai/pluto] NAT可以使用其他结构代替吗？ (Issue #31) 请问大佬对NAT模块中的 laterals[i - 1] = laterals[i - 1] + F.interpolate( laterals[i], scale_factor=(laterals[i - 1].shape[-1] / laterals[i].shape[-1]), mode="linear", align_corners=False, )这段代码 造成的同样的条件下，两次训练结果不一致是如何解决的呢？这个官方提供的插值函数，数据一样的情况下，推理的时候可以保证一致性，但是在训练阶段，前后两次训练结果不一致。torch.use_deterministic_algorithms(True)加入这个代码也不可以。 现象就是前几百个batch，loss等等完全一模一样，但是之后开始出现小数点之后几位慢慢不一样，并逐渐差异越来越大，同样条件下，训练的模型结果也不一样 @VincentZhao1992 期待大佬的回复 这个会有影响吗？正常训练的时候，tensor是有梯度的，可能是梯度造成的不一致吧。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***> VincentZhao1992 left a comment (jchengai/pluto#31) 请问大佬对NAT模块中的 laterals[i - 1] = laterals[i - 1] + F.interpolate( laterals[i], scale_factor=(laterals[i - 1].shape[-1] / laterals[i].shape[-1]), mode="linear", align_corners=False, )这段代码 造成的同样的条件下，两次训练结果不一致是如何解决的呢？这个官方提供的插值函数，数据一样的情况下，推理的时候可以保证一致性，但是在训练阶段，前后两次训练结果不一致。torch.use_deterministic_algorithms(True)加入这个代码也不可以。 现象就是前几百个batch，loss等等完全一模一样，但是之后开始出现小数点之后几位慢慢不一样，并逐渐差异越来越大，同样条件下，训练的模型结果也不一样 @VincentZhao1992 期待大佬的回复 这个会有影响吗？正常训练的时候，tensor是有梯度的，可能是梯度造成的不一致吧。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>

[VincentZhao1992]

要是使用这个模块，后续再新加一些其他功能，带来的效果提升，不太能准确确定是模型训练不一致带来的还是因为新加入其他功能代码带来的，对吧？
…

新加的功能带来的效果提升，还没训练误差大，那是不是有点太小了。时间种子有做固定吗？一般来说，模型训练的可复现性本来就挺低的，比较难复现。

[Hailan-9]

随机种子都固定了， random.seed(CUR_SEED)
np.random.seed(CUR_SEED)
torch.manual_seed(CUR_SEED)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False 训练过程的不一致性，就是laterals[i - 1] = laterals[i - 1] + F.interpolate( laterals[i], scale_factor=(laterals[i - 1].shape[-1] / laterals[i].shape[-1]), mode="linear", align_corners=False, )这句代码引入的，猜测应该是反向传播的时候，数据精度的问题导致的问题（but，使用float64也是训练结果不一致）。

其次，我这边自己的算法仅仅移植了pluto算法的编码器部分，解码器部分，是用其他方式。自己的算法一共训练30个epoch，我每次都是对比前后两次训练得到的模型中，epoch20和epoch30的nuplan测试得分，这个训练误差是怎么得到的呢，每次选所有训练轮中的planade最小的一个epoch对应的模型参数进行测试看其得分吗？（其实一直有点疑问就是，每次得到很多个epoch，是选最后一个epoch进行测试还是选择其中指标最好（比如planade最小）的一个epoch进行测试， 然后作为模型的测试得分）。
期待大佬的回复！

[VincentZhao1992]

随机种子都固定了， random.seed(CUR_SEED) np.random.seed(CUR_SEED) torch.manual_seed(CUR_SEED) torch.backends.cudnn.deterministic = True torch.backends.cudnn.benchmark = False 训练过程的不一致性，就是laterals[i - 1] = laterals[i - 1] + F.interpolate( laterals[i], scale_factor=(laterals[i - 1].shape[-1] / laterals[i].shape[-1]), mode="linear", align_corners=False, )这句代码引入的，猜测应该是反向传播的时候，数据精度的问题导致的问题（but，使用float64也是训练结果不一致）。

其次，我这边自己的算法仅仅移植了pluto算法的编码器部分，解码器部分，是用其他方式。自己的算法一共训练30个epoch，我每次都是对比前后两次训练得到的模型中，epoch20和epoch30的nuplan测试得分，这个训练误差是怎么得到的呢，每次选所有训练轮中的planade最小的一个epoch对应的模型参数进行测试看其得分吗？（其实一直有点疑问就是，每次得到很多个epoch，是选最后一个epoch进行测试还是选择其中指标最好（比如planade最小）的一个epoch进行测试， 然后作为模型的测试得分）。 期待大佬的回复！

• 我之前是做视觉的模型，选择提交的模型，一般都是指标最好的，不一定是最后一个。
• 每次训练可能会进入不同的局部最优解区间。CPU相关的随机数，通过随机种子能比较容易固定，但是GPU上的数据，估计还是会有偏差。其实这个部分的偏差，我觉得可以忽略的，一般不会超过1个点。
• 如果看重planade，就选planade表现最好的，一般视觉模型在最后阶段，会把每一个epoch都保存下来去选择。
• NeighborhoodAttention1D这个模块在导出ONNX的时候，无法正常导出，我怀疑这个部分会引入不受控的东西，比如c++的随机数种子之类的。

[VincentZhao1992]

我把NeighborhoodAttention1D换成了MultiheadAttention，做了简单替换：
`
self.attn = nn.MultiheadAttention(embed_dim=dim, num_heads=num_heads, batch_first=True)
self.q = nn.Linear(in_features=dim, out_features=dim)
self.k = nn.Linear(in_features=dim, out_features=dim)
self.v = nn.Linear(in_features=dim, out_features=dim)

q = self.q(x)
k = self.k(x)
v = self.v(x)
x, xo = self.attn(q, k, v)
`

[Hailan-9]

随机种子都固定了， random.seed(CUR_SEED) np.random.seed(CUR_SEED) torch.manual_seed(CUR_SEED) torch.backends.cudnn.deterministic = True torch.backends.cudnn.benchmark = False 训练过程的不一致性，就是laterals[i - 1] = laterals[i - 1] + F.interpolate( laterals[i], scale_factor=(laterals[i - 1].shape[-1] / laterals[i].shape[-1]), mode="linear", align_corners=False, )这句代码引入的，猜测应该是反向传播的时候，数据精度的问题导致的问题（but，使用float64也是训练结果不一致）。
其次，我这边自己的算法仅仅移植了pluto算法的编码器部分，解码器部分，是用其他方式。自己的算法一共训练30个epoch，我每次都是对比前后两次训练得到的模型中，epoch20和epoch30的nuplan测试得分，这个训练误差是怎么得到的呢，每次选所有训练轮中的planade最小的一个epoch对应的模型参数进行测试看其得分吗？（其实一直有点疑问就是，每次得到很多个epoch，是选最后一个epoch进行测试还是选择其中指标最好（比如planade最小）的一个epoch进行测试， 然后作为模型的测试得分）。 期待大佬的回复！

• 我之前是做视觉的模型，选择提交的模型，一般都是指标最好的，不一定是最后一个。
• 每次训练可能会进入不同的局部最优解区间。CPU相关的随机数，通过随机种子能比较容易固定，但是GPU上的数据，估计还是会有偏差。其实这个部分的偏差，我觉得可以忽略的，一般不会超过1个点。
• 如果看重planade，就选planade表现最好的，一般视觉模型在最后阶段，会把每一个epoch都保存下来去选择。
• NeighborhoodAttention1D这个模块在导出ONNX的时候，无法正常导出，我怀疑这个部分会引入不受控的东西，比如c++的随机数种子之类的。

非常感谢大佬的回复！

[Hailan-9]

我把NeighborhoodAttention1D换成了MultiheadAttention，做了简单替换： ` self.attn = nn.MultiheadAttention(embed_dim=dim, num_heads=num_heads, batch_first=True) self.q = nn.Linear(in_features=dim, out_features=dim) self.k = nn.Linear(in_features=dim, out_features=dim) self.v = nn.Linear(in_features=dim, out_features=dim)

q = self.q(x) k = self.k(x) v = self.v(x) x, xo = self.attn(q, k, v) `

厉害，理论上感觉模型的性能应该会更好，但是耗时可能会稍微增加一点，比较全局注意力计算量大于局部注意力

[VincentZhao1992]

我把NeighborhoodAttention1D换成了MultiheadAttention，做了简单替换： self.attn = nn.MultiheadAttention(embed_dim=dim, num_heads=num_heads, batch_first=True) self.q = nn.Linear(in_features=dim, out_features=dim) self.k = nn.Linear(in_features=dim, out_features=dim) self.v = nn.Linear(in_features=dim, out_features=dim) q = self.q(x) k = self.k(x) v = self.v(x) x, xo = self.attn(q, k, v)

厉害，理论上感觉模型的性能应该会更好，但是耗时可能会稍微增加一点，比较全局注意力计算量大于局部注意力

我在Xavier上测试，耗时没啥变化，精度已经可以和PC上的相差无几了，大概总的绝对误差在0.001的级别了，对路径规划来说，厘米级的误差，应该没关系吧。

[Hailan-9]

请问 0.001是具体什么误差呀，感觉很小，应该没啥问题。大佬是已经把这个算法部署到自动驾驶实车上了吗？公司要上实车测试了吗

[VincentZhao1992]

请问 0.001是具体什么误差呀，感觉很小，应该没啥问题。大佬是已经把这个算法部署到自动驾驶实车上了吗？公司要上实车测试了吗

pytorch的原始代码和onnxruntime-gpu的python代码的五个输出的的差值的绝对值的和，正在准备上车。

[Xiaochaosui]

我把NeighborhoodAttention1D换成了MultiheadAttention，做了简单替换： ` self.attn = nn.MultiheadAttention(embed_dim=dim, num_heads=num_heads, batch_first=True) self.q = nn.Linear(in_features=dim, out_features=dim) self.k = nn.Linear(in_features=dim, out_features=dim) self.v = nn.Linear(in_features=dim, out_features=dim)

q = self.q(x) k = self.k(x) v = self.v(x) x, xo = self.attn(q, k, v) `

我也用了MHA替换了NAT，部署痛苦！