-
Notifications
You must be signed in to change notification settings - Fork 10
Open
Description
文章中的TimesNet的性能断层领先其余Baseline,我发现是因为TimesNet的实验超参数中没有对CFG.NULL_VAL进行设置(其他Baseline中设置了CFG.NULL_VAL = 0.0)
以上是TimesNet的实验general参数设定
以上是STID的实验general参数设定
我针对这个参数进行了下面的消融实验:在UK数据集上,STID在取消CFG.NULL_VAL参数设置(和TimesNet默认保持一致)的时候可以获得Avg MAE 2.80(原文是3.23)的性能,高于原文UK数据集上所有Baseline的性能,如下图

在UK数据集上,TimesNet在设置CFG.NULL_VAL = 0.0 (和包括STID在内的其他Baseline保持一致)的时候只能获得Avg MAE 3.35(原文是2.81)的性能,如下图
因此我疑惑TimesNet在文中性能的领先来自于不公平的,模型无关的训练超参数设置。
Reactions are currently unavailable
Metadata
Metadata
Assignees
Labels
No labels