Skip to content

关于文章Baseline性能的疑问 #5

@Yuki3171231

Description

@Yuki3171231
Image

文章中的TimesNet的性能断层领先其余Baseline,我发现是因为TimesNet的实验超参数中没有对CFG.NULL_VAL进行设置(其他Baseline中设置了CFG.NULL_VAL = 0.0)

Image 以上是TimesNet的实验general参数设定 Image 以上是STID的实验general参数设定

我针对这个参数进行了下面的消融实验:在UK数据集上,STID在取消CFG.NULL_VAL参数设置(和TimesNet默认保持一致)的时候可以获得Avg MAE 2.80(原文是3.23)的性能,高于原文UK数据集上所有Baseline的性能,如下图
Image

在UK数据集上,TimesNet在设置CFG.NULL_VAL = 0.0 (和包括STID在内的其他Baseline保持一致)的时候只能获得Avg MAE 3.35(原文是2.81)的性能,如下图

Image

因此我疑惑TimesNet在文中性能的领先来自于不公平的,模型无关的训练超参数设置。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions