模型性能与论文报告存在差异，请求指导

[qqq202]

尊敬的何晓昕博士，

您好！

首先，感谢您和您的团队在图神经网络（GNN）领域所做的出色研究工作。我正在尝试复现实验，并使用了您提供的*.ckpt和*.emb文件进行测试。然而，我发现实验结果与论文中报告的性能存在一定差距，而更接近于您在GitHub Issue #7中提供的表格中的性能。

为了确保尽可能准确地复现实验，我仔细遵循了README中的说明，并尝试了几种不同的配置。以下是详细的运行命令和对应的实验结果：

环境信息

• OS: Windows 11
• Python version: 3.9.20
• CUDA version: 11.7
• Framework version: PyTorch 1.13.1

Cora 数据集

默认设置

python -m core.trainEnsemble gnn.model.name GCN dataset cora

• [TA] ValACC: 0.8676 ± 0.0239, TestAcc: 0.8616 ± 0.0164
• [P] ValACC: 0.8367 ± 0.0259, TestAcc: 0.8390 ± 0.0149
• [E] ValACC: 0.8695 ± 0.0187, TestAcc: 0.8690 ± 0.0075
• [ensemble] ValACC: 0.8676 ± 0.0237, TestAcc: 0.8727 ± 0.0171
• Running time: 29.48s

使用 feature_type=ogb

python -m core.trainEnsemble gnn.model.name GCN dataset cora gnn.train.feature_type ogb

• [ogb] ValACC: 0.8616 ± 0.0163, TestAcc: 0.8649 ± 0.0149
• [ensemble] ValACC: 0.8616 ± 0.0163, TestAcc: 0.8649 ± 0.0149
• Running time: 6.37s

使用 feature_type=TA

python -m core.trainEnsemble gnn.model.name GCN dataset cora gnn.train.feature_type TA

• [TA] ValACC: 0.8708 ± 0.0223, TestAcc: 0.8584 ± 0.0185
• [ensemble] ValACC: 0.8708 ± 0.0223, TestAcc: 0.8584 ± 0.0185
• Running time: 10.06s

Pubmed 数据集

默认设置

python -m core.trainEnsemble gnn.model.name GCN dataset pubmed

• [TA] ValACC: 0.9327 ± 0.0035, TestAcc: 0.9329 ± 0.0033
• [P] ValACC: 0.9226 ± 0.0032, TestAcc: 0.9235 ± 0.0052
• [E] ValACC: 0.9313 ± 0.0026, TestAcc: 0.9317 ± 0.0019
• [ensemble] ValACC: 0.9358 ± 0.0034, TestAcc: 0.9376 ± 0.0023
• Running time: 18.12s

使用 feature_type=ogb

python -m core.trainEnsemble gnn.model.name GCN dataset pubmed gnn.train.feature_type ogb

• [ogb] ValACC: 0.8465 ± 0.0110, TestAcc: 0.8484 ± 0.0115
• [ensemble] ValACC: 0.8465 ± 0.0110, TestAcc: 0.8484 ± 0.0115
• Running time: 5.98s

使用 feature_type=TA

python -m core.trainEnsemble gnn.model.name GCN dataset pubmed gnn.train.feature_type TA

• [TA] ValACC: 0.9318 ± 0.0035, TestAcc: 0.9331 ± 0.0031
• [ensemble] ValACC: 0.9318 ± 0.0035, TestAcc: 0.9331 ± 0.0031
• Running time: 6.51s

为了提高模型的表现，我已经尝试了以下方法：

• 确认所有依赖项版本与您的环境匹配。
• 严格按照README中的指令执行。
• 尝试不同的超参数配置。
• 检查数据预处理步骤以确保正确性。

尽管如此，我仍未能够显著提高模型的表现。因此，我想请求您的指导，是否有其他可能影响性能的因素或调整建议？例如：

• 是否有特定的训练技巧或超参数设置未在文档中详细说明？
• 数据集的预处理是否存在特殊要求？
• 模型训练过程中是否需要特别注意某些方面？
• 是否可以提供更多的训练细节或额外的配置选项？

非常感谢您抽出时间帮助我解决这个问题。如果您需要任何额外的信息或日志，请随时告知。

祝好，
qqq202