我在跑squad1.1的数据，GTX1080，预计40多个小时，请问你当初花了多久？

[wang001]

我尝试将你的代码在SQuADv1.1上运行，但是运行时间远超论文中所说的20个小时。

[SparkJiao]

Allennlp本身就要比朴素的框架慢一些（实现里面为了避免oom用了lazy模式去读数据），我跑一个epoch大约要1个半小时左右。
而且我的优化器用的是sgd，你可以换成adamax，收敛应该会快很多

[wang001]

我不是和你一样把一个passage对应的多个q,a，而且貌似我将p,q,a单独组合在一起的策略降低了效率。我把训练杀死了，使用了adamax，代码懒得改了，明天还要考试。跑完了告诉你结果。

[SparkJiao]

拆开的话应该不会降低效率，你可以试试去掉lazy模式，batch size开大一点

[wang001]

batch size=32，显存占用7300m，再大就会爆显存。但是我在NVIDIA-SMI里面看到显存利用率比较高，但是显卡利用率很低，而且不稳定，应该是说明显卡计算时间很少。而且lazy模式怎么去掉？只用在json把它修改为false？

[SparkJiao]

对 dataset_reader那一项里改成false就可以了
计算资源用的少的话……可能是我的实现并行程度不够高……如果我有空的话我会考虑再优化一下

[SparkJiao]

另：optimizer也是在json文件里改一下就可以了

[wang001]

都改完了

[wang001]

谢谢你的帮助！

[wang001]

训练了11个epoch，刚刚发现过拟合了，已经。训练集上F1: 81，验证集上F1:76

[SparkJiao]

sorry，没有仔细看邮件，看分数好像不是很理想，我这两天看了下代码，暂时不知道有什么可以提升的地方emm 可能需要多试试参数

[wang001]

我将dropout改为0.4后，训练了20个epoch，验证集上最好的是第19个epoch，此时验证集F1: 79.1，训练集F1: 74.2

[SparkJiao]

是EM分数吗？那比较接近了

[wang001]

EM是69.7，我说的是F1

[SparkJiao]

那差的挺多的…… 可能得改一下其他参数

[wang001]

我这几天会继续尝试一下，如果有进展会告诉你，没有的话就准备试试QAnet之类的了