How to convert .txt file to .h5 file

[XiaoXiaoYi123]

ese /indices and /phrases?

[li-car-fei]

请问可以提供将txt文本序列转为对应的.h5文件的实现代码吗？

[guxd]

@li-car-fei
https://github.com/guxd/DialogBERT/blob/master/prepare_data.py
参考这个，用pytable 把dialog (a list of sequences)转成earray.

[li-car-fei]

@li-car-fei https://github.com/guxd/DialogBERT/blob/master/prepare_data.py 参考这个，用pytable 把dialog (a list of sequences)转成earray.

在deepcs中，你是使用了哪里的tokenizer呢？

[guxd]

deepcs没有用第三方tokenizer,是自己实现的简易的tokenizer. 直接把字符转换成字典里的序号