口令中的日期模式统计

文件：main.py，date_utils.py

用法：python main.py --mode date --datafile [csdn | yahoo]

数据文件：csdn.json或yahoo.json：json 格式的列表数据，列表每一项为一条口令

输出：

1. csdn_match.json或yahoo_match.json，存放 模式-模式对应的口令列表 的映射

2. 命令行打印 csv 格式的统计结果，如：

构成成分\顺序, 总计, 年月, 月年, 月日, 日月, 年月日, 月日年, 日月年, 年日月, 月年日, 日年月
月份全称, 3311, \, \, \, \, \, \, \, \, \, \
月份全称&d, 342, \, \, 301, 41, \, \, \, \, \, \
月份全称&dd, 1801, \, \, 1552, 249, \, \, \, \, \, \
月份全称&yy, 1356, 187, 1169, \, \, \, \, \, \, \, \
月份全称&yyyy, 415, 88, 327, \, \, \, \, \, \, \, \
月份缩写, 33340, \, \, \, \, \, \, \, \, \, \
月份缩写&d, 3113, \, \, 2675, 438, \, \, \, \, \, \
月份缩写&dd, 16321, \, \, 14467, 1854, \, \, \, \, \, \
月份缩写&yy, 12895, 1588, 11307, \, \, \, \, \, \, \, \
月份缩写&yyyy, 3460, 427, 3033, \, \, \, \, \, \, \, \
yyyy, 438938, \, \, \, \, \, \, \, \, \, \
yyyy&mm, 18306, 14353, 3953, \, \, \, \, \, \, \, \
yyyy&mm&dd, 592117, \, \, \, \, 437105, 11361, 10015, 127952, 3682, 2002
yy&mm, 92413, 54063, 38350, \, \, \, \, \, \, \, \
yy&mm&dd, 1144695, \, \, \, \, 341782, 184922, 137743, 324793, 56216, 99239
mm&dd, 421223, \, \, 290399, 130824, \, \, \, \, \, \
m&--&d, 16, \, \, 11, 5, \, \, \, \, \, \
m&-&d, 512, \, \, 369, 143, \, \, \, \, \, \
m&/&d, 101, \, \, 66, 35, \, \, \, \, \, \
m&\&d, 0, \, \, 0, 0, \, \, \, \, \, \
m&.&d, 4097, \, \, 3599, 498, \, \, \, \, \, \

口令中的高频词统计

python main.py --mode token --datafile [csdn | yahoo]

训练 BPE tokenizer，从口令数据集中提取高频子串（token），结果按照出现频率排序

口令中的英文单词的使用统计

文件：main.py，word_utils.py

用法：python main.py --word_dic ./data/words.txt --datafile [csdn | yahoo] --output output/yahoo_result.txt --cs [True | False]

数据文件：除了和日期模式统计一样的 json 文件之外，需要添加英语单词的字典，存储在 ./data/words.txt, 每一行是一个单词。

匹配密码中的英文单词，并设定是否区分大小写，最后根据单词出现的频率排序并输出到文件。