Generación de modelo de lenguaje basado en transcripciones de EFINFO del 2017 y 2018.
Ken Language Model y algunas dependencias
https://kheafield.com/code/kenlm/dependencies/
sudo apt-get install libcurl4
sudo apt install libeigen3-dev
Si ya se tienen los modelos generados o se van a usar los modelos de esta distribución solamente hay que tener python3 y kenlm==0.0.0.
pip3 install kenlm
Ejecutar el script de ejemplo
$python example.py
Loading the LM will be faster if you build a binary file.
Reading models/transcrip_efinfo_noloc_2017-2018.arpa
----5---10---15---20---25---30---35---40---45---50---55---60---65---70---75---80---85---90---95--100
****************************************************************************************************
5-gram model
ese comentario me parece muy bueno .
-21.396728515625
-4.498722076416016 2: <s> ese
-3.3212199211120605 2: ese comentario
-2.713170051574707 2: comentario me
-1.1322113275527954 2: me parece
-1.2292165756225586 3: me parece muy
-2.3222291469573975 4: me parece muy bueno
-5.933176517486572 1: .
-0.24678166210651398 2: . </s>
- KenLM - KenLM Language Model Toolkit
- Alejandro Molina villegas - dblp
En proceso