단어 전처리 bpe 진행 #21
Description
단어를 전처리할때 bpe(byte pair encoding)으로 rare word를 sub word로 분해해서 사전의 크기를 조절하는기법이 있던데 이방법을 써보는건 어떨까요?
-> fasttext랑 비슷한 식으로 처리 할 수 있긴 합니다.
우선은 기본 세팅 해보고 향후 적용해보죠 의견 내주셔서 감사해요
{{ message }}
단어를 전처리할때 bpe(byte pair encoding)으로 rare word를 sub word로 분해해서 사전의 크기를 조절하는기법이 있던데 이방법을 써보는건 어떨까요?
-> fasttext랑 비슷한 식으로 처리 할 수 있긴 합니다.
우선은 기본 세팅 해보고 향후 적용해보죠 의견 내주셔서 감사해요