ELECTRA 모델링

huggingface 라이브러리를 활용한 KoELECTRA 모델링

Requirements

• python==3.9.12
• transformers==4.14.1
• pytorch==1.10.1
• cudatoolkit==11.3.1

conda를 활용한 환경 구성

$ conda create --name <env> --file <this file>

Usage

Modeling

$ python text_classification.py

Output 구성

.
└── checkpoint-500
    ├── config.json  # 추론에 필수
    ├── optimizer.pt
    ├── pytorch_model.bin  # 추론에 필수
    ├── rng_state.pth
    ├── scheduler.pt
    ├── special_tokens_map.json
    ├── tokenizer_config.json  # 추론에 필수
    ├── tokenizer.json  # 추론에 필수
    ├── trainer_state.json
    ├── training_args.bin
    └── vocab.txt

Inference

서버용, TorchScript, 경량화 3개 버전 추론

$ python inference.py

Embedded

TorchScript, Post Training Dynamic Quantization를 활용한 임베디드 및 경량화

$ python optimize.py

Dockerize

./app 폴더에서 배포하고자 하는 환경에 맞춰 main_server.py 혹은 main_edge.py 파일명을 main.py로 변경한 후 도커 빌드

Reference

• Fine-tune
• Text classification
• Pipelines for inference
• Tokenizer
• TorchScript
• Qunatization
• How to resume training
• Token classification metrics