llm 파인튜닝 하드웨어 사양 알려주시면 정말 감사드리겠습니다. #3
Description
안녕하세요. 저는 이번에 a100, 80G 8장을 구매했습니다.
폴리그롯 12.8b or llama 65b or 여러 llm model(kaist ai, xgen, open llama)들을 full fine-tuning 및 lora fine-tuning 을 진행 해보려하는데
몇가지 정보들이 필요합니다.
- os 버전
- package 정보
- cuda 버전
- 이외에 추가해야 하는 application 및 정보
간단하게라도 이부분 알려주시면 정말 감사하겠습니다. 부탁드립니다!