Skip to content

Latest commit

 

History

History
24 lines (21 loc) · 559 Bytes

File metadata and controls

24 lines (21 loc) · 559 Bytes

todo

transformers

lang

  1. 로딩
  • 토큰화
  • 모델
    • 모델의 인풋은 Text인데
  1. 데이터 쿼리
  • csv read
  1. 토큰화
    • 아티클 부분만 가져와서
    • 아티클으 쪼갠 개수만큼 토큰화를 한다
  2. create summary
    • 토큰화 된 것을 model에 넣으면 됨
    • 편의상 csv 옆에 붙임 (데이터 셋이 완성됨)

  1. 텍스트 임베딩 (기계화) 후 저장 (크로마?)
  2. 랭체인 로딩
  3. 로딩 되었다면 사용자 쿼리가 옴
  4. 랭체인한테 런~
  5. output이 나옴