[HW8] The definition of 'tokens' in "Number of tokens to predict"

[shyukahn]

이름 Your Name

안세혁 Sehyuk Ahn

질문 Question

안녕하세요, HW8에 주어진 조건 중에 질문드리고 싶은 부분이 있습니다.
과제 설명에 따르면 생성기(generator)가 전달받는 명령 인자 중 -n <num>은 생성할 token의 개수를 설정합니다.
주어진 개수의 token을 생성하도록 저희가 구현해야하는 것으로 보이는데, 여기서 'token'은 언어 문법(JSON/Python)의 token과 언어 모델(LM)의 token 중 어떤 토큰을 의미하나요?

번역본 Translated Version

Hello, I have a question regarding the conditions provided for HW8.

According to the assignment description, the command-line argument -n <num> passed to the generator sets the number of tokens to be generated. It appears we need to implement it so that it generates the specified number of tokens. In this context, does 'token' refer to the tokens of the language syntax (JSON/Python) or the tokens used by the language model?

[duncan020313]

언어 모델의 토큰 수입니다.

---

The number of tokens in the language model.

[shyukahn]

답변 감사드립니다!

---

Thank you for your reply!