HW8: Constrained Decoding

[duncan020313]

안녕하세요.
마지막 과제 HW8에서 여러분은 조건부 생성 (constrained decoding) 알고리즘을 구현하게 됩니다.
조건부 생성은 언어 모델이 생성한 출력이 주어진 조건을 만족하도록 강제하면서 출력을 생성하는 기술입니다.
아래 링크로 저장소를 생성한 후 과제를 시작해주시기 바랍니다.

https://classroom.github.com/a/77bar4D1

다음은 과제 8의 세부 평가 기준입니다.

• 주어진 프롬프트에 대해서 여러분의 조건부 생성 알고리즘을 사용하여 최대 30토큰 (LLM 기준)의 출력을 생성합니다.
• 그 후, 생성된 코드가 문법을 만족하는지 확인하고, 만족하는 경우 코드의 길이를 점수로 획득합니다. 문법을 만족하지 않는 경우 0점으로 간주합니다.
• 최종 점수는 원점수를 0-100점 사이로 정규화하여 계산합니다.
• 모델이 생성한 토큰 이외에 임의의 토큰을 강제로 삽입하는 것은 허용되지 않습니다.

과제 마감 기한은 12월 21일(일) 이며, 늦은 제출이 없다는 점에 유의하시기 바랍니다.

감사합니다.

---

Hello everyone,

For the final assignment, HW8, you will implement a constrained decoding algorithm.
Constrained decoding is a technique that generates output while enforcing that the output produced by a language model satisfies a given constraint.
Please begin the assignment by creating a repository via the link below:

https://classroom.github.com/a/77bar4D1

Below are the detailed grading criteria for HW8:

• Using your constrained decoding algorithm, we'll generate an output of up to 30 (LLM) tokens for a given prompt.
• The generated code will then be checked for grammatical correctness. If it satisfies the grammar rules, the length of the code will be your score. If it does not satisfy the grammar, you will receive 0 points.
• The final score will be calculated by normalizing the raw score to a scale of 0–100.
• Forcibly inserting arbitrary tokens other than those generated by the model is not permitted.

The deadline for this assignment is Sunday, December 21st. Please note that late submissions will not be accepted.

[jihongmin63]

Do I require to check the coverage in this homework? Or, is it okay to skip like HW 5, 6, and 7?

[duncan020313]

커버리지는 측정하지 않아도 됩니다.

---

Coverage does not need to be measured.

[tgim4253]

안녕하세요, 현재 모델이 모든 로짓 후보가 아닌 일부 후보군만 반환하는 것 같습니다. 따라서 Model.generate의 인풋에만 임의로 문자를 추가하여(예: acc + '\n') 특정 토큰(예: ```)을 반환하도록 유도하는 것이 허용되나요?

Is it acceptable to intentionally add arbitrary characters (for example, '\n') to the input of Model.generate in order to encourage the model to produce a specific token (such as ```)?

[duncan020313]

최종 출력에 "```"를 삽입하는 것은 허용됩니다. 그 외에 Python, JSON 코드 자체를 삽입하는 것은 허용되지 않습니다.

---

Inserting "```" into the final output is permitted. Beyond that, inserting Python or JSON code itself is not permitted.

[tgim4253]

답변 감사합니다!

[heejbin]

혹시 NEWLINE을 삽입하는 것도 가능할까요? python, json 코드 자체는 아니라고 생각해서 여쭤봅니다.

[duncan020313]

혹시 NEWLINE을 삽입하는 것도 가능할까요? python, json 코드 자체는 아니라고 생각해서 여쭤봅니다.

```python과 ``` 사이에는 어떤 토큰도 임의로 삽입할 수 없습니다.

---

No tokens should be inserted between ```python and ```

[imYourChoi]

(다른 학우분께서 질문하셨던 부분인데 글이 사라진 것 같아 다시 질문 드립니다.)

안녕하세요,
"모델이 생성한 토큰 이외에 임의의 토큰을 강제로 삽입하는 것은 허용되지 않습니다."
라고 적혀있는데, 혹시 모델에 물어볼 때 프롬프트 엔지니어링은 허용이 될까요?
ex) "You must use 'while loop' rather than 'for loop' in Python. \n" + prompt 로 model에 질의를 묻는게 허용이 될까요??
"모델이 생성한 토큰 이외에 임의의 토큰을 강제로 삽입하는 것은 허용되지 않습니다."는 생성된 코드에 제가 임의로 토큰을 추가하면 안된다고 해석하면 될까요?
감사합니다.

---

Hello,
The instructions state: "It is not allowed to force the insertion of arbitrary tokens other than those generated by the model."
I would like to ask if prompt engineering is permitted under this rule. For example, would it be acceptable to query the model by modifying the prompt like this?
Example: "You must use 'while loop' rather than 'for loop' in Python. \n" + [original prompt]
Should I interpret the rule to mean that I am strictly prohibited from manually adding tokens to the generated output, but modifying the input prompt is allowed?
Thank you.

[duncan020313]

프롬프트 엔지니어링 역시 허용되지 않습니다.

---

Prompt engineering is also not permitted.

[Yonas-ga]

Hello,
I am sorry about this late message, but I do not understand how to run this homework.

I get this error:

I have tried many things, but cannot seem to run this without coming into a similar issue.
Should I modify dune, or something like that ? I thought we were not allowed to.

Note: I have not changed any files other than decode.ml

[leehahoon]

Hello.
I tested the same solution in your KCLOUD environment and confirmed that it runs properly.
Following the instructions in the assignment README,
run the server with run_inference -n 1, then run the built generator.

[leehahoon]

Also, it is recommended to build with 'make', not 'dune build.'

[Yonas-ga]

Thank you very much, make works !!