Skip to content

MultiWOZ 2.2, 2.3 데이터셋을 사용할 수 있도록 코드 수정.#4

Open
JJinIT wants to merge 5 commits intoclovaai:masterfrom
JJinIT:master
Open

MultiWOZ 2.2, 2.3 데이터셋을 사용할 수 있도록 코드 수정.#4
JJinIT wants to merge 5 commits intoclovaai:masterfrom
JJinIT:master

Conversation

@JJinIT
Copy link
Copy Markdown

@JJinIT JJinIT commented Dec 16, 2020

som-dst모델에서 기본적으로 MultiWOZ 2.1을 사용하고 있는데요.
최근에 2.2와 2.3이 릴리즈되어서 최신 데이터셋도 사용할 수 있도록 해보았습니다.
데이터셋은 2.1 포맷으로 컨버팅하여 JJinIT/som-dst에 wget으로 다운로드 가능하게 해두었구요.
개인적으로 테스트해보니 2.2일떄 조금 더 성능이 잘 나오는것 같네요.
2.3에서는 성능이 현저하게 떨어지는데, 저희쪽 실험 환경이 잘못되었을 수 있습니다.

아래는 Google Colab에서 batch_size=16으로 30 epochs 돌리고 얻은 evaluation 결과들입니다.

cc. @d4rk6un

@yukyunglee
Copy link
Copy Markdown

@JJinIT 안녕하세요. 먼저 converting된 2.2와 2.3 데이터셋을 업로드해주셔서 감사합니다. 2.2 데이터셋을 확인해보니 ontology 값이 MultiWOZ의 2.2 schema.json과 다른 것 같습니다. (현재 업로드된 Ontology는 2.1 version으로 생각됩니다) 아래의 링크에 schema.json을 MultiWOZ 2.1 format으로 변경한 ontology.json 파일을 업로드 해두었습니다. 감사합니다 🤗

2.2_ontology

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

3 participants