Настройки для GPT-2, GPT-3

[GhostLate]

Добрый день, подскажите, пожалуйста, какие настройки вы использовали для генерации предложений с помощью GPT2, GPT3?
Пробовал использовать те параметры, которые указаны в вашей работе - получаются совершенно другие предложения, которые и близко не стоят по смыслу. Также пытался подбирать вручную значения top_p [0.1:1] и temperature [0.1:1.9] при top_k=10 и n=5 - не помогло.
Получилось только добиться положительных результатов у модели MT5-large при top_p=0.78, temperature=1.2. А repetition_penalty пришлось вернуть к стандартному значению. Так как, при repetition_penalty=1 модель показывала более корректные результаты.

[Alenush]

Добрый день!

Зависит от данных.
Попробуйте вот так:

results = paraphraser.generate(
                              source, n=10, temperature=1, 
                              top_k=1, top_p=0.90, 
                              max_length=100, repetition_penalty=1.0,
                              threshold=0.8
                      )
                      best = results["results"][0]["best_candidates"]
                      best = [line for line in best if len(line) < len(source)]

ещё кстати ответ меняется от макс длины. Для GPT советую брать где-то столько же сколько изначальная длина фразы + немного, там от 20 до 50.

[GhostLate]

Попробовал с этими параметрами - результат получился такой, будто модель перечитала сводку новостей:

{
"origin": "Почти всех сбежавших членов экспедиции высадили на Сан-Кристобале, откуда они могли добраться прямым авиарейсом в Кито или Гуаякиль. Расчёт произвели полностью, добавив премиальных - понятно, что вернуться в Штаты те уже не могли. Хотя, с такими деньгами можно прекрасно устроиться хоть в Гондурасе, хоть в Болгарии. С Клюевым остались лишь братья-погодки Стрельцовы: Миша и Паша, не только служившие, но и воевавшие под его началом в своё время.",
"results": [
{
"origin": "Почти всех сбежавших членов экспедиции высадили на Сан-Кристобале, откуда они могли добраться прямым авиарейсом в Кито или Гуаякиль.",
"predictions": [
"Почти всех членов пропавшей аргентинской экспедиции высадили с самолета на острове в Тихом океане.",
"Почти всех членов пропавшей аргентинской экспедиции высадили с самолета на острове в Тихом океане.",
"Почти всех членов пропавшей аргентинской экспедиции высадили с самолета на острове в Тихом океане.",
"Почти всех членов пропавшей аргентинской экспедиции высадили с самолета на острове в Тихом океане.",
"Почти всех членов пропавшей аргентинской экспедиции высадили с самолета на острове в Тихом океане.",
"Почти всех членов пропавшей аргентинской экспедиции высадили с самолета на острове в Тихом океане.",
"Почти всех членов пропавшей аргентинской экспедиции высадили с самолета на острове в Тихом океане.",
"Почти всех членов пропавшей аргентинской экспедиции высадили с самолета на острове в Тихом океане.",
"Почти всех членов пропавшей аргентинской экспедиции высадили с самолета на острове в Тихом океане.",
"Почти всех членов пропавшей аргентинской экспедиции высадили с самолета на острове в Тихом океане."
],
"best_candidates": [
"Почти всех членов пропавшей аргентинской экспедиции высадили с самолета на острове в Тихом океане."
]
},
{
"origin": "Расчёт произвели полностью, добавив премиальных - понятно, что вернуться в Штаты те уже не могли.",
"predictions": [
"В США после скандала с премиями уволили сотрудника, "слившего" данные о клиентах в интернет.",
"В США после скандала с премиями уволили сотрудника, "слившего" данные о клиентах в интернет.",
"В США после скандала с премиями уволили сотрудника, "слившего" данные о клиентах в интернет.",
"В США после скандала с премиями уволили сотрудника, "слившего" данные о клиентах в интернет.",
"В США после скандала с премиями уволили сотрудника, "слившего" данные о клиентах в интернет.",
"В США после скандала с премиями уволили сотрудника, "слившего" данные о клиентах в интернет.",
"В США после скандала с премиями уволили сотрудника, "слившего" данные о клиентах в интернет.",
"В США после скандала с премиями уволили сотрудника, "слившего" данные о клиентах в интернет.",
"В США после скандала с премиями уволили сотрудника, "слившего" данные о клиентах в интернет.",
"В США после скандала с премиями уволили сотрудника, "слившего" данные о клиентах в интернет."
],
"best_candidates": [
"В США после скандала с премиями уволили сотрудника, "слившего" данные о клиентах в интернет."
]
},
{
"origin": "Хотя, с такими деньгами можно прекрасно устроиться хоть в Гондурасе, хоть в Болгарии.",
"predictions": [
"Депутат предложил россиянам зарабатывать на переездах в Гондурас и Болгарию.",
"Депутат предложил россиянам зарабатывать на переездах в Гондурас и Болгарию.",
"Депутат предложил россиянам зарабатывать на переездах в Гондурас и Болгарию.",
"Депутат предложил россиянам зарабатывать на переездах в Гондурас и Болгарию.",
"Депутат предложил россиянам зарабатывать на переездах в Гондурас и Болгарию.",
"Депутат предложил россиянам зарабатывать на переездах в Гондурас и Болгарию.",
"Депутат предложил россиянам зарабатывать на переездах в Гондурас и Болгарию.",
"Депутат предложил россиянам зарабатывать на переездах в Гондурас и Болгарию.",
"Депутат предложил россиянам зарабатывать на переездах в Гондурас и Болгарию.",
"Депутат предложил россиянам зарабатывать на переездах в Гондурас и Болгарию."
],
"best_candidates": [
"Депутат предложил россиянам зарабатывать на переездах в Гондурас и Болгарию."
]
},
{
"origin": "С Клюевым остались лишь братья-погодки Стрельцовы: Миша и Паша, не только служившие, но и воевавшие под его началом в своё время.",
"predictions": [
"Миша и Паша Стрельцовы, не только служившие, но и воевавшие под его началом в своё время, оставили след в истории.",
"Миша и Паша Стрельцовы, не только служившие, но и воевавшие под его началом в своё время, оставили след в истории.",
"Миша и Паша Стрельцовы, не только служившие, но и воевавшие под его началом в своё время, оставили след в истории.",
"Миша и Паша Стрельцовы, не только служившие, но и воевавшие под его началом в своё время, оставили след в истории.",
"Миша и Паша Стрельцовы, не только служившие, но и воевавшие под его началом в своё время, оставили след в истории.",
"Миша и Паша Стрельцовы, не только служившие, но и воевавшие под его началом в своё время, оставили след в истории.",
"Миша и Паша Стрельцовы, не только служившие, но и воевавшие под его началом в своё время, оставили след в истории.",
"Миша и Паша Стрельцовы, не только служившие, но и воевавшие под его началом в своё время, оставили след в истории.",
"Миша и Паша Стрельцовы, не только служившие, но и воевавшие под его началом в своё время, оставили след в истории.",
"Миша и Паша Стрельцовы, не только служившие, но и воевавшие под его началом в своё время, оставили след в истории."
],
"best_candidates": [
"Миша и Паша Стрельцовы, не только служившие, но и воевавшие под его началом в своё время, оставили след в истории."
]
}
]
}