Затыкание дыр в БЗ

[TonitaN]

Когда вольётся основная масса данных из БЗ, придётся ещё заполнять смысловые промежутки между ними. Поскольку в этом варианте всё повеселее пока с LLM (в другом ещё нет подключения эмбеддинга вообще), с этим я помогу (залью несколько элементов в БЗ от себя), но и другие могут посильно включаться. С мерой близости ещё тоже нужно доразобраться (много лишнего в контексте, из-за чего иногда бывает ухудшение), и подумать про ключевые слова, но уже ориентиры на реальные проблемы в БЗ хотя бы минимальные появились.

UPD: Часть хорошо написанных элементов БЗ можно расшарить между двумя группами. С текущей сильной моделью не вижу смысла вставлять в БЗ смысловые дубли вопросов "чтобы было", поэтому расшарится не то чтобы очень много.

[TonitaN]

Очень классно начат ответ, и видно, что контекст удачно сработал, но закончен, к сожалению, галлюцинацией:
https://gist.github.com/stewkk/60447a1872454c005ff3c5226a58996b
Т.е. тут очевидная дыра в БЗ.

Проблемы: нет ни одного подробного разбора аналогичной задачи. Нет подсказки про сохранение регулярной структуры.

[TonitaN]

Дыра в БЗ, особенно заметная в сочетании с нечёткой метрикой:
https://gist.github.com/stewkk/3a7fdeb81504e4d29e6c84d831b0b8b8
Нигде не сказали, что лемма о накачке не является достаточным условием КС-свойства. И ответ с пересечением тоже явно требует развёртки.

[TonitaN]

Нужна тонкая настройка, чтобы LLM меньше путал регулярные и нерегулярные языки в таких примерах. В частности, примеры с точно регулярными:
https://gist.github.com/stewkk/cca74585dc76ca912da5b6a18409d6d7

[TonitaN]

Тут какие-то жёсткие галлюцинации. 100500 раз надо повторить, что регулярные языки всегда КС, и как-то ещё донести, что такие примеры не подходят под регулярные (разбор a^n b^n явно?).
https://gist.github.com/stewkk/b1e7ce454c8fb733c7559f9bf16130ae

[TonitaN]

Зияющая дыра, которую пока никто даже не пробовал затыкать:
https://gist.github.com/stewkk/dec4c48ca845dc6e6e20948eae14f7eb

[TonitaN]

Очень коварная галлюцинация, которая в реальности будет сбивать с толку новичков:
https://gist.github.com/stewkk/bb024f603b30d4cf4b910dbe812240e8

[TonitaN]

Это гроб, и по жизни трудно с такими терминами разбираться, а уж в LLM...

https://gist.github.com/stewkk/b7cbc4b98bb317c7f28e99fdbda5aa67

[TonitaN]

А вот тут единогласно галлюцинируем:
https://gist.github.com/stewkk/12b2b89098ccece35bee87f03403294c

[TonitaN]

Тут одинаково плохо всё - нужно больше контекстов про иерархию языков
https://gist.github.com/stewkk/5c1cb414730a86d792f759045c55a5f1

[TonitaN]

Тут видно, какими запросами нужно пополнять БЗ ещё
https://gist.github.com/stewkk/a746ae7f44e8ee7e72907def088d0044
В нынешнем контексте LLM не различает понятия эквивалентности множеств и выразимости одного через другое.

[TonitaN]

Магический язык Дика
https://gist.github.com/stewkk/401ae0681a1c1f3ab728f72a0948acbd

[TonitaN]

Мало общепринятых сокращений, только один элемент БЗ упоминает PDA
https://gist.github.com/stewkk/e6c3cc0a0a64dacf49eaec57072c0510
Если будет присоединение ключевых слов, то и не нужно, но похоже, в таких случаях можно обойтись и без них, если расширить БЗ с упоминанием соответствующих терминов

[TonitaN]

@molivka , FYI

https://gist.github.com/stewkk/7e9717373b2caa30abea7c1b218ced2a

https://gist.github.com/stewkk/eba3019c0f3818716ab12b3d62d7a074

https://gist.github.com/stewkk/5478a75d41d800876104b46270a21fbf