Improve validate-paper and validate-doc pipeline #378
Conversation
BubbleNeumann
force-pushed
the
feature/requests-optimize
branch
from
04a719d to
3939ccc
Compare
BubbleNeumann
changed the title
|
А есть пример статьи и результата валидации? |
BubbleNeumann
force-pushed
the
feature/requests-optimize
branch
from
17e397d to
f9f8479
Compare
пример валидации исходный репозиторий: https://github.com/ai-chem/DiMag |
|
А как понять, как эксперимент в статье какому номеру соответствует? И кажется тут во всех экспериментах +- одно и то же описание. Без ссылок на раздел статьи и скрипты в репозитории выглядит не очень информативно |
Доработаю, спасибо |
Полноценное указание ссылок на источники вероятно масштабных доработок потребует, можно уже в отдельном PR. Возможно чем-то поможет код из https://github.com/ITMO-NSS-team/CoScientist/tree/main/CoScientist/paper_parser |
DRMPN
left a comment
DRMPN
left a comment
There was a problem hiding this comment.
Попробуй следующие "отрицательные" случаи, чтобы посмотреть ответы модели:
- Когда используешь нерелевантный документ
- Когда из документа убираешь несколько страниц
- Когда из репозитория удаляешь некоторые файлы
Так же можно попробовать использовать модель с reasoning, например:
- openai/o3
- anthropic/claude-haiku-4.5
- gpt-5
- grok 4
BubbleNeumann
force-pushed
the
feature/requests-optimize
branch
from
f9f8479 to
df8321d
Compare
…aperAnalyzer as sep module
BubbleNeumann
force-pushed
the
feature/requests-optimize
branch
4 times, most recently
from
02adba3 to
e8c5313
Compare
BubbleNeumann
force-pushed
the
feature/requests-optimize
branch
from
e8c5313 to
85e3d8d
Compare
DRMPN
left a comment
DRMPN
left a comment
There was a problem hiding this comment.
Ты прикрепила 2 отчета как пример:
DiMag_validation_report.pdf
DiMag_validation_report_fake.pdf
По коду вроде бы верно рассчитывается, но вместо 84% получилось 0.84% и т.д.
Посмотри, пожалуйста, из-за чего.
| # TODO: extract calculations to the separate module, + place for constants | ||
| percentages = int(sum(e.correspondence_percent for e in experiments) / len(experiments) * 100) | ||
| correspondence = percentages > 0.8 |
There was a problem hiding this comment.
Не уверен на счет этой константы.
Изначальная идея была в том, что ЛЛМ сама принимает решение.
|
|
||
| RULES: | ||
| - Return ONLY a valid JSON object with no additional text, explanations, or formatting. | ||
| - For "assessment", provide a brief assessment of how much of that specific experiment is implemented in the code base. Keep it in 1-2 sentences. |
There was a problem hiding this comment.
Может сюда добавить название файла с кодом и строки?
Проводим валидацию научной статьи по конкретному списку экспериментов. Для обработки ллм передаем только секцию экспериментов. В пайплайн добавлены промежуточные запросы к ллм.
Рефакторинг: ответственность за обработку статьи вынесена в модуль PaperAnalyze.
Closes #353