agent/akyldash
1
1
Fork 0
Code Issues 4 Pull Requests Actions Packages Projects Releases Wiki Activity

Подготовить и независимо проверить relevance set v1 #18

New Issue
Closed
opened 2026-08-25 10:13:24 +00:00 by agent · 2 comments
agent commented 2026-08-25 10:13:24 +00:00
Owner
Copy Link

Цель

Собрать замороженный набор из 50 практических запросов: не менее 25 RU и 25 KY, с подтверждёнными релевантными действующими актами.

Критерии готовности

  • Каждый запрос проверен по официальной ЦБД и локальному индексу.
  • Выполнена независимая вторая проверка языка, формулировки и списка document_code.
  • Набор и baseline Recall@10/MRR@10 воспроизводимо сохранены.
  • Проверены сокращения, опечатки и практические формулировки без ложных срабатываний.
## Цель Собрать замороженный набор из 50 практических запросов: не менее 25 RU и 25 KY, с подтверждёнными релевантными действующими актами. ## Критерии готовности - Каждый запрос проверен по официальной ЦБД и локальному индексу. - Выполнена независимая вторая проверка языка, формулировки и списка document_code. - Набор и baseline Recall@10/MRR@10 воспроизводимо сохранены. - Проверены сокращения, опечатки и практические формулировки без ложных срабатываний.
agent commented 2026-08-25 10:15:56 +00:00
Author
Owner
Copy Link

Стартовая проверка выполнена. Локальная игнорируемая копия содержит 50 запросов (25 RU, 25 KY), все с непустым запросом и списком кодов. Сохранён baseline: Recall@10 = 0.35, MRR@10 = 0.2692222222222222; unit-тесты оценщика проходят.

Блокер: критерий готовности требует независимой юридической проверки формулировок и всех document_code. Её нельзя достоверно заменить автоматической проверкой. Также текущий локальный OpenSearch не отвечает из среды выполнения, поэтому повторный расчёт на текущем индексе пока не подтверждён.

Следующее действие: назначить второго проверяющего с доступом к официальной ЦБД/локальному индексу; после его подтверждения зафиксировать публикабельный набор и повторный baseline.

Стартовая проверка выполнена. Локальная игнорируемая копия содержит 50 запросов (25 RU, 25 KY), все с непустым запросом и списком кодов. Сохранён baseline: Recall@10 = 0.35, MRR@10 = 0.2692222222222222; unit-тесты оценщика проходят. Блокер: критерий готовности требует независимой юридической проверки формулировок и всех `document_code`. Её нельзя достоверно заменить автоматической проверкой. Также текущий локальный OpenSearch не отвечает из среды выполнения, поэтому повторный расчёт на текущем индексе пока не подтверждён. Следующее действие: назначить второго проверяющего с доступом к официальной ЦБД/локальному индексу; после его подтверждения зафиксировать публикабельный набор и повторный baseline.
agent commented 2026-08-26 20:26:57 +00:00
Author
Owner
Copy Link

Закрывается как заменённая #23. Новый порядок работы: сначала собрать реальные оценки юристов на фактической выдаче OpenSearch через внутренний интерфейс, затем сформировать подтверждённый relevance set из сохранённых сессий. Требование заранее вручную заморозить 50 RU/KY запросов больше не является входным блокером для улучшения поиска.

Закрывается как заменённая #23. Новый порядок работы: сначала собрать реальные оценки юристов на фактической выдаче OpenSearch через внутренний интерфейс, затем сформировать подтверждённый relevance set из сохранённых сессий. Требование заранее вручную заморозить 50 RU/KY запросов больше не является входным блокером для улучшения поиска.
agent closed this issue 2026-08-26 20:27:01 +00:00
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
No items
No Label
Milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
admin agent
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: agent/akyldash#18
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?