Собрать замороженный набор из 50 практических запросов: не менее 25 RU и 25 KY, с подтверждёнными релевантными действующими актами.
Критерии готовности
Каждый запрос проверен по официальной ЦБД и локальному индексу.
Выполнена независимая вторая проверка языка, формулировки и списка document_code.
Набор и baseline Recall@10/MRR@10 воспроизводимо сохранены.
Проверены сокращения, опечатки и практические формулировки без ложных срабатываний.
## Цель
Собрать замороженный набор из 50 практических запросов: не менее 25 RU и 25 KY, с подтверждёнными релевантными действующими актами.
## Критерии готовности
- Каждый запрос проверен по официальной ЦБД и локальному индексу.
- Выполнена независимая вторая проверка языка, формулировки и списка document_code.
- Набор и baseline Recall@10/MRR@10 воспроизводимо сохранены.
- Проверены сокращения, опечатки и практические формулировки без ложных срабатываний.
Стартовая проверка выполнена. Локальная игнорируемая копия содержит 50 запросов (25 RU, 25 KY), все с непустым запросом и списком кодов. Сохранён baseline: Recall@10 = 0.35, MRR@10 = 0.2692222222222222; unit-тесты оценщика проходят.
Блокер: критерий готовности требует независимой юридической проверки формулировок и всех document_code. Её нельзя достоверно заменить автоматической проверкой. Также текущий локальный OpenSearch не отвечает из среды выполнения, поэтому повторный расчёт на текущем индексе пока не подтверждён.
Следующее действие: назначить второго проверяющего с доступом к официальной ЦБД/локальному индексу; после его подтверждения зафиксировать публикабельный набор и повторный baseline.
Стартовая проверка выполнена. Локальная игнорируемая копия содержит 50 запросов (25 RU, 25 KY), все с непустым запросом и списком кодов. Сохранён baseline: Recall@10 = 0.35, MRR@10 = 0.2692222222222222; unit-тесты оценщика проходят.
Блокер: критерий готовности требует независимой юридической проверки формулировок и всех `document_code`. Её нельзя достоверно заменить автоматической проверкой. Также текущий локальный OpenSearch не отвечает из среды выполнения, поэтому повторный расчёт на текущем индексе пока не подтверждён.
Следующее действие: назначить второго проверяющего с доступом к официальной ЦБД/локальному индексу; после его подтверждения зафиксировать публикабельный набор и повторный baseline.
Закрывается как заменённая #23. Новый порядок работы: сначала собрать реальные оценки юристов на фактической выдаче OpenSearch через внутренний интерфейс, затем сформировать подтверждённый relevance set из сохранённых сессий. Требование заранее вручную заморозить 50 RU/KY запросов больше не является входным блокером для улучшения поиска.
Закрывается как заменённая #23. Новый порядок работы: сначала собрать реальные оценки юристов на фактической выдаче OpenSearch через внутренний интерфейс, затем сформировать подтверждённый relevance set из сохранённых сессий. Требование заранее вручную заморозить 50 RU/KY запросов больше не является входным блокером для улучшения поиска.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Цель
Собрать замороженный набор из 50 практических запросов: не менее 25 RU и 25 KY, с подтверждёнными релевантными действующими актами.
Критерии готовности
Стартовая проверка выполнена. Локальная игнорируемая копия содержит 50 запросов (25 RU, 25 KY), все с непустым запросом и списком кодов. Сохранён baseline: Recall@10 = 0.35, MRR@10 = 0.2692222222222222; unit-тесты оценщика проходят.
Блокер: критерий готовности требует независимой юридической проверки формулировок и всех
document_code. Её нельзя достоверно заменить автоматической проверкой. Также текущий локальный OpenSearch не отвечает из среды выполнения, поэтому повторный расчёт на текущем индексе пока не подтверждён.Следующее действие: назначить второго проверяющего с доступом к официальной ЦБД/локальному индексу; после его подтверждения зафиксировать публикабельный набор и повторный baseline.
Закрывается как заменённая #23. Новый порядок работы: сначала собрать реальные оценки юристов на фактической выдаче OpenSearch через внутренний интерфейс, затем сформировать подтверждённый relevance set из сохранённых сессий. Требование заранее вручную заморозить 50 RU/KY запросов больше не является входным блокером для улучшения поиска.