From 70c70fb7dd511b166c0383138d201d64affe94bc Mon Sep 17 00:00:00 2001 From: Codex Agent Date: Sat, 12 Sep 2026 08:52:55 +0300 Subject: [PATCH] docs: clarify relevance set validation workflow --- docs/operations/project-status.md | 4 ++-- docs/product/frontend-design-readiness-plan.md | 11 ++++++----- 2 files changed, 8 insertions(+), 7 deletions(-) diff --git a/docs/operations/project-status.md b/docs/operations/project-status.md index 43f24f5..fc9c3e4 100644 --- a/docs/operations/project-status.md +++ b/docs/operations/project-status.md @@ -79,8 +79,8 @@ - Полный проход завершён: 209 958 документов нормализованы без ошибок. - Контрольная выборка RU/KY прошла проверки текста, фрагментов, ID и SHA-256. - Добавлены строгий mapping и атомарный Bulk NDJSON-экспорт для OpenSearch. -- Подготовлены русскоязычный и кыргызскоязычный бланки юридической проверки - relevance set v1 и пошаговая инструкция для юриста. +- На предыдущей итерации использовались Excel/PDF-бланки юридической проверки; + текущий процесс опирается на relevance set и внутреннюю лабораторию. ### Развёртывание diff --git a/docs/product/frontend-design-readiness-plan.md b/docs/product/frontend-design-readiness-plan.md index ce1ea0a..3321800 100644 --- a/docs/product/frontend-design-readiness-plan.md +++ b/docs/product/frontend-design-readiness-plan.md @@ -52,13 +52,14 @@ alias без смешивания старого и нового корпуса. 1. Заполнить рабочую копию из `backend/search/relevance-set-v1.template.json` естественными формулировками пользователей и подтверждёнными `document_code` релевантных действующих актов. -2. Проверить каждый запрос по официальной ЦБД и локальному индексу; не - включать запросы без установленного эталонного результата. +2. Подтвердить документы по официальной ЦБД и проверить их наличие в локальном + индексе по `document_code`, не оценивая порядок поисковой выдачи. Не включать + запросы без установленного эталонного результата. 3. Провести независимую вторую проверку языка, формулировки и полного списка кодов. Спорные результаты не включать до согласования. -4. После проверки сохранить неизменяемую копию набора и baseline - `Recall@10`/`MRR@10`; новые правила ранжирования оценивать только сравнением - с этим baseline. +4. После независимой проверки сохранить неизменяемую копию набора, затем + оценить собственную выдачу и сохранить baseline `Recall@10`/`MRR@10`. Новые + правила ранжирования проверять на том же наборе и сравнивать с baseline. 5. Отдельно проверить распространённые сокращения, опечатки и запросы о практическом действии. Правило принимается, только если улучшает подтверждённые запросы и не создаёт ложных срабатываний в негативных