docs: align relevance review with internal search #30
Reference in New Issue
Block a user
Delete Branch "docs/relevance-legal-review"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Переработана документация под проверку собственной поисковой системы через существующую внутреннюю лабораторию (issue #23). ЦБД Минюста используется только как авторитетный источник для проверки документов и редакций при подготовке эталонной разметки; её порядок выдачи не сравнивается. Устаревшие Excel/PDF бланки удалены. Второй портал не добавляется: лаборатория уже реализована в main.
Найдена блокирующая документационная несогласованность:
docs/product/relevance-set-v1-legal-review.mdссылается на лист «Пример заполнения», аdocs/README.mdобещает отдельный пример, но в текущемВыборка-ru.xlsxесть только лист «Проверка RU». Добавьте этот лист или исправьте обе формулировки, иначе инструкция направляет проверяющего к несуществующему материалу. Остальной diff, ссылки и согласованность 50 строк RU/KY проверены;PYTHONPATH=backend python3 -m unittest backend/test_search_relevance.pyпроходит.Повторный независимый review завершён: прежний блокер устранён — упоминаний несуществующего листа «Пример заполнения» нет, документация ведёт к отдельным RU/KY бланкам с листами «Проверка RU/KY». Проверены актуальный полный diff, внутренние Markdown-ссылки, целостность XLSX и согласованность статуса/инструкций; блокирующих замечаний нет.
Согласуется ли этот PR с задачами issue?
@admin PR #30 продолжает исходную #18 — независимую проверку замороженного набора из 50 RU/KY. Но #18 закрыта как заменённая #23: текущий процесс предполагает собирать оценки юристов на фактической выдаче OpenSearch через внутреннюю лабораторию, а затем формировать relevance set. PR #30 добавляет отдельные Excel-бланки и ставит эту ручную проверку первым шагом, поэтому напрямую текущему workflow #23 и main не соответствует. Эти бланки могут быть дополнительным материалом для readiness gate #21, но это нужно подтвердить. Предлагаю выбрать: оставить бланки как дополнение к лаборатории и обновить документацию под текущий процесс либо считать их заменёнными и закрыть PR. Пока решение не принято, однозначно подтвердить соответствие PR целям issue нельзя.
Уточнение к моему комментарию выше: цель проекта — проверять и улучшать нашу собственную поисковую систему. Issue #23 и внутренняя лаборатория — основной способ оценивать её выдачу. ЦБД Минюста используется только как авторитетный источник для проверки актов и разметки эталона; сравнивать с ней поисковую выдачу не нужно. Поэтому Excel-бланки из PR #30 не нужны как отдельный обязательный этап или как средство сравнения с поиском Минюста. Их можно оставить только как вспомогательный способ вручную подтвердить ground truth по официальным документам, если они действительно упрощают эту проверку.
docs: legal review materials and project statusto docs: align relevance review with internal searchНезависимый review полного текущего diff завершён. Нашёл один блокирующий вопрос согласованности документации и одно неблокирующее устаревшее утверждение:
Блокер: новая инструкция
backend/search/RELEVANCE_ANNOTATION.mdтребует зафиксировать ground truth до просмотра OpenSearch, а затем отдельно оценить собственную выдачу в/review. При этом следующий readiness-документdocs/product/frontend-design-readiness-plan.mdвсё ещё требует проверять каждый запрос «по официальной ЦБД и локальному индексу» на этапе подготовки relevance set. Это оставляет неясным, нужно ли просматривать выдачу до её фиксации, и сохраняет расхождение в документах следующего этапа (#21). Согласуйте формулировки, сохранив ЦБД источником проверки документов, а OpenSearch — объектом оценки после фиксации набора.Неблокирующее:
docs/operations/project-status.mdв разделе «Уже сделано» всё ещё утверждает, что подготовлены RU/KY Excel-бланки и инструкция, хотя PR удаляет эти формы. Удалите/уточните текущий пункт; историческая запись в журнале изменений за 2026-09-06 допустима.git diff --checkпроходит; diff содержит только 4 документа,.gitignoreне попал в PR. Реализация маршрута/reviewи workflow лаборатории соответствуют описанию. До устранения пункта 1 не считаю документационное согласование PR завершённым.Повторный независимый review полного PR #30 после
70c70fbзавершён.Оба предыдущих замечания устранены: (1) readiness plan разрешает сверить наличие canonical
document_codeв локальном корпусе, запрещает оценивать порядок выдачи до freeze и ставит baseline собственной выдачи после фиксации ground truth; (2) project-status описывает Excel/PDF-бланки как предыдущую итерацию, не утверждая, что они доступны в текущем процессе.Проверил все 5 файлов PR и связанный контекст issue #18 (закрыта), #23 (открыта, цель — оценка собственной выдачи) и #21 (открыта, readiness gate). Ссылка на инструкцию relevance set существует;
/reviewреализован в текущем API и сервер по умолчанию привязывается к localhost. Новых блокирующих замечаний не нашёл.git diff --checkпроходит; локальное изменение.gitignoreне входит в diff.Финальный независимый review полного PR #30 после
7e07f3aзавершён. Оба прежних замечания закрыты: readiness plan теперь отделяет проверку наличия документов в локальном индексе от оценки ранжирования, аproject-statusописывает Excel/PDF-бланки только как предыдущую итерацию. Проверены changelog-коммит и все 6 файлов PR: документация согласована с целью оценивать собственную выдачу OpenSearch через существующий/review; ЦБД Минюста указана только как источник для подтверждения ground truth; второго портала нет; ссылки на инструкцию и/reviewвалидны..gitignoreвне PR.git diff --checkпроходит. Новых блокирующих замечаний нет.