feat: prepare OpenSearch fragment index

This commit is contained in:
2026-08-13 00:39:37 +03:00
parent 30065925e4
commit ac5ed95f3a
16 changed files with 318 additions and 25 deletions

View File

@@ -1,19 +1,19 @@
# Статус проекта
Последняя проверка: 2026-08-10
Последняя проверка: 2026-08-13
Назначение документа: быстро восстановить контекст проекта для участников команды и будущих агентов.
- Telegram-бот: `0.2.2`
- Telegram-бот на Synology: `0.2.1`
- Backend: `0.2.2`
- Backend: `0.3.0`
- Frontend: не создан
## Краткий итог
Репозиторий переориентирован с отдельного бота на весь проект юридической информационно-аналитической платформы. Telegram-бот выделен в инструмент рабочего окружения. Реализованы возобновляемая выгрузка документов из официального Open Data API ЦБД Минюста КР и их локальная воспроизводимая нормализация.
Ближайшая цель — выполнить полный проход нормализатора, проверить отчёт ошибок
и качество контрольной выборки RU/KY, затем подготовить индекс OpenSearch.
Ближайшая цель — развернуть проверяемый OpenSearch с `analysis-icu`, загрузить
подготовленный Bulk NDJSON и оценить поиск на 50100 запросах RU/KY.
## Уже сделано
@@ -74,6 +74,9 @@
- Реализован backend-нормализатор версии `0.2.2` без внешних зависимостей.
- Нормализатор создаёт канонические метаданные, безопасный HTML, чистый текст и адресуемые фрагменты RU/KY.
- SQLite-манифест обеспечивает возобновление, повтор ошибок и пропуск неизменившихся документов.
- Полный проход завершён: 209 958 документов нормализованы без ошибок.
- Контрольная выборка RU/KY прошла проверки текста, фрагментов, ID и SHA-256.
- Добавлены строгий mapping и атомарный Bulk NDJSON-экспорт для OpenSearch.
### Развёртывание
@@ -132,6 +135,13 @@
## История изменений статуса
### 2026-08-13
- Подтверждена полная успешная нормализация 209 958 загруженных документов.
- Единственный отсутствующий документ `6` повторно не отдан API Минюста.
- Добавлены mapping фрагментов и потоковый экспорт для OpenSearch Bulk API.
- Версия backend обновлена до `0.3.0`.
### 2026-08-12
- Нормализатор запрещает пересекающиеся каталоги источника и результата,
@@ -197,4 +207,4 @@
---
Акылдаш · Telegram-бот v0.2.2 · Backend v0.2.2 · Frontend — не создан
Акылдаш · Telegram-бот v0.2.2 · Backend v0.3.0 · Frontend — не создан

View File

@@ -398,4 +398,4 @@ Git сохраняет актуальную версию
---
Акылдаш · Telegram-бот v0.2.2 · Backend v0.2.2 · Frontend — не создан
Акылдаш · Telegram-бот v0.2.2 · Backend v0.3.0 · Frontend — не создан