feat: prepare OpenSearch fragment index
This commit is contained in:
@@ -1,19 +1,19 @@
|
||||
# Статус проекта
|
||||
|
||||
Последняя проверка: 2026-08-10
|
||||
Последняя проверка: 2026-08-13
|
||||
Назначение документа: быстро восстановить контекст проекта для участников команды и будущих агентов.
|
||||
|
||||
- Telegram-бот: `0.2.2`
|
||||
- Telegram-бот на Synology: `0.2.1`
|
||||
- Backend: `0.2.2`
|
||||
- Backend: `0.3.0`
|
||||
- Frontend: не создан
|
||||
|
||||
## Краткий итог
|
||||
|
||||
Репозиторий переориентирован с отдельного бота на весь проект юридической информационно-аналитической платформы. Telegram-бот выделен в инструмент рабочего окружения. Реализованы возобновляемая выгрузка документов из официального Open Data API ЦБД Минюста КР и их локальная воспроизводимая нормализация.
|
||||
|
||||
Ближайшая цель — выполнить полный проход нормализатора, проверить отчёт ошибок
|
||||
и качество контрольной выборки RU/KY, затем подготовить индекс OpenSearch.
|
||||
Ближайшая цель — развернуть проверяемый OpenSearch с `analysis-icu`, загрузить
|
||||
подготовленный Bulk NDJSON и оценить поиск на 50–100 запросах RU/KY.
|
||||
|
||||
## Уже сделано
|
||||
|
||||
@@ -74,6 +74,9 @@
|
||||
- Реализован backend-нормализатор версии `0.2.2` без внешних зависимостей.
|
||||
- Нормализатор создаёт канонические метаданные, безопасный HTML, чистый текст и адресуемые фрагменты RU/KY.
|
||||
- SQLite-манифест обеспечивает возобновление, повтор ошибок и пропуск неизменившихся документов.
|
||||
- Полный проход завершён: 209 958 документов нормализованы без ошибок.
|
||||
- Контрольная выборка RU/KY прошла проверки текста, фрагментов, ID и SHA-256.
|
||||
- Добавлены строгий mapping и атомарный Bulk NDJSON-экспорт для OpenSearch.
|
||||
|
||||
### Развёртывание
|
||||
|
||||
@@ -132,6 +135,13 @@
|
||||
|
||||
## История изменений статуса
|
||||
|
||||
### 2026-08-13
|
||||
|
||||
- Подтверждена полная успешная нормализация 209 958 загруженных документов.
|
||||
- Единственный отсутствующий документ `6` повторно не отдан API Минюста.
|
||||
- Добавлены mapping фрагментов и потоковый экспорт для OpenSearch Bulk API.
|
||||
- Версия backend обновлена до `0.3.0`.
|
||||
|
||||
### 2026-08-12
|
||||
|
||||
- Нормализатор запрещает пересекающиеся каталоги источника и результата,
|
||||
@@ -197,4 +207,4 @@
|
||||
|
||||
---
|
||||
|
||||
Акылдаш · Telegram-бот v0.2.2 · Backend v0.2.2 · Frontend — не создан
|
||||
Акылдаш · Telegram-бот v0.2.2 · Backend v0.3.0 · Frontend — не создан
|
||||
|
||||
@@ -398,4 +398,4 @@ Git сохраняет актуальную версию
|
||||
|
||||
---
|
||||
|
||||
Акылдаш · Telegram-бот v0.2.2 · Backend v0.2.2 · Frontend — не создан
|
||||
Акылдаш · Telegram-бот v0.2.2 · Backend v0.3.0 · Frontend — не создан
|
||||
|
||||
Reference in New Issue
Block a user