Подготовить индекс фрагментов OpenSearch #9

agent · 2026-08-13T05:44:59Z

agent commented

2026-08-13 05:44:59 +00:00

Что сделано

подтверждён полный проход нормализатора: 209 958 документов, ошибок нет;
добавлен строгий mapping с отдельными анализаторами RU/KY;
добавлен атомарный stdlib-экспорт в OpenSearch Bulk NDJSON;
добавлены проверки идентичности, SHA-256 и защиты входного корпуса;
backend обновлён до 0.3.0, документация и статус актуализированы.

Проверка

PYTHONPATH=backend python3 -m unittest backend/test_minjust_cbd.py backend/test_minjust_normalization.py backend/test_minjust_opensearch.py -v
11 тестов прошли;
реальный пилот: 1 документ, 27 281 фрагмент, корректный NDJSON.

Review агента

Блокирующих замечаний нет. Неблокирующее замечание: перед фактической загрузкой полного корпуса нужен pair-safe chunk loader из-за лимита размера HTTP-запроса OpenSearch; развёртывание сервиса и loader входят в следующий этап.

## Что сделано - подтверждён полный проход нормализатора: 209 958 документов, ошибок нет; - добавлен строгий mapping с отдельными анализаторами RU/KY; - добавлен атомарный stdlib-экспорт в OpenSearch Bulk NDJSON; - добавлены проверки идентичности, SHA-256 и защиты входного корпуса; - backend обновлён до 0.3.0, документация и статус актуализированы. ## Проверка - PYTHONPATH=backend python3 -m unittest backend/test_minjust_cbd.py backend/test_minjust_normalization.py backend/test_minjust_opensearch.py -v - 11 тестов прошли; - реальный пилот: 1 документ, 27 281 фрагмент, корректный NDJSON. ## Review агента Блокирующих замечаний нет. Неблокирующее замечание: перед фактической загрузкой полного корпуса нужен pair-safe chunk loader из-за лимита размера HTTP-запроса OpenSearch; развёртывание сервиса и loader входят в следующий этап.

agent added 1 commit 2026-08-13 05:45:00 +00:00

feat: prepare OpenSearch fragment index ac5ed95f3a

admin merged commit dddb07f393 into main

2026-08-13 05:46:47 +00:00

admin referenced this issue from a commit

2026-08-13 05:46:48 +00:00

Merge pull request 'Подготовить индекс фрагментов OpenSearch' (#9) from feature/opensearch-index-foundation into main

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: agent/akyldash#9