agent
752bd38c9b
Reject overlapping source and destination roots before any write so normalization cannot replace the raw Ministry archive. Recover an interrupted directory publication before resume checks and require the normalized target to exist before skipping a manifest success. Treat malformed link and image URLs as unsafe attributes, add regressions for all review findings, and bump the backend version to 0.2.2.
Backend Акылдаш
Версия: 0.2.2
Первая backend-область проекта — загрузка правовых документов из официального
Open Data API ЦБД Минюста Кыргызской Республики. Код расположен в
ingestion/minjust_cbd.py: его можно запускать как CLI сейчас и импортировать
из будущего планировщика backend без запуска отдельного процесса.
Пробная загрузка
Из корня репозитория:
python3 backend/ingestion/minjust_cbd.py --limit 10
В интерактивном терминале отображаются процент, количество документов, ошибки, скорость и примерное оставшееся время.
Полная загрузка выполняется без --limit. По умолчанию архив сохраняется в
data/minjust-cbd, который исключён из Git. Повторный запуск пропускает уже
загруженные документы; --refresh принудительно проверяет их заново.
Если временный идентификатор списка API истечёт или запрос страницы исчерпает
повторы во время многодневной загрузки, скрипт пересоздаст список на текущей
странице и продолжит автоматически.
В версии 0.1.0 обновление существующих документов выполняется полной проверкой
через --refresh. Инкрементальную проверку по lastmod из sitemap следует
добавить вместе с backend-планировщиком, когда будет определена частота запуска.
Защита API
Запросы выполняются последовательно, по умолчанию не чаще одного в секунду.
Timeout одного ответа — 60 секунд, число попыток — 5, задержка между повторами
растёт экспоненциально. При HTTP 429 учитывается заголовок Retry-After.
Лимит действует на один процесс, поэтому одновременно следует запускать только
один экземпляр загрузчика.
Более осторожный режим:
python3 backend/ingestion/minjust_cbd.py --requests-per-second 0.5
Вызов из будущего backend
from ingestion.minjust_cbd import sync_archive
result = sync_archive(output_path)
Планировщик, очередь задач и PostgreSQL пока не добавлены: модуль не зависит от выбора будущего backend-фреймворка.
Нормализация архива
Нормализатор читает исходный архив без изменений и создаёт отдельный набор данных для будущих поиска, API и RAG:
python3 backend/normalization/minjust_cbd.py --limit 10
python3 backend/normalization/minjust_cbd.py
По умолчанию источник читается из data/minjust-cbd, а результат записывается
в data/minjust-normalized. Пути можно изменить параметрами --input и
--output; --refresh принудительно обрабатывает неизменившиеся документы,
--log-level задаёт уровень журнала.
Каталоги --input и --output не должны совпадать, содержать друг друга или
пересекаться через разрешённые абсолютные пути.
data/minjust-normalized/
manifest.sqlite3
documents/<code>/document.json
documents/<code>/editions/<edition>/edition.json
documents/<code>/editions/<edition>/<lang>/content.html
documents/<code>/editions/<edition>/<lang>/content.txt
documents/<code>/editions/<edition>/<lang>/fragments.json
content.html содержит только разрешённую безопасную разметку, content.txt —
текст для поиска, а fragments.json — адресуемые блоки с детерминированными ID
и SHA-256. Манифест пропускает документы с неизменившимися исходниками и
повторяет документы, обработка которых завершилась ошибкой.
Первая версия не выполняет OCR, перевод, юридические выводы о редакциях,
сопоставление фрагментов, загрузку в PostgreSQL/OpenSearch и построение RAG.
Внешние и встроенные data:-изображения из HTML удаляются; сведения и пути к
локальным изображениям исходного архива сохраняются в edition.json.
Проверка
PYTHONPATH=backend python3 -m unittest backend/test_minjust_cbd.py -v
PYTHONPATH=backend python3 -m unittest backend/test_minjust_normalization.py -v
Акылдаш · Backend v0.2.2 · Frontend — не создан