agent/akyldash
1
1
Fork 0
Code Issues 4 Pull Requests 1 Actions Packages Projects Releases Wiki Activity

feat: normalize Ministry of Justice documents

Browse Source 
Add a resumable standard-library normalization pipeline for the downloaded CBD archive. It produces canonical bilingual metadata, sanitized HTML, plain text, deterministic fragments, checksums, quality markers, and an SQLite processing manifest while preserving the raw source.

Recover document-list pagination when the Ministry API exhausts request retries, and cover that scenario with a regression test.

Document the normalization workflow and frontend-search MVP plan, include the source functional specification, ignore local runtime logs, and bump the backend version to 0.2.1.
This commit is contained in:
Codex Agent
2026-08-12 08:32:12 +03:00
parent 35cae8bcbe
commit 07381ad70f
17 changed files with 1412 additions and 26 deletions
Download Patch File Download Diff File Expand all files Collapse all files

11
README.md
View File

@@ -9,15 +9,15 @@ Telegram-бот — только часть рабочего окружения
## Текущее состояние
Сейчас реализованы Telegram-бот-секретарь версии `0.2.2` и первая backend-функция
версии `0.1.2`: возобновляемая выгрузка документов из ЦБД Минюста КР.
Сейчас реализованы Telegram-бот-секретарь версии `0.2.2` и backend версии
`0.2.1`: возобновляемая выгрузка и нормализация документов ЦБД Минюста КР.
| Компонент | Версия | Состояние |
|---|---:|---|
| Telegram-бот | `0.2.2` | на Synology работает `0.2.1`; обновление после слияния |
| Backend | `0.1.2` | реализована выгрузка документов ЦБД Минюста КР |
| Backend | `0.2.1` | реализованы выгрузка и нормализация документов ЦБД Минюста КР |
| Frontend | — | ещё не создан |
| Сбор и обработка правовых данных | `0.1.2` | реализован архиватор ЦБД Минюста КР |
| Сбор и обработка правовых данных | `0.2.1` | реализованы архиватор и нормализатор ЦБД Минюста КР |
| RAG и база знаний | — | ещё не созданы |
## Структура репозитория
@@ -32,6 +32,7 @@ tools/
telegram-bot/ бот рабочего Telegram-пространства
backend/
ingestion/ получение и обновление правовых источников
normalization/ воспроизводимая нормализация исходного архива
```
Каталоги для загрузки и обработки источников, RAG, backend и frontend будут
@@ -57,4 +58,4 @@ python3 -m unittest discover -s tools/telegram-bot -v
---
Акылдаш · Telegram-бот v0.2.2 · Backend v0.1.2 · Frontend — не создан
Акылдаш · Telegram-бот v0.2.2 · Backend v0.2.1 · Frontend — не создан