Merge branch 'main' of https://git.vakanaut.ru/admin/akyldash into feature/toktom-platform-development-plan

# Conflicts:
#	CHANGELOG.md

.dockerignore

@@ -0,0 +1,16 @@
+.git
+.gitignore
+.env
+.env.*
+*.json
+!backend/
+!backend/search/
+!backend/search/*.json
+*.xlsx
+*.pdf
+*.jpg
+data/
+docs/
+tools/
+__pycache__/
+*.pyc

.gitea/actions/caddy-validate/Dockerfile

@@ -0,0 +1 @@
+FROM caddy:2.11.6-alpine@sha256:881bbc60f9986d5ab8e7cfd6cf7e4ef3c9c0439fef2429d035d065577882f028

.gitea/actions/caddy-validate/action.yml

@@ -0,0 +1,16 @@
+name: Validate Caddyfile
+description: Run the pinned Caddy validator against the checked-out Caddyfile
+inputs:
+  workspace:
+    description: Repository workspace path supplied by the workflow
+    required: true
+runs:
+  using: docker
+  image: Dockerfile
+  entrypoint: /usr/bin/caddy
+  args:
+    - validate
+    - --config
+    - ${{ inputs.workspace }}/deploy/production/Caddyfile
+    - --adapter
+    - caddyfile

.gitea/actions/kaniko-build/Dockerfile

@@ -0,0 +1 @@
+FROM ghcr.io/osscontainertools/kaniko:v1.28.5-debug@sha256:c73ca67a3b494bce79a8fb6090c4f73c18997ab272d80bffc460a62343aeb412

.gitea/actions/kaniko-build/action.yml

@@ -0,0 +1,22 @@
+name: Build image with Kaniko in a rootless container
+description: Validate a Dockerfile by building it without publishing the image or cache
+inputs:
+  workspace:
+    description: Repository workspace path supplied by the workflow
+    required: true
+  dockerfile:
+    description: Dockerfile path relative to the checked-out repository
+    required: true
+  destination:
+    description: Image reference required by Kaniko; the image is not pushed
+    required: true
+runs:
+  using: docker
+  image: Dockerfile
+  entrypoint: /kaniko/executor
+  args:
+    - --context=dir://${{ inputs.workspace }}
+    - --dockerfile=${{ inputs.workspace }}/${{ inputs.dockerfile }}
+    - --destination=${{ inputs.destination }}
+    - --no-push
+    - --no-push-cache

.gitea/actions/kaniko-push/Dockerfile

@@ -0,0 +1,4 @@
+FROM ghcr.io/osscontainertools/kaniko:v1.28.5-debug@sha256:c73ca67a3b494bce79a8fb6090c4f73c18997ab272d80bffc460a62343aeb412
+COPY release-build.sh /usr/local/bin/release-build
+COPY validate-destination.sh /usr/local/bin/validate-destination.sh
+ENTRYPOINT ["/busybox/sh", "/usr/local/bin/release-build"]

.gitea/actions/kaniko-push/action.yml

@@ -0,0 +1,23 @@
+name: Publish a pinned Akyldash image
+description: Build and push one commit-tagged image with pinned rootless Kaniko
+inputs:
+  workspace:
+    description: Checked out source directory
+    required: true
+  dockerfile:
+    description: Dockerfile path relative to workspace
+    required: true
+  destination:
+    description: Commit-specific OCI tag
+    required: true
+  digest_file:
+    description: Workspace path for Kaniko's resulting digest
+    required: true
+runs:
+  using: docker
+  image: Dockerfile
+  args:
+    - ${{ inputs.workspace }}
+    - ${{ inputs.dockerfile }}
+    - ${{ inputs.destination }}
+    - ${{ inputs.digest_file }}

.gitea/actions/kaniko-push/release-build.sh

@@ -0,0 +1,22 @@
+#!/busybox/sh
+set -eu
+
+workspace=$1
+dockerfile=$2
+destination=$3
+digest_file=$4
+: "${REGISTRY_USERNAME:?registry username secret is required}"
+: "${REGISTRY_PASSWORD:?registry password secret is required}"
+/busybox/sh /usr/local/bin/validate-destination.sh "$dockerfile" "$destination"
+
+mkdir -p /kaniko/.docker "$(dirname "$digest_file")"
+auth=$(printf '%s:%s' "$REGISTRY_USERNAME" "$REGISTRY_PASSWORD" | base64 | tr -d '\n')
+umask 077
+printf '{"auths":{"git.vakanaut.ru":{"auth":"%s"}}}\n' "$auth" > /kaniko/.docker/config.json
+unset auth REGISTRY_USERNAME REGISTRY_PASSWORD
+/kaniko/executor \
+  --context="dir://${workspace}" \
+  --dockerfile="${workspace}/${dockerfile}" \
+  --destination="$destination" \
+  --digest-file="$digest_file" \
+  --no-push-cache

.gitea/actions/kaniko-push/validate-destination.sh

@@ -0,0 +1,49 @@
+#!/bin/sh
+set -eu
+
+if [ "$#" -ne 2 ]; then
+  echo 'ERROR: expected Dockerfile path and image destination' >&2
+  exit 2
+fi
+
+dockerfile=$1
+destination=$2
+case "$dockerfile" in
+  deploy/production/Dockerfile.backend)
+    repository=git.vakanaut.ru/admin/akyldash/backend
+    ;;
+  deploy/production/Dockerfile.opensearch)
+    repository=git.vakanaut.ru/admin/akyldash/opensearch
+    ;;
+  *)
+    echo 'ERROR: Dockerfile is outside the approved production image set' >&2
+    exit 2
+    ;;
+esac
+
+case "$destination" in
+  "$repository":*) tag=${destination#"$repository":} ;;
+  *)
+    echo 'ERROR: destination is outside the approved registry repository' >&2
+    exit 2
+    ;;
+esac
+
+commit=${tag%%-*}
+run_id=${tag#*-}
+case "$commit" in
+  ''|*[!0123456789abcdef]*)
+    echo 'ERROR: destination commit must be a lowercase Git SHA-1' >&2
+    exit 2
+    ;;
+esac
+if [ "${#commit}" -ne 40 ] || [ "$run_id" = "$tag" ]; then
+  echo 'ERROR: destination tag must contain a 40-character commit and run ID' >&2
+  exit 2
+fi
+case "$run_id" in
+  ''|*[!0123456789]*)
+    echo 'ERROR: destination run ID must be numeric' >&2
+    exit 2
+    ;;
+esac

.gitea/workflows/ci.yaml

@@ -0,0 +1,95 @@
+name: CI
+
+on:
+  pull_request:
+  push:
+    branches: [main]
+
+jobs:
+  tests-and-images:
+    runs-on: akyldash-ci
+    steps:
+      - uses: actions/checkout@v4
+      - uses: actions/setup-python@v5
+        with:
+          python-version: "3.12"
+      - name: Run backend tests
+        run: PYTHONPATH=backend python3 -m unittest discover -s backend -p 'test_*.py' -v
+      - name: Run Telegram bot tests
+        run: python3 -m unittest discover -s tools/telegram-bot -p 'test_*.py' -v
+      - name: Run infrastructure backup tests
+        run: python3 -m unittest discover -s infra/backup -p 'test_*.py' -v
+      - name: Check root guard UID decisions
+        run: bash infra/bootstrap/test-root-guard.sh
+      - name: Check recovery host guard
+        run: bash infra/bootstrap/test-host-guard.sh
+      - name: Check verifier helper argument guard
+        run: bash infra/bootstrap/test-verify-helper.sh
+      - name: Check host audit root guard
+        run: bash infra/bootstrap/test-audit-host.sh
+      - name: Check Compose helper allowlist
+        run: bash infra/deploy/test-compose-helper.sh
+      - name: Check production config root guard
+        run: bash infra/deploy/test-production-config-guard.sh
+      - name: Check runner config and isolation guards
+        run: |
+          bash infra/runner/test-runner-config.sh
+          bash infra/runner/test-install-runner-idempotency.sh
+          bash infra/runner/test-install-runner-guard.sh
+      - name: Check CI container operation isolation
+        run: bash infra/runner/test-ci-container-builds.sh
+      - name: Check infrastructure shell syntax
+        run: |
+          bash -n infra/bootstrap/bootstrap-ubuntu-24.04.sh infra/bootstrap/host-guard.sh \
+            infra/bootstrap/verify.sh infra/bootstrap/verify-helper.sh infra/bootstrap/audit-host.sh \
+            infra/deploy/install-helper.sh infra/deploy/compose-helper.sh infra/deploy/test-compose-helper.sh \
+            infra/deploy/prepare-production-config.sh infra/deploy/test-production-config-guard.sh \
+            .gitea/actions/kaniko-push/release-build.sh \
+            infra/bootstrap/test-audit-host.sh infra/bootstrap/test-root-guard.sh \
+            infra/bootstrap/test-verify-helper.sh infra/test/run-as-unprivileged.sh \
+            infra/runner/install-runner.sh infra/runner/install-runner-lib.sh \
+            infra/runner/act-runner-healthcheck.sh infra/runner/test-runner-config.sh \
+            infra/runner/test-install-runner-idempotency.sh infra/runner/test-install-runner-guard.sh \
+            infra/runner/test-ci-container-builds.sh
+          python3 -c "import ast,pathlib; ast.parse(pathlib.Path('infra/runner/secure-runner-image.py').read_text())"
+          python3 -c "import ast,pathlib; ast.parse(pathlib.Path('infra/deploy/validate_release.py').read_text())"
+          python3 -c "import ast,pathlib; ast.parse(pathlib.Path('infra/deploy/deploy_release.py').read_text())"
+          python3 -c "import ast,pathlib; ast.parse(pathlib.Path('infra/deploy/create_release_manifest.py').read_text())"
+          python3 -c "import ast,pathlib; ast.parse(pathlib.Path('infra/deploy/release_handoff.py').read_text())"
+          python3 -c "import ast,pathlib; ast.parse(pathlib.Path('infra/deploy/release_refs.py').read_text())"
+          python3 -c "import ast,pathlib; ast.parse(pathlib.Path('infra/deploy/release_state.py').read_text())"
+          python3 -c "import ast,pathlib; ast.parse(pathlib.Path('infra/deploy/deployment_lock.py').read_text())"
+      - name: Run deployment contract and rollback tests
+        run: python3 -m unittest discover -s infra/deploy -p 'test_*.py' -v
+      - name: Validate production Compose and Caddyfile
+        run: |
+          secret_file=$(mktemp)
+          trap 'rm -f "$secret_file"' EXIT
+          REVIEW_SECRET_FILE="$secret_file" docker compose --env-file deploy/production/.env.example -f deploy/production/compose.yaml config --quiet
+      - name: Validate Caddyfile in isolated container action
+        uses: ./.gitea/actions/caddy-validate
+        with:
+          workspace: ${{ github.workspace }}
+      - name: Build production images
+        uses: ./.gitea/actions/kaniko-build
+        with:
+          workspace: ${{ github.workspace }}
+          dockerfile: deploy/production/Dockerfile.backend
+          destination: akyldash-backend:ci
+      - name: Build OpenSearch production image
+        uses: ./.gitea/actions/kaniko-build
+        with:
+          workspace: ${{ github.workspace }}
+          dockerfile: deploy/production/Dockerfile.opensearch
+          destination: akyldash-opensearch:ci
+      - name: Prepare a synthetic artifact compatibility marker
+        run: |
+          mkdir -p artifact-smoke
+          printf 'Gitea artifact upload smoke test; no release data.\n' > artifact-smoke/marker.txt
+      - name: Verify Gitea runtime artifact upload
+        uses: https://gitea.com/actions/gitea-upload-artifact@055b8b3f04a4a7ed853f2c6ab04256f83e4874dc
+        with:
+          name: artifact-smoke-${{ github.run_id }}
+          path: artifact-smoke/marker.txt
+          if-no-files-found: error
+          retention-days: 1

.gitea/workflows/deploy-handoff.yaml

@@ -0,0 +1,64 @@
+name: Production handoff status (not deployed)
+
+on:
+  workflow_run:
+    workflows: ["Release production images"]
+    branches: [main]
+    types: [completed]
+
+jobs:
+  deployment-status:
+    name: NOT DEPLOYED - handoff status only
+    if: >-
+      gitea.event.workflow_run.conclusion == 'success' &&
+      gitea.event.workflow_run.event == 'workflow_run' &&
+      gitea.event.workflow_run.head_branch == 'main'
+    runs-on: akyldash-ci
+    steps:
+      - uses: actions/checkout@v4
+        with:
+          ref: main
+      - name: Verify source release identity before artifact lookup
+        env:
+          SOURCE_WORKFLOW: ${{ gitea.event.workflow.name }}
+          SOURCE_WORKFLOW_PATH: ${{ gitea.event.workflow_run.path }}
+          SOURCE_EVENT: ${{ gitea.event.workflow_run.event }}
+          SOURCE_CONCLUSION: ${{ gitea.event.workflow_run.conclusion }}
+          SOURCE_BRANCH: ${{ gitea.event.workflow_run.head_branch }}
+          SOURCE_RUN_ID: ${{ gitea.event.workflow_run.id }}
+          SOURCE_SHA: ${{ gitea.event.workflow_run.head_sha }}
+          SOURCE_REPOSITORY: ${{ gitea.event.repository.full_name }}
+        run: python3 infra/deploy/release_handoff.py validate-handoff-source
+      - name: Read artifact metadata with the installed Gitea helper when available
+        env:
+          GITEA_URL: ${{ gitea.server_url }}
+          GITEA_TOKEN: ${{ gitea.token }}
+          SOURCE_RUN_ID: ${{ gitea.event.workflow_run.id }}
+          SOURCE_WORKFLOW: ${{ gitea.event.workflow.name }}
+          SOURCE_WORKFLOW_PATH: ${{ gitea.event.workflow_run.path }}
+          SOURCE_EVENT: ${{ gitea.event.workflow_run.event }}
+          SOURCE_CONCLUSION: ${{ gitea.event.workflow_run.conclusion }}
+          SOURCE_BRANCH: ${{ gitea.event.workflow_run.head_branch }}
+          SOURCE_SHA: ${{ gitea.event.workflow_run.head_sha }}
+          SOURCE_REPOSITORY: ${{ gitea.event.repository.full_name }}
+        run: |
+          if ! command -v gitea-api >/dev/null 2>&1; then
+            echo 'DRY-RUN only: gitea-api is unavailable in this job; artifact metadata and host handoff are not verified.'
+            python3 infra/deploy/release_handoff.py dry-run
+            exit 0
+          fi
+          if [[ -z ${GITEA_TOKEN:-} ]]; then
+            echo 'DRY-RUN only: GITEA_TOKEN is unavailable; artifact metadata and host handoff are not verified.'
+            python3 infra/deploy/release_handoff.py dry-run
+            exit 0
+          fi
+          metadata=$(mktemp)
+          trap 'rm -f "$metadata"' EXIT
+          gitea-api GET "/repos/admin/akyldash/actions/runs/${SOURCE_RUN_ID}/artifacts" > "$metadata"
+          python3 infra/deploy/release_handoff.py dry-run --artifact-metadata "$metadata"
+      - name: State that no deployment was performed
+        run: |
+          echo 'DEPLOYMENT STATUS: NOT DEPLOYED'
+          echo 'This workflow checks source provenance and may inspect artifact metadata only.'
+          echo 'It does not download the descriptor ZIP, open SSH, or invoke the Windows receiver.'
+          echo 'No Windows execution runner or automatic runtime binding has been verified.'

.gitea/workflows/release-images.yaml

@@ -0,0 +1,90 @@
+name: Release production images
+
+on:
+  workflow_run:
+    workflows: ["CI"]
+    branches: [main]
+    types: [completed]
+
+jobs:
+  publish-images:
+    if: >-
+      gitea.event.workflow_run.conclusion == 'success' &&
+      gitea.event.workflow_run.event == 'push' &&
+      gitea.event.workflow_run.head_branch == 'main'
+    runs-on: akyldash-ci
+    steps:
+      - uses: actions/checkout@v4
+        with:
+          ref: ${{ gitea.event.workflow_run.head_sha }}
+      - name: Verify successful CI source before using registry credentials
+        env:
+          SOURCE_WORKFLOW: ${{ gitea.event.workflow.name }}
+          SOURCE_WORKFLOW_PATH: ${{ gitea.event.workflow_run.path }}
+          SOURCE_EVENT: ${{ gitea.event.workflow_run.event }}
+          SOURCE_CONCLUSION: ${{ gitea.event.workflow_run.conclusion }}
+          SOURCE_BRANCH: ${{ gitea.event.workflow_run.head_branch }}
+          SOURCE_RUN_ID: ${{ gitea.event.workflow_run.id }}
+          SOURCE_SHA: ${{ gitea.event.workflow_run.head_sha }}
+          SOURCE_REPOSITORY: ${{ gitea.event.repository.full_name }}
+        run: python3 infra/deploy/release_handoff.py validate-ci-source
+      - name: Require explicitly configured Gitea registry credentials
+        env:
+          REGISTRY_USERNAME: ${{ secrets.REGISTRY_USERNAME }}
+          REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }}
+        run: |
+          test -n "$REGISTRY_USERNAME" || { echo 'REGISTRY_USERNAME repository secret is required'; exit 1; }
+          test -n "$REGISTRY_PASSWORD" || { echo 'REGISTRY_PASSWORD repository secret is required'; exit 1; }
+      - name: Build and publish backend image
+        uses: ./.gitea/actions/kaniko-push
+        env:
+          REGISTRY_USERNAME: ${{ secrets.REGISTRY_USERNAME }}
+          REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }}
+        with:
+          workspace: ${{ github.workspace }}
+          dockerfile: deploy/production/Dockerfile.backend
+          destination: git.vakanaut.ru/admin/akyldash/backend:${{ gitea.event.workflow_run.head_sha }}-${{ gitea.run_id }}
+          digest_file: ${{ github.workspace }}/release/backend.digest
+      - name: Build and publish OpenSearch image
+        uses: ./.gitea/actions/kaniko-push
+        env:
+          REGISTRY_USERNAME: ${{ secrets.REGISTRY_USERNAME }}
+          REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }}
+        with:
+          workspace: ${{ github.workspace }}
+          dockerfile: deploy/production/Dockerfile.opensearch
+          destination: git.vakanaut.ru/admin/akyldash/opensearch:${{ gitea.event.workflow_run.head_sha }}-${{ gitea.run_id }}
+          digest_file: ${{ github.workspace }}/release/opensearch.digest
+      - name: Create and validate release descriptor
+        run: |
+          python3 infra/deploy/create_release_manifest.py \
+            --repository admin/akyldash \
+            --commit '${{ gitea.event.workflow_run.head_sha }}' \
+            --run-id '${{ gitea.run_id }}' \
+            --source-run-id '${{ gitea.event.workflow_run.id }}' \
+            --backend-digest release/backend.digest \
+            --opensearch-digest release/opensearch.digest \
+            --output release/release-manifest.json
+          python3 infra/deploy/validate_release.py release/release-manifest.json \
+            --policy infra/deploy/release-policy.json
+          (cd release && sha256sum release-manifest.json > release-manifest.json.sha256)
+      - id: descriptor
+        name: Record release descriptor digest
+        run: |
+          (cd release && sha256sum -c release-manifest.json.sha256)
+          digest=$(sha256sum release/release-manifest.json)
+          digest=${digest%% *}
+          printf 'descriptor_sha256=%s\n' "$digest" >> "$GITEA_OUTPUT"
+      - name: Upload verified release descriptor
+        uses: https://gitea.com/actions/gitea-upload-artifact@055b8b3f04a4a7ed853f2c6ab04256f83e4874dc
+        with:
+          name: release-descriptor-${{ gitea.run_id }}-${{ steps.descriptor.outputs.descriptor_sha256 }}
+          path: |
+            release/release-manifest.json
+            release/release-manifest.json.sha256
+          if-no-files-found: error
+          retention-days: 90
+      - name: Confirm uploaded release descriptor
+        run: |
+          (cd release && sha256sum -c release-manifest.json.sha256)
+          echo 'Release descriptor and checksum are available as this run artifact.'

.gitea/workflows/runner-smoke.yaml

@@ -0,0 +1,24 @@
+name: Runner smoke test
+
+on:
+  pull_request:
+  push:
+    branches: [main]
+  workflow_dispatch:
+
+jobs:
+  runner-smoke:
+    runs-on: akyldash-ci
+    steps:
+      - name: Verify isolated runner boundary
+        run: |
+          host_uid=$(awk 'NR == 1 {print $2}' /proc/self/uid_map)
+          test "$host_uid" -gt 0
+          test ! -S /var/run/docker.sock
+          test ! -e /run/user/1000/docker.sock
+          test -z "${DOCKER_HOST:-}"
+          test ! -e /etc/akyldash/production.env
+          test ! -e /etc/akyldash/review_secret
+          test ! -e /opt/akyldash/current
+          printf 'Isolated runner: version=%s host=%s uid-map=%s\n' \
+            "$GITEA_ACTIONS_RUNNER_VERSION" "$(hostname)" "$host_uid"

.gitignore

@@ -5,11 +5,15 @@ credentials.json
 __pycache__/
 .venv/
 *.py[cod]
+tools/frontend-visual-review/node_modules/
 
 # Local environment files
 .env
 .env.*
 !.env.example
 
-# Local bot archive
+# Local application archives
 data/
+
+# Local runtime logs
+logs/

.impeccable/config.json

@@ -0,0 +1,35 @@
+{
+  "detector": {
+    "ignoreRules": [],
+    "ignoreFiles": [],
+    "ignoreValues": [
+      {
+        "rule": "cream-palette",
+        "value": "*",
+        "files": [
+          "backend/search/review.html"
+        ],
+        "createdAt": "2026-10-11T15:40:02.635Z",
+        "reason": "Agent: DESIGN.md explicitly approves the #F7F2E8 felt-inspired bg token for this portal; current page background matches that user-approved palette"
+      },
+      {
+        "rule": "cramped-padding",
+        "value": "*",
+        "files": [
+          "backend/search/review.html"
+        ],
+        "createdAt": "2026-10-11T15:41:28.434Z",
+        "reason": "Agent: current page uses 12–24px padding in bordered containers; the prior stop finding has no element detail and does not reproduce in the current detector"
+      },
+      {
+        "rule": "design-system-font",
+        "value": "sans",
+        "files": [
+          "backend/search/review.html"
+        ],
+        "createdAt": "2026-10-11T15:41:33.020Z",
+        "reason": "Agent: DESIGN.md specifies Noto Sans with sans-serif fallback; this finding is the inherited generic fallback"
+      }
+    ]
+  }
+}

AGENTS.md

@@ -0,0 +1,124 @@
+# Акылдаш — инструкции для агента
+
+Проект: юридическая информационно-аналитическая платформа; Search API на
+Python, SQLite и OpenSearch. На 2026-10-25 публичный `/review` и прямой origin
+отвечают HTTP 200; состав production-контейнеров, готовность индекса и
+проверенность backup/restore не подтверждены. Сверяй актуальное состояние с
+[`CURRENT_STATE.md`](docs/operations/CURRENT_STATE.md), не считай HTTP 200
+доказательством готовности поиска.
+
+- Начинай с [инфраструктурного состояния](docs/operations/CURRENT_STATE.md) и
+  [правил доступа](docs/operations/ACCESS.md). Не запрашивай доступы повторно.
+- Архитектура и процедуры: [инфраструктура](docs/operations/INFRASTRUCTURE.md),
+  [деплой](docs/operations/DEPLOYMENT.md), [backup](docs/operations/BACKUP.md),
+  [rollback](docs/operations/ROLLBACK.md), [восстановление](docs/operations/RECOVERY.md).
+- Работай в feature/fix/refactor-ветке. `main` защищена; изменения вноси через
+  PR. DEV не одобряет и не сливает собственный PR. Условный merge выполняет
+  только REVIEWER по правилам раздела «Автономный workflow PR» ниже. Сохраняй
+  незакоммиченные изменения.
+- SSH alias — `akyldash_vps`; используй только read-only диагностику. Не давай
+  `codex` общий sudo или доступ к Docker socket. Root-действия требует владелец.
+  Для Gitea используй `gitea-api`, не читай файлы с учётными данными.
+- Репозиторный Gitea Actions runner описан в
+  [CI_RUNNER.md](docs/operations/CI_RUNNER.md). Регистрация выполняется
+  владельцем через Settings → Actions → Runners для `admin/akyldash`; токен
+  вводится интерактивно и не попадает в Git. Runner использует отдельный
+  rootless Docker daemon; job-контейнеры не получают Docker socket или
+  production secrets. Не включай production deployment из CI без отдельного
+  проверенного deploy-helper.
+- Локальные проверки: `PYTHONPATH=backend python3 -m unittest discover -s backend -p 'test_*.py' -v` и
+  `python3 -m unittest discover -s tools/telegram-bot -p 'test_*.py' -v`,
+  `python3 -m unittest discover -s infra/backup -p 'test_*.py' -v` и
+  `python3 -m unittest discover -s infra/deploy -p 'test_*.py' -v`,
+  `bash infra/bootstrap/test-host-guard.sh`.
+  Production images собираются командами из `.gitea/workflows/ci.yaml`.
+- Перед изменениями production необходим проверенный backup. Формального
+  механизма миграций нет; проверяй совместимость SQLite/OpenSearch. Не меняй
+  SSH, firewall или production вручную без владельца и последующего PR.
+- Холодный backup требует согласованного окна простоя; восстановление допускается
+  только в новый staging-каталог, пока владелец отдельно не проверил процедуру
+  для нового хоста.
+- После каждого изменения инфраструктуры обновляй
+  `docs/operations/CURRENT_STATE.md` по фактическим проверкам.
+
+## Delivery First: проверка по уровню риска
+
+- Перед работой укажи в PR уровень `LOW`, `MEDIUM` или `HIGH`; при сомнении
+  выбери более высокий. Уровень добавляет нужную проверку, но никогда не
+  отменяет CI, одобрение или защиту `main`.
+- Каждый PR сохраняет текущие проверки Gitea Actions: job IDs
+  `tests-and-images` и `runner-smoke`. Не переименовывай и не обходи их, не
+  удаляй тесты или проверки безопасности ради скорости.
+- `LOW`: документация, комментарии и тексты без изменения исполняемого
+  поведения или контракта; проверяй diff и актуальность утверждений, затем
+  дождись обычного CI.
+- `MEDIUM`: изменение поведения в одном компоненте; добавь регрессионный тест,
+  выполни целевые проверки и обычный CI.
+- `HIGH`: доступ/авторизация, данные и ingestion, схемы/хранилища,
+  backup/restore/recovery, production config, секреты, runner/CI, безопасность
+  или deploy; выполни целевые тесты вместе с обычным CI и приложи проверяемое
+  обоснование угроз, совместимости и rollback. Production-действия остаются
+  за владельцем.
+- Ревью блокирует только конкретный воспроизводимый дефект, нарушение границы
+  доступа/безопасности, несовместимость данных или контракта, пропущенную
+  обязательную проверку либо отсутствие безопасного rollback. Идеи и стилистические
+  замечания перечисляй отдельно как неблокирующие.
+- Полная процедура, метрики, Gitea-ограничения и проверенные временные бюджеты:
+  [DELIVERY_POLICY.md](docs/development/DELIVERY_POLICY.md).
+
+## Автономный workflow PR
+
+- Маршруты ниже указаны из контекста оркестратора/root: оркестратор — thread
+  `01a144a5-8b95-77c3-b311-9a9afd062ca8`, host `local`; DEV — thread
+  `01a138f1-3b34-7c91-a9ed-4b43c3c85f1f`, host
+  `remote-ssh-codex-managed:712b8d4e-24e1-4dd5-92af-85d1fbd26449`, Gitea
+  `codex` (ID 6); REVIEWER — thread `01a144f9-5b51-7923-8398-61d4a6a98306`,
+  host `remote-ssh-codex-managed:b61555d7-8d1a-4cfa-988b-c8da4791d426`, Gitea
+  `agent` (ID 7). Если этот же чат отображает REVIEWER как `local` внутри его
+  собственного app-server, это self-label и не является маршрутом из контекста
+  оркестратора.
+- DEV принимает только явно зарегистрированную оркестратором человеческую
+  задачу с полями `task`, `repo`, `branch`, `pr`, `head_sha`, `phase`. Репозиторий
+  должен быть `admin/akyldash`; работай только в назначенной ветке и PR. Веди
+  одну задачу/PR за раз и не подхватывай старые PR самостоятельно.
+- Допустимые фазы: `initial_review` — реализация и устранение review findings;
+  `final_review_and_merge` — только после первоначального успешного review,
+  changelog-коммита и отдельного назначения оркестратора. Не переходи к следующей
+  фазе без назначения. Если задача приостановлена, останови любые действия;
+  после resume перепроверь назначение, PR, head/base, checks и review с нуля.
+- Повторная доставка одного назначения идемпотентна по ключу
+  `task`+`pr`+`head_sha`+`stage`: не дублируй commit, push, review-запрос или
+  merge; сообщи оркестратору о уже выполненном результате. Новый head или stage
+  образует новое назначение и требует повторной проверки.
+- Межчатовое чтение недоступно: оркестратор через central relay сам читает
+  результаты и выдаёт назначения. Завершай каждый этап отчётом с полями `task`,
+  `repo`, `branch`, `pr`, `head_sha`, `stage`, `checks`, `findings`,
+  `next_action`. Не настраивай отдельные webhook, daemon или транспорт.
+- DEV исследует, изменяет, проверяет, коммитит и отправляет изменения; REVIEWER
+  не меняет код и независимо проверяет полный diff от base после каждого push,
+  включая предыдущие findings. DEV не одобряет и не сливает свой PR.
+- Только после первоначального успешного формального review DEV добавляет
+  значимые изменения в существующий changelog, коммитит и отправляет их в тот же
+  PR. Затем REVIEWER полностью проверяет итоговый diff. Для docs-only задачи не
+  придумывай изменения кода; правила версии применяй только если они явно
+  относятся к этой документационной правке.
+- Слияние может выполнить только REVIEWER для зарегистрированной человеческой
+  задачи, в фазе `final_review_and_merge`, после явного назначения оркестратора.
+  Непосредственно перед ним REVIEWER подтверждает `admin/akyldash`, PR, base
+  `main`, ожидаемую ветку, автора PR `codex` (ID 6), неизменность base и head,
+  причём head должен совпадать с зарегистрированным `head_sha`, включая
+  `head_commit_id` для merge-запроса. Требуются все успешные required CI/test
+  checks и gates, отсутствие pending/failed/unknown checks, открытых
+  findings и активных `REQUEST_CHANGES`, плюс актуальный формальный `APPROVED`
+  от REVIEWER для точного текущего commit с параметрами `commit_id == head_sha`,
+  `stale == false`, `dismissed == false`. При изменении head или base review и
+  проверки выполняются заново. Комментарий с approval не является формальным
+  review.
+  Используй только обычный server-side merge с `head_commit_id`; не используй
+  `force_merge` и не обходи branch protection. Если любой существенный gate,
+  статус или защита неизвестны либо не проверяются — не сливай PR и сообщи
+  оркестратору, что именно осталось неизвестным.
+- Все Gitea API-вызовы выполняй только через `gitea-api` с личным окружением;
+  Git используй с обычным credential helper. Не читай credentials из файлов
+  репозитория. Запускай Git- и API-команды отдельно, без объединения с другими
+  командами.

CHANGELOG.md

@@ -0,0 +1,157 @@
+# История изменений
+
+## Не выпущено
+
+- Успешный CI на `push` в `main` запускает release workflow: при настроенных
+  registry secrets он собирает образы rootless Kaniko, публикует digest
+  references и сохраняет schema-v4 descriptor с SHA-256 в Gitea artifact;
+  sidecar проверяется после извлечения из корня. Следующий workflow проверяет
+  source-run identity и, при доступном `gitea-api`, метаданные артефакта только
+  в dry-run и явно сообщает `NOT DEPLOYED`: ZIP не скачивается, SSH и host
+  apply не выполняются. Добавлена отдельная root-verified status→fixed-tuple→
+  Windows `--once` привязка через строгий SSH dispatcher; она не использует
+  Gitea/PR runner и не требует Gitea token на Windows. Config и Task Scheduler
+  template выключены, задача не зарегистрирована и production CD не активирован.
+  Зелёный handoff не означает деплой. Подготовлены owner-run cutover и rollback с
+  проверкой backup, image IDs, RU/KY canaries и recovery journal; CI проверяет
+  synthetic artifact и завершается ошибкой при отсутствии файлов. Windows
+  receiver прошёл 17 synthetic client checks, 8 protocol checks и проверку
+  private owner ACL на disposable real-NTFS fixture. Inert Windows argv probe
+  подтвердил передачу пути скрипта с пробелами; Task Scheduler COM проверил
+  XML с `TASK_VALIDATE_ONLY` — задачу не регистрировали, не обновляли и не
+  запускали. Production D: path, SSH, установка на VPS и полный backup/restore
+  не проверены; cutover остаётся заблокирован до отдельного restore-теста и
+  owner bootstrap. Принимаются только завершённые успешные Gitea runs; pending
+  recovery journal записывается до остановки
+  сервисов, повторно применённый release отклоняется до простоя, а проверка
+  `main` использует явно заданный production checkout. Windows preflight
+  проверяет owner ACL и требует свободное место под максимальный допустимый
+  архив.
+- Frontend `0.3.3` / Backend `0.13.2`: управление пользователями отображается
+  согласно правам аккаунта, подписи ролей локализованы, повторяющиеся действия
+  кабинета убраны, а знак лаборатории приведён к основному бренду.
+- Добавлена политика Delivery First по уровням `LOW`/`MEDIUM`/`HIGH`: описаны
+  обязательная глубина проверок, регрессионные тесты и доказательства угроз,
+  совместимости и отката; обычные CI, одобрение и защита `main` остаются
+  обязательными.
+- Frontend `0.3.2`: устранены пересечения названия бренда с поиском и
+  мобильной навигации документа; навигационные ссылки получили общие quiet и
+  primary состояния.
+- Frontend `0.3.1`: уточнена компоновка поиска, лаборатории и кабинета;
+  splitter сохраняет минимальную ширину панелей, а на средних экранах фильтры
+  открываются доступной боковой панелью. Исправлено отображение футера на
+  маршруте пользователей и browser fixture смены пароля.
+- Frontend `0.3.0` / Backend `0.13.1`: добавлен доступный splitter для
+  изменения ширины результатов и документа. Язык поиска находится в фильтрах;
+  состояния открытия, оглавление правовых заголовков, лаборатория и кабинет
+  приведены к последовательной и компактной компоновке.
+- Добавлен план развития платформы со сравнением возможностей «Токтом Онлайн»,
+  пробелов Акылдаша и этапов продуктовой проверки.
+- Frontend `0.2.6` / Backend `0.13.1`: двухпанельная компоновка поиска
+  сохраняется до ширины 1175 px, чтобы три панели не обрезались при
+  промежуточных ширинах окна.
+- Frontend `0.2.5` / Backend `0.13.1`: устранены промежуточные переполнения
+  навигации, старый текст больше не остаётся при ошибке загрузки другого
+  документа; очищаются дополнительные URL-атрибуты юридической разметки,
+  включая `srcset` и `ping`. Добавлены fixture-проверки ошибок и гонок загрузки,
+  изоляции ссылок, reflow и безопасных форм управления пользователями.
+- Frontend `0.2.4` / Backend `0.13.1`: исправлены состояния и адаптивный поиск,
+  чтение документа и лаборатории, доступные диалоги; управление пользователями
+  вынесено на отдельный защищённый экран. Документная разметка очищается от
+  активного HTML и небезопасных ссылок. Добавлены проверки маршрутов и reflow;
+  правовой текст и API управления пользователями не менялись.
+- Frontend `0.2.3`: добавлен публичный поиск по правовой базе с фильтрами,
+  адаптивной выдачей, просмотром редакций и поиском по тексту документа;
+  внутренняя лаборатория сохранена, её подсказки стали компактнее и привязаны
+  к целевым элементам. Интерфейс использует локальные шрифты Noto Sans и Noto
+  Serif.
+- Исправлены переключение на доступный язык редакции, очистка содержимого и
+  ссылки на официальный источник при смене документа или ошибке загрузки;
+  подписи фильтров локализуются на кыргызский язык.
+- Infrastructure: systemd unit Gitea Actions runner теперь использует
+  `ProtectHome=read-only`, сохраняя доступность `/run/user` и существующий
+  writable carve-out для rootless runtime; VPS не изменялся.
+- Backend `0.12.1`: добавлен ограниченный возобновляемый staging редакций из
+  текущего API Минюста с проверкой точных ID и метаданных, изоляцией от
+  legacy-корпуса и сохранением исходного порядка редакций при нормализации и
+  экспорте. Тест overlap guard задаёт безопасные права fixture независимо от
+  `umask` CI; сам guard не ослаблен.
+- Rollback preflight проверяет digest-pinned image references по сохранённому
+  image ID и останавливается до изменений deployment; переключение production
+  на digest и полноценный digest rollback пока не реализованы.
+- Infrastructure: добавлен офлайн-контракт release manifest с точной схемой,
+  digest-ссылками и repository allowlist; проверен Compose override с
+  `--no-build` как требованием будущего deploy. Публикация, provenance и
+  production-деплой не включены.
+- Добавлен read-only возобновляемый inventory корпуса с полным хешированием,
+  потоковой сверкой, индексируемыми диапазонами путей и provenance SHA-256
+  проверяющего; значения `stat` хранятся без ограничения SQLite INTEGER.
+  Сравнение source/staging сверяет путь, размер и SHA-256, удерживает shared
+  locks и отклоняет пустые корпуса без документов или фрагментов. Runbook и
+  `CURRENT_STATE.md` отражают, что полный аудит корпуса ещё выполняется; это
+  изменение не означает готовность корпуса или production.
+- CI actions теперь используют workspace, переданный Gitea, для Caddyfile и Kaniko build context; CI run 69 и smoke run 70 прошли на self-hosted runner.
+- Runner installer сохраняет `HOME` и XDG-пути в user-unit `docker.service`, перезапускает активный daemon и проверяет окружение его процесса.
+- Runner installer защищает image и mountpoint root-owned home-каталогом, оставляет регистрацию и workspace в runner-owned каталоге, безопасно форматирует образ по открытому FD и проверяет `nosuid,nodev`.
+- Backend `0.11.3`: ключ подписи поисковых снимков читается из Docker secret-файла, а не из аргументов процесса. Добавлена базовая инфраструктура VPS, Caddy HTTPS proxy с разделёнными Compose-сетями и CI-проверка конфигурации; публикация образов и production-деплой остаются выключены до проверки runner, registry, backup/restore и ограниченного deploy-helper.
+- Frontend `0.1.2`: на планшетной ширине экран поиска переходит в одну колонку, чтобы фильтры, результаты и документ помещались в окно.
+- Backend `0.11.2`: смена пароля требует текущий пароль и запрещает оставить прежний, включая временный пароль при первом входе.
+- Backend `0.11.1` и frontend `0.1.1`: в управлении пользователями показываются даты первого и последнего входа, а также последнего сброса пароля.
+- Backend `0.11.0` и frontend `0.1.0`: лаборатория переоформлена по дизайн-системе «Түндүк»; добавлены учетные записи, обязательная смена временного пароля, личный кабинет и управление пользователями для `admin`.
+- Backend обновлён до `0.10.4`: многословный поиск получил низковесный OR fallback с требованием совпадения минимум двух терминов; fallback пропускает распознанные названия нормативных актов.
+- Backend обновлён до `0.10.3`: запрос о налоге на прибыль поднимает действующий
+  Налоговый кодекс; точное совпадение фразы дополнительно усиливает результат.
+- Backend обновлён до `0.10.2`: действующие документы ранжируются выше, а
+  утратившие силу — после остальных; из лаборатории удалён пустой блок фрагмента.
+- Backend обновлён до `0.10.1`: поисковая выдача по регистрации больше не
+  ограничивается только тремя заранее выбранными нормативными актами.
+- Backend обновлён до `0.10.0`: поисковый API использует общий планировщик
+  запросов, расширяет аббревиатуры ОсОО/ООО/ЖЧК и для запроса о регистрации
+  приоритизирует положение КР 2026 года, закон об обществах и ГК КР.
+- Backend обновлён до `0.9.4`: из поисковых фрагментов убраны технические маркеры
+  подсветки OpenSearch.
+- Backend обновлён до `0.9.3`: исправлен локальный индекс production Search API,
+  ошибки поиска показываются в общем status-блоке, а панель сохранения и footer
+  выстроены в обычном порядке документа.
+- Backend обновлён до `0.9.2`: внутренняя лаборатория получила визуальный
+  polish-проход и короткий повторно запускаемый tutorial для новых проверяющих.
+- Backend обновлён до `0.9.1`: все статусы из нормализованного корпуса доступны
+  как отдельные фильтры, варианты конституционного закона и указа сопоставляются
+  с подтверждённой юридической силой, неизвестные типы документов сохраняются
+  под общим фильтром без вывода юридической силы.
+- Уточнено, что внутренняя лаборатория оценивает выдачу собственного OpenSearch;
+  ЦБД Минюста служит источником для подтверждения документов, а прежние Excel/PDF
+  бланки удалены.
+- Исключены секреты и локальные данные из Docker build context; синхронизирована версия интерфейса.
+- Добавлен production deployment baseline для Search API и OpenSearch с
+  постоянными хранилищами и healthcheck.
+- Добавлено восстановление незавершённой разметки из `localStorage` после перезагрузки страницы.
+- Добавлена внутренняя лаборатория проверки поисковой выдачи: просмотр документов,
+  оценка релевантности 0–3, комментарии и SQLite-экспорт подписанных снимков.
+- Уточнены доступные состояния и адаптивное поведение внутреннего интерфейса
+  оценки поисковой выдачи.
+- Добавлен план внутреннего интерфейса оценки поисковой выдачи юристами.
+- Завершён Search API v1: стабильные справочники, валидный OpenAPI, безопасная
+  пагинация и проверка актуальных редакций в локальном OpenSearch.
+- Добавлен фильтр Search API v1 по укрупнённой юридической силе. Полная
+  иерархия GeneralClassifiers экспортирована в отдельный черновой каталог;
+  тематическая навигация остаётся вне API v1 до ручного утверждения рубрик и
+  подписей.
+- Добавлено безопасное переключение alias на новую версию поискового индекса
+  после полной загрузки; checkpoint защищает возобновление загрузки от смены
+  alias.
+- Добавлен roadmap готовности данных, поиска и API перед проектированием
+  frontend.
+- Исправлена выдача для явных запросов об открытии ОсОО и ЖЧК: первыми
+  показываются действующие положение о регистрации и закон о хозяйственных
+  товариществах и обществах.
+- Добавлен CLI `python3 -m search.query` для проверки текущей выдачи локального
+  OpenSearch.
+- Добавлена инструкция по подготовке и независимой проверке relevance set.
+- Улучшено ранжирование relevance-оценки: запрос теперь сопоставляет название и
+  текст документа как единое поле.
+
+## 0.5.0 — 2026-08-15
+
+- Добавлена воспроизводимая оценка качества поиска по Recall@10 и MRR@10.
+- Подготовлен шаблон relevance set из 25 русских и 25 кыргызских запросов с инструкцией по ручной разметке.

DESIGN.md

@@ -0,0 +1,327 @@
+---
+name: "Акылдаш · Түндүк"
+description: "Утверждённая дизайн-система правового портала Кыргызской Республики"
+colors:
+  bg: "#F7F2E8"
+  surface: "#FFFFFF"
+  surface-muted: "#FBF8F4"
+  text: "#38262A"
+  text-secondary: "#786469"
+  border: "#DED3CE"
+  primary: "#9D2633"
+  primary-hover: "#84202B"
+  primary-active: "#701B24"
+  on-primary: "#FFFFFF"
+  primary-subtle: "#F8EBED"
+  accent: "#A37B32"
+  highlight: "#FFF0C7"
+  focus: "#245C78"
+  success: "#246843"
+  success-bg: "#EAF4EC"
+  warning: "#82520D"
+  warning-bg: "#FFF3DA"
+  error: "#9D2633"
+  error-bg: "#FBEDEF"
+  info: "#245C78"
+  info-bg: "#EAF2F6"
+typography:
+  document-title:
+    fontFamily: "Noto Serif, serif"
+    fontSize: "32px"
+    fontWeight: 700
+    lineHeight: 1.2
+  section-title:
+    fontFamily: "Noto Serif, serif"
+    fontSize: "24px"
+    fontWeight: 600
+    lineHeight: 1.3
+  document-body:
+    fontFamily: "Noto Sans, sans-serif"
+    fontSize: "18px"
+    fontWeight: 400
+    lineHeight: 1.65
+  control:
+    fontFamily: "Noto Sans, sans-serif"
+    fontSize: "16px"
+    fontWeight: 500
+    lineHeight: 1.5
+  metadata:
+    fontFamily: "Noto Sans, sans-serif"
+    fontSize: "14px"
+    fontWeight: 400
+    lineHeight: 1.5
+rounded:
+  default: "6px"
+spacing:
+  xs: "4px"
+  sm: "8px"
+  compact: "12px"
+  md: "16px"
+  lg: "24px"
+  xl: "32px"
+  section: "48px"
+---
+
+# Design System: Акылдаш · Түндүк
+
+## Overview
+
+**Статус: утверждено пользователем 10 октября 2026 года.** Это целевая
+дизайн-система портала и внутренней лаборатории проверки поисковой выдачи.
+Она ещё не внедрена в работающий интерфейс. Утверждение дизайна не означает
+готовность публичного сервиса или разрешение на deployment.
+
+**Creative North Star: "Түндүк — спокойное пространство для работы с правом".**
+
+Профессиональный правовой сервис с кыргызской идентичностью: светлый фон
+цвета войлока, белое поле документа, глубокий красный для действий,
+тёмный сливовый текст и небольшие золотистые геометрические детали.
+Главное — читаемость длинных документов и ясная иерархия.
+
+Это единственная нормативная спецификация дизайна проекта. Требования
+исходного brief перенесены сюда; отдельный brief и ранние варианты удалены.
+Визуальный ориентир — утверждённый пользователем
+[концептуальный экран](docs/design/tunduk-desktop-concept.png).
+Точные токены и правила этой спецификации важнее случайных деталей
+генеративного изображения. Название продукта — **Акылдаш**; «УКУК» из
+ранних концепций не используется.
+
+Изображение определяет целевую композицию, пропорции панелей и расположение
+элементов поискового экрана. Эта спецификация определяет семантические токены,
+шрифты, доступность и правила поведения. Расхождения между ними фиксируются
+до реализации; утверждённые токены не заменяются цветами, взятыми пипеткой
+из растрового изображения. Изменения постоянных правил вносятся сюда явно.
+Этапы работ, исходные измерения и критерии визуальной приёмки находятся в
+[едином плане корректировки UI/UX](docs/product/interface-correction-plan.md).
+План не является второй дизайн-системой и не означает завершение реализации.
+
+**Key Characteristics:**
+
+- Спокойное чтение и компактные, понятные элементы управления.
+- Национальная идентичность через палитру, знак и несколько точных деталей.
+- Поиск и документ сохраняют общий контекст на широком экране.
+- Единая визуальная система публичного сервиса и внутренней лаборатории.
+- Содержимое и доступные функции определяются реальными данными и API.
+
+## Colors
+
+Нормативные значения находятся в YAML выше. При реализации ключи `colors`
+переносятся в CSS custom properties `--color-<ключ>` либо эквивалентные
+семантические токены существующей системы тем. HEX не размножаются
+по компонентам.
+
+| Роль | Токен | Применение |
+|---|---|---|
+| Светлый войлок | `bg` | Общий фон и окружение рабочей области |
+| Белый лист | `surface` | Документ, поля и основные поверхности |
+| Мягкая поверхность | `surface-muted` | Вторичные панели |
+| Сливовые чернила | `text` | Основной текст и заголовки |
+| Вторичный текст | `text-secondary` | Метаданные и пояснения |
+| Разделители | `border` | Контуры и границы панелей |
+| Глубокий красный | `primary` | Главное действие, ссылки и активная навигация |
+| Состояния красного | `primary-hover`, `primary-active` | Hover и нажатие |
+| Текст на красном | `on-primary` | Главная кнопка и активный пункт меню |
+| Мягкое красное выделение | `primary-subtle` | Выбранный результат, вторичная навигация |
+| Золотистая геометрия | `accent` | Небольшие декоративные линии |
+| Найденный фрагмент | `highlight` | Подсветка совпадения с исходным тёмным текстом |
+| Фокус | `focus` | Контрастная обводка клавиатурного фокуса |
+| Успех | `success`, `success-bg` | Подтверждение действия, подтверждённый статус |
+| Предупреждение | `warning`, `warning-bg` | Важные ограничения с текстовым объяснением |
+| Ошибка | `error`, `error-bg` | Ошибка с доступным действием для восстановления |
+| Информация | `info`, `info-bg` | Информационные сообщения |
+
+Статус и ошибка всегда имеют текстовую подпись: цвет не передаёт смысл
+самостоятельно. Не назначать юридический статус по визуальной эвристике;
+использовать данные backend. Золотистый не используется для мелкого текста.
+Контраст проверяется на фактических сочетаниях: обычный текст не менее
+4.5:1, крупный текст и необходимые графические элементы не менее 3:1.
+
+## Typography
+
+**Заголовки документа и разделов:** Noto Serif, веса 600 и 700.
+**Интерфейс и основной текст:** Noto Sans, веса 400, 500 и 600.
+Шрифты подключаются штатным способом, предпочтительно локальными WOFF2
+с `font-display: swap`. До поставки проверить лицензии и символы
+`Ө ө Ү ү Ң ң`. Файлы шрифтов пока не добавлены.
+
+| Элемент | Размер | Межстрочный интервал |
+|---|---|---|
+| Заголовок документа / страницы документа | 30–32 px; на телефоне 24–26 px | 1.2 |
+| Заголовок раздела | 22–24 px | 1.3 |
+| Текст документа | 17–18 px | 1.6–1.7 |
+| Элементы управления | 14–16 px | По токену `control` |
+| Метаданные | 13–14 px | По токену `metadata` |
+
+Мелкий текст не ниже 12 px. Ориентир ширины документа — 65–75 символов
+в строке. Длинные названия документов и кыргызские подписи переносятся,
+не обрезаются. Даты, суммы и числовые колонки используют `tabular-nums`,
+обычные данные не оформляются моноширинным шрифтом.
+
+## Layout
+
+Шкала отступов определяется `spacing`. Шапка на desktop — ориентировочно
+72–88 px. Навигация / фильтры — 220–240 px. Панель контекста, когда
+существуют соответствующие данные и функции, — 300–340 px. Центральная
+колонка занимает остаток; это адаптивные ориентиры, а не фиксированная
+ширина всей страницы.
+
+Для поискового рабочего экрана: шапка с брендом, поиском и языком;
+фильтры слева, результаты в середине, открытый документ справа. Оглавление
+можно сворачивать в подписанную кнопку, чтобы не сужать область чтения.
+Разворачивание документа и поиск внутри него реализуются только вместе
+с работающим поведением, а не как декоративные кнопки.
+
+### Композиция поискового экрана
+
+- Первая строка desktop: знак и название, разделитель и подпись продукта
+  слева; подписанное поле поиска с очисткой и кнопкой «Найти» в центре;
+  переключатель языка интерфейса справа. Служебные действия авторизованного
+  пользователя не вытесняют поиск и не меняют эту иерархию.
+- Вторая строка: навигация «Поиск» / «Об источниках» и удаляемые активные
+  фильтры. Сведения о демонстрационном режиме показываются только в нём.
+- Ниже расположены три смежные панели: фильтры, результаты, документ.
+  Иерархия создаётся фонами и непрерывными тонкими разделителями, без
+  промежутков между самостоятельными карточками панелей.
+- Фильтры имеют компактные группы, текстовое действие сброса, выбор органа
+  и пару полей даты в одной строке при достаточной ширине. Вид элемента
+  выбора соответствует одиночному или множественному контракту API.
+- Заголовок результатов и счётчик находятся слева, сортировка справа.
+  Высота строк зависит от содержимого; едины отступы и типографика.
+  Выбранный результат имеет мягкий красный фон, тонкую красную рамку
+  и текстовый признак открытия.
+- Панель документа начинается с контекстной навигации и разворачивания,
+  затем идут название, компактные метаданные, действия, поиск внутри
+  документа и единое поле чтения. Название документа имеет отдельную
+  типографическую роль, отличную от заголовков интерфейсных панелей.
+- При коротком содержимом footer расположен у нижней границы окна;
+  длинное содержимое доступно прокруткой без перекрытия текста и управления.
+  Бренд находится слева, фактические версии frontend и backend справа.
+- Поисковая страница не показывает инструменты оценивания лаборатории.
+  Общие стили и ресурсы не смешивают композицию этих двух сценариев.
+
+Внутренняя лаборатория сохраняет свой двухпанельный сценарий: фактический
+порядок результатов и оценивание слева, текст выбранной редакции справа.
+Она не получает фильтры, аналитику или публичную навигацию исключительно
+для сходства с концепцией. Панель проверяющего и сохранения не перекрывает
+результаты и текст документа.
+
+При недостатке места сначала сворачивается дополнительная панель контекста,
+затем навигация. На телефоне — одна колонка; связанные материалы и
+оглавление доступны через подписанные кнопки. В лаборатории сохраняется
+существующее мобильное открытие документа и возврат фокуса при закрытии.
+Поиск, действия и метаданные переносятся. Основной текст не требует
+горизонтальной прокрутки; широкие таблицы имеют отдельную обозначенную
+область прокрутки.
+
+Проверочные размеры при реализации: **1280×800, 1440, 1024 и 390 px**.
+1280×800 — основной размер сравнения поискового экрана с референсом.
+Это размеры проверки, а не заранее навязанные CSS breakpoints.
+
+## Elevation & Depth
+
+Основные поверхности плоские. Иерархия создаётся белым листом на тёплом
+фоне, отступами, типографикой и тонкими разделителями. Мягкая тень нужна
+главным образом выпадающим меню и временным панелям. Значения теней
+уточняются при реализации; декоративное размытие и обилие теней запрещены.
+
+## Shapes
+
+Основное скругление — `rounded.default` (6 px), контуры — 1 px.
+Небольшие статусные метки могут быть округлее. Кнопки не превращаются
+в капсулы. Границы интерактивных полей обозначаются явным контуром,
+а не только фоновым цветом или разделителем соседней панели.
+
+Если утверждённый логотип уже существует, он сохраняется. При отсутствии
+логотипа допускается небольшой оригинальный геометрический знак,
+вдохновлённый круглым верхним элементом юрты — түндүком. Знак из
+генеративного макета является направлением, а не готовым SVG-ассетом.
+Государственная символика не копируется.
+
+Тонкий симметричный орнамент по мотивам шырдака допустим на краях шапки
+и в пустой нижней части навигации. Он выполняется простым SVG,
+помечается `aria-hidden`, не находится под текстом и не мешает нажатию.
+На телефоне орнамент сокращается либо убирается.
+
+Поисковый desktop включает небольшой золотистый орнамент в свободной нижней
+части панели фильтров. Он не перекрывает длинные списки и не резервирует
+место ценой недоступности управления. Знак бренда и орнамент поставляются
+как SVG-ресурсы. Favicon использует тот же знак, адаптированный для малых
+размеров; проверяется читаемость 16×16 и 32×32. Иконки управления имеют
+согласованные толщину линий, оптический размер и выравнивание.
+
+## Components
+
+Это требования к будущей реализации, а не перечень уже обновлённых компонентов.
+
+### Кнопки и поля
+
+- Главная кнопка: `primary` и `on-primary`, высота около 40 px.
+- Вторичная кнопка: светлая поверхность и явный контур.
+- На touch-экране область нажатия не менее 44×44 px.
+- Поля белые, с постоянной подписью; placeholder не заменяет label.
+- Видимый фокус: обводка `focus` около 2 px с отступом.
+- Hover, active, focus-visible, disabled, loading, empty и error
+  реализуются последовательно, с понятными сообщениями.
+- Переходы 120–180 мс, без анимации текста документа;
+  учитывается `prefers-reduced-motion`.
+
+### Навигация, результаты и документ
+
+- Активный пункт меню — красный фон и белая подпись; вторичная
+  навигация — `primary-subtle` и тёмно-красный текст.
+- Активная вкладка обозначена подписью и нижней линией. Длинные подписи
+  переносятся либо прокручиваются без обрезки.
+- Результаты — упорядоченные строки: название, тип, статус, дата при
+  наличии и выдержка. Каждое поле не оборачивается в отдельную карточку.
+- Выбранный результат обозначается мягким красным выделением и текстом.
+- Документ — единый белый лист: заголовок, реальные метаданные,
+  доступные действия, оглавление и текст. Абзацы не разбиваются на карточки.
+- Подсветка совпадения сохраняет исходный текст; число совпадений
+  и переходы между ними показываются только при работающем поиске.
+- Источник и выбранная редакция доступны рядом с документом.
+  Недоступный язык не подменяется выдуманным переводом.
+- Язык интерфейса и язык документа — отдельные состояния:
+  смена интерфейса не должна самовольно менять текст документа.
+- Footer сохраняет версии frontend и backend. Отсутствующий frontend
+  или макет явно обозначаются, версия не придумывается.
+
+### Внутренняя оценка выдачи
+
+Сохраняются шкала 0–3 с полными текстовыми подписями, комментарии,
+черновик, идентификация проверяющего, сохранение подписанного снимка,
+обучение и существующие ограничения доступа. Оценки не передаются
+только цветом. Служебные данные не становятся публичными из-за редизайна.
+
+### Доступность и состояния
+
+Семантические заголовки, labels, ссылки и кнопки; иконки без текста
+имеют доступное имя. Проверяются Tab, Enter, Escape, возврат фокуса
+и отсутствие клавиатурных ловушек. Статусы доступны скринридеру.
+Пустая выдача предлагает изменить запрос; ошибка предлагает повторное
+действие. Ошибка сохранения не уничтожает черновик.
+
+## Do's and Don'ts
+
+### Do:
+
+- Сохранять название «Акылдаш», реальные данные, маршруты, API и права доступа.
+- Использовать общий слой семантических токенов, существующие компоненты
+  и CSS Modules / BEM согласно правилам соответствующей части проекта.
+- Разделять официальный текст, сведения о происхождении и выводы системы.
+- Проверять чтение длинных RU/KY-документов и одноязычные редакции.
+- Использовать этот документ как нормативную спецификацию для новых экранов.
+
+### Don't:
+
+- Не переносить демонстрационные даты, судебные материалы, связи
+  и юридические формулировки из изображения в продукт.
+- Не добавлять аналитику, сравнение редакций, регистрацию и другие функции
+  только ради сходства с концепцией.
+- Не менять поисковое ранжирование или сохранение разметки ради оформления.
+- Не использовать ковровые текстуры, фотографии гор, иллюстрации юрт,
+  крупные флаги, золотые градиенты и декоративное размытие.
+- Не делать золотистыми мелкие подписи и не передавать смысл одним цветом.
+- Не добавлять отдельную тёмную тему без задачи; существующую сохранять.
+- Не считать генеративный скриншот доказательством точных HEX,
+  загрузки Noto или проверки доступности работающего интерфейса.
+- Не считать утверждение дизайна разрешением на публикацию сервиса.

README.md

@@ -9,15 +9,20 @@ Telegram-бот — только часть рабочего окружения
 
 ## Текущее состояние
 
-Сейчас реализован Telegram-бот-секретарь версии `0.2.2`. Он сохраняет сообщения
-рабочих тем, формирует Markdown-экспорты и отмечает завершённые обсуждения.
+Сейчас реализованы Telegram-бот-секретарь версии `0.2.2`, backend версии
+`0.13.2` и frontend `0.3.3` с поисковым экраном, внутренней лабораторией и
+согласованным отображением доступных действий учетной записи.
+Авторизация хранится в
+SQLite; первый пользователь `admin` создаётся интерактивной CLI-командой.
+Поиск расширяет аббревиатуры организационно-правовых форм и поднимает
+действующий Налоговый кодекс для запросов о налоге на прибыль.
 
 | Компонент | Версия | Состояние |
 |---|---:|---|
 | Telegram-бот | `0.2.2` | на Synology работает `0.2.1`; обновление после слияния |
-| Backend | — | ещё не создан |
-| Frontend | — | ещё не создан |
-| Сбор и обработка правовых данных | — | ещё не созданы |
+| Backend | `0.13.2` | авторизация, серверная capability управления пользователями, поиск и статические ресурсы |
+| Frontend | `0.3.3` | поиск по правовой базе, просмотр редакций, внутренняя лаборатория и контекстная навигация кабинета |
+| Сбор и обработка правовых данных | `0.8.0` | добавлены relevance set и оценка выдачи |
 | RAG и база знаний | — | ещё не созданы |
 
 ## Структура репозитория
@@ -30,11 +35,15 @@ docs/                  структурированная документаци
   team/                материалы для команды
 tools/
   telegram-bot/        бот рабочего Telegram-пространства
+backend/
+  ingestion/           получение и обновление правовых источников
+  normalization/       воспроизводимая нормализация исходного архива
+  search/              Search API, авторизация и внутренний frontend
 ```
 
-Каталоги для загрузки и обработки источников, RAG, backend и frontend будут
-создаваться с первой реальной задачей в соответствующей области. Это позволит
-выбрать структуру по фактическим требованиям, а не поддерживать пустой каркас.
+Внутренний frontend отдаётся существующим Search API без отдельного
+Node-сервиса. Отдельный публичный frontend остаётся за readiness gate в
+`docs/product/frontend-design-readiness-plan.md`.
 
 Начать знакомство с проектом: [документация](docs/README.md) и
 [обзор продукта](docs/product/project-overview.md).
@@ -55,4 +64,4 @@ python3 -m unittest discover -s tools/telegram-bot -v
 
 ---
 
-Акылдаш · Telegram-бот v0.2.2 · Backend — не создан · Frontend — не создан
+Акылдаш · Telegram-бот v0.2.2 · Backend v0.13.2 · Frontend v0.3.3

backend/README.md

@@ -0,0 +1,314 @@
+# Backend Акылдаш
+
+Версия: `0.13.0`
+
+Первая backend-область проекта — загрузка правовых документов из официального
+Open Data API ЦБД Минюста Кыргызской Республики. Код расположен в
+`ingestion/minjust_cbd.py`: его можно запускать как CLI сейчас и импортировать
+из будущего планировщика backend без запуска отдельного процесса.
+
+## Пробная загрузка
+
+Из корня репозитория:
+
+```bash
+python3 backend/ingestion/minjust_cbd.py --limit 10
+```
+
+В интерактивном терминале отображаются процент, количество документов,
+ошибки, скорость и примерное оставшееся время.
+
+Полная загрузка выполняется без `--limit`. По умолчанию архив сохраняется в
+`data/minjust-cbd`, который исключён из Git. Повторный запуск пропускает уже
+загруженные документы; `--refresh` принудительно проверяет их заново.
+Если временный идентификатор списка API истечёт или запрос страницы исчерпает
+повторы во время многодневной загрузки, скрипт пересоздаст список на текущей
+странице и продолжит автоматически.
+
+В версии `0.1.0` обновление существующих документов выполняется полной проверкой
+через `--refresh`. Инкрементальную проверку по `lastmod` из sitemap следует
+добавить вместе с backend-планировщиком, когда будет определена частота запуска.
+
+## Защита API
+
+Запросы выполняются последовательно, по умолчанию не чаще одного в секунду.
+Timeout одного ответа — 60 секунд, число попыток — 5, задержка между повторами
+растёт экспоненциально. При HTTP 429 учитывается заголовок `Retry-After`.
+Лимит действует на один процесс, поэтому одновременно следует запускать только
+один экземпляр загрузчика.
+
+Более осторожный режим:
+
+```bash
+python3 backend/ingestion/minjust_cbd.py --requests-per-second 0.5
+```
+
+## Вызов из будущего backend
+
+```python
+from ingestion.minjust_cbd import sync_archive
+
+result = sync_archive(output_path)
+```
+
+Планировщик, очередь задач и PostgreSQL пока не добавлены: модуль не зависит от
+выбора будущего backend-фреймворка.
+
+## Текущий API Минюста и отдельный staging
+
+Старый OpenData endpoint может возвращать `404`; для отдельной ограниченной
+выгрузки официальный сайт предоставляет `/api/v1/GetDocument` и
+`/api/v1/GetEdition`. Адаптер `ingestion.minjust_current` получает один
+указанный документ и сохраняет его в отдельное поколение staging:
+
+```bash
+PYTHONPATH=backend python3 -m ingestion.minjust_current \
+  --output /tmp/minjust-current-code6 \
+  --document-code 6
+```
+
+Продолжайте прерванную выгрузку только с тем же каталогом и `--resume`. По
+умолчанию лимит скачанного текста одного документа — 4 GiB, лимит запросов —
+один в секунду; каталог не должен совпадать или пересекаться с
+`data/minjust-cbd` и
+`data/minjust-normalized`. Адаптер сохраняет исходные ответы и checkpoints,
+публикует папку документа атомарно и не заменяет существующий код в staging.
+Каталог staging должен быть отдельной директорией режима 0700, принадлежащей
+текущему пользователю; его родитель должен быть существующим доверенным
+каталогом. Символические ссылки в generation, checkpoints и каталогах
+документов отклоняются. Legacy-корни вычисляются от корня репозитория, а не
+от текущего рабочего каталога.
+Для `/GetEdition?lang=kg` официальный ответ помещает кыргызский HTML в
+`contentRu` при `contentKg=null`; архивный язык определяется запрошенным
+`lang`, а не именем поля ответа.
+
+Исторические редакции запрашиваются только с `exact=true`; без этого параметра
+официальный endpoint возвращал ID последней редакции даже для другого
+запрошенного ID. Адаптер требует совпадения response ID и запрошенного ID,
+сверяет названия RU/KY с metadata `GetDocument` и сохраняет request contract в
+checkpoint. Старые staging generations без этого contract нельзя возобновить.
+`exact=true` и совпадение ID проверены на двух контрольных редакциях; это не
+подтверждает полноту всего источника.
+
+Порядок редакций сохраняется по ответу `/GetDocument` и используется как
+официальный порядок при нормализации и выборе текущей редакции в поисковом
+индексе. Вложения и встроенные изображения этим адаптером не подтверждаются:
+staging остаётся неполным до отдельной проверки медиа и не заменяет корпус.
+Получение полного списка документов не является частью этой ограниченной
+процедуры.
+
+## Нормализация архива
+
+Нормализатор читает исходный архив без изменений и создаёт отдельный набор
+данных для будущих поиска, API и RAG:
+
+```bash
+python3 backend/normalization/minjust_cbd.py --limit 10
+python3 backend/normalization/minjust_cbd.py
+```
+
+По умолчанию источник читается из `data/minjust-cbd`, а результат записывается
+в `data/minjust-normalized`. Пути можно изменить параметрами `--input` и
+`--output`; `--refresh` принудительно обрабатывает неизменившиеся документы,
+`--log-level` задаёт уровень журнала.
+Каталоги `--input` и `--output` не должны совпадать, содержать друг друга или
+пересекаться через разрешённые абсолютные пути.
+
+```text
+data/minjust-normalized/
+  manifest.sqlite3
+  documents/<code>/document.json
+  documents/<code>/editions/<edition>/edition.json
+  documents/<code>/editions/<edition>/<lang>/content.html
+  documents/<code>/editions/<edition>/<lang>/content.txt
+  documents/<code>/editions/<edition>/<lang>/fragments.json
+```
+
+`content.html` содержит только разрешённую безопасную разметку, `content.txt` —
+текст для поиска, а `fragments.json` — адресуемые блоки с детерминированными ID
+и SHA-256. Манифест пропускает документы с неизменившимися исходниками и
+повторяет документы, обработка которых завершилась ошибкой.
+
+Первая версия не выполняет OCR, перевод, юридические выводы о редакциях,
+сопоставление фрагментов, загрузку в PostgreSQL/OpenSearch и построение RAG.
+Внешние и встроенные `data:`-изображения из HTML удаляются; сведения и пути к
+локальным изображениям исходного архива сохраняются в `edition.json`.
+
+## Проверка
+
+```bash
+PYTHONPATH=backend python3 -m unittest backend/test_minjust_cbd.py -v
+PYTHONPATH=backend python3 -m unittest backend/test_minjust_normalization.py -v
+PYTHONPATH=backend python3 -m unittest backend/test_minjust_opensearch.py -v
+```
+
+## Подготовка индекса OpenSearch
+
+Mapping поискового индекса находится в
+`search/minjust-fragments-index.json`. Для кыргызского текста он использует
+`icu_analyzer`, поэтому в OpenSearch должен быть установлен плагин
+`analysis-icu`.
+
+Потоковый экспорт в формат Bulk API без внешних Python-зависимостей:
+
+```bash
+python3 backend/search/minjust_opensearch.py
+```
+
+По умолчанию создаётся `data/opensearch/minjust-fragments.ndjson`. Экспорт
+атомарный и детерминированный; для проверки можно передать `--limit 1`.
+Для прямой загрузки без большого промежуточного файла используется `--url`:
+
+```bash
+python3 backend/search/minjust_opensearch.py \
+  --url http://127.0.0.1:9200 \
+  --index akyldash-fragments-dev-v1 \
+  --limit 1
+```
+
+Запросы Bulk API ограничены 25 МБ и не разрывают пару action/source. Для
+полного прохода убрать `--limit` и выбрать новое имя версионного индекса.
+После проверки production-индекса следует переключать alias, чтобы удалённые
+фрагменты не оставались в поиске.
+
+Alias переключается только после refresh, точного сравнения полного fragment
+count с inventory, обеих языковых canary-проверок и совпадения ожидаемого
+текущего индекса. Перед cutover обязательно укажите RU/KY запросы и точное имя
+старого target:
+
+```bash
+python3 backend/search/minjust_opensearch.py \
+  --url http://127.0.0.1:9200 \
+  --index akyldash-fragments-v2 \
+  --alias akyldash-fragments-current \
+  --expected-old-index akyldash-fragments-v1 \
+  --canary-ru 'утверждённый русский запрос' \
+  --canary-ky 'бекитилген кыргызча суроо'
+```
+
+Wildcard removal, пустой индекс и alias с несколькими target запрещены. Если
+старый target успел измениться после проверки, OpenSearch отклонит атомарную
+операцию удаления точного старого alias. `--resume` повторно проверяет весь
+ожидаемый inventory, а не только количество документов текущего запуска.
+Если ответ на alias request потерян после успешного переключения или процесс
+остановился до записи завершённого checkpoint, повторный запуск проверит
+фактическую цель alias. Уже опубликованный candidate оставляется на месте, и
+checkpoint завершается; старый target позволяет безопасно повторить cutover,
+а любой другой target останавливает операцию.
+
+После каждого принятого Bulk-пакета загрузчик атомарно сохраняет checkpoint и
+печатает код безопасного возобновления. При временных HTTP 429/5xx, timeout и
+обрыве соединения запрос повторяется автоматически. Прерванную загрузку можно
+продолжить без ручного выбора документа:
+
+```bash
+python3 backend/search/minjust_opensearch.py \
+  --url http://127.0.0.1:9200 \
+  --index akyldash-fragments-v1 \
+  --resume
+```
+
+По умолчанию checkpoint хранится в
+`data/opensearch/<index>.checkpoint.json`; путь можно изменить через
+`--checkpoint`. Checkpoint привязан к URL, cluster UUID, index UUID, `--limit`,
+`--alias` и SHA-256 нормализованного manifest. При `--resume` передавайте то же
+значение `--alias`; старый checkpoint без alias можно продолжить только без
+него. Resume отклоняется при любом несовпадении:
+для обновлённого корпуса или пересозданного индекса нужно создать новый
+версионный индекс, проверить его и переключить alias. Это не оставляет
+удалённые trailing-фрагменты старых документов.
+
+## HTTP API v1
+
+Запустите публичный read-only API поверх текущего alias и нормализованного
+корпуса:
+
+```bash
+PYTHONPATH=backend python3 -m search.api
+```
+
+Он публикует OpenAPI в `GET /openapi.json` и поддерживает `GET /search`,
+`/search/filters`, `/documents/{code}`, `/documents/{code}/editions` и
+`/documents/{code}/editions/{edition}`. Значения фильтров возвращаются со
+стабильным кодом справочника v1 и подписями RU/KY; применяйте `code` как
+параметр поиска. API не подменяет отсутствующий язык документа.
+
+## Локальный OpenSearch
+
+Стенд использует один узел OpenSearch без Dashboards, устанавливает
+`analysis-icu`, выделяет JVM 8 ГБ и доступен только на `127.0.0.1:9200`.
+Индекс хранится в `data/opensearch-node` на диске проекта.
+
+```bash
+sudo sysctl -w vm.max_map_count=262144
+docker compose -f deploy/local-opensearch/compose.yaml up -d --build
+curl http://127.0.0.1:9200/_cluster/health
+```
+
+Security plugin отключён только для локальной разработки; этот compose нельзя
+публиковать в сеть или использовать в production. Mapping локального стенда
+также задаёт одну shard и ноль replicas; для production число shard следует
+рассчитать по размеру корпуса и настроить не менее одной replica.
+
+## Оценка качества поиска
+
+`search/relevance-set-v1.template.json` содержит заготовку для 25 русских и
+25 кыргызских запросов. Для каждого запроса человек должен указать реальную
+формулировку и коды всех релевантных документов; пустая или неполная разметка
+должна быть отклонена при ручной проверке, а технически некорректная — самим
+оценщиком. Критерии выбора запросов, релевантности и двойной проверки описаны в
+`search/RELEVANCE_ANNOTATION.md`. Рабочую копию следует хранить в игнорируемом
+каталоге `data/`, пока набор не проверен и не разрешён к публикации.
+
+Baseline использует поля названия и текста соответствующего языка, оставляет в
+выдаче один результат на документ и вычисляет макро-средние Recall@10 и MRR@10:
+
+```bash
+mkdir -p data/search
+cp backend/search/relevance-set-v1.template.json data/search/relevance-set-v1.json
+PYTHONPATH=backend python3 -m search.evaluate_relevance \
+  data/search/relevance-set-v1.json \
+  > data/search/baseline-v1.json
+```
+
+Менять веса или анализаторы следует только после фиксации этого baseline и
+разбора ошибок выдачи.
+
+## Внутренняя лаборатория релевантности
+
+Создайте первую учетную запись администратора:
+
+```bash
+PYTHONPATH=backend python3 -m search.api --users-db data/search-users.sqlite3 --create-admin
+```
+
+Команда запросит и подтвердит пароль `admin` в терминале. Затем запустите
+Search API на localhost и откройте `http://127.0.0.1:8080/review`:
+
+```bash
+PYTHONPATH=backend python3 -m search.api \\
+  --reviews-db data/search-reviews.sqlite3
+```
+
+Лаборатория показывает фактический порядок выдачи OpenSearch, позволяет открыть
+текст редакции, поставить результату оценку от 0 до 3 и сохранить снимок с
+комментариями. Поиск и API доступны только после входа. Пользователь `admin`
+управляет учетными записями; новые пользователи должны заменить временный
+пароль при первом входе. Хранилище пользователей `data/search-users.sqlite3`
+нужно резервировать отдельно от поискового индекса. Экспорт доступен
+авторизованным пользователям через `GET /search-reviews/export`.
+
+При утере пароля `admin` используйте `PYTHONPATH=backend python3 -m search.api
+--users-db data/search-users.sqlite3 --reset-admin-password`; следующий вход
+потребует сменить временный пароль.
+
+Для проверки текущей выдачи без будущего HTTP API используйте CLI:
+
+```bash
+PYTHONPATH=backend python3 -m search.query "как открыть ОсОО" --language ru
+PYTHONPATH=backend python3 -m search.query "ЖЧК ачуу тартиби" --language ky
+```
+
+---
+
+Акылдаш · Backend v0.13.0 · Frontend v0.2.3

backend/ingestion/minjust_cbd.py

@@ -0,0 +1,373 @@
+#!/usr/bin/env python3
+"""Download and archive documents from the Kyrgyz Republic Ministry of Justice."""
+
+from __future__ import annotations
+
+import argparse
+import base64
+import hashlib
+import json
+import logging
+import os
+import sqlite3
+import sys
+import tempfile
+import time
+import urllib.error
+import urllib.parse
+import urllib.request
+from dataclasses import dataclass
+from datetime import datetime, timezone
+from pathlib import Path
+from typing import Callable, Iterable
+
+APP_VERSION = "0.9.3"
+API_BASE_URL = "https://cbd.minjust.gov.kg/api/v1/OpenData/"
+LANGUAGES = {"Rus": "ru", "Kyr": "ky"}
+IMAGE_LANGUAGES = {"Russian": "ru", "Kyrgyz": "ky"}
+LOGGER = logging.getLogger(__name__)
+
+
+class CbdClient:
+    def __init__(
+        self,
+        requests_per_second: float = 1,
+        timeout: int = 60,
+        retries: int = 5,
+    ) -> None:
+        if requests_per_second <= 0:
+            raise ValueError("requests_per_second must be greater than zero")
+        if timeout <= 0 or retries <= 0:
+            raise ValueError("timeout and retries must be greater than zero")
+        # ponytail: per-process limit; add a distributed lock before multiple workers.
+        self.interval = 1 / requests_per_second
+        self.timeout = timeout
+        self.retries = retries
+        self.last_request = 0.0
+        self.total_documents = 0
+
+    def request_json(self, method: str, parameters: Iterable[tuple[str, object]] = ()):
+        query = urllib.parse.urlencode(list(parameters), doseq=True)
+        extension = "" if method == "CheckAvailable" else ".json"
+        url = f"{API_BASE_URL}{method}{extension}" + (f"?{query}" if query else "")
+        for attempt in range(self.retries):
+            retry_delay = 2**attempt
+            wait = self.interval - (time.monotonic() - self.last_request)
+            if wait > 0:
+                time.sleep(wait)
+            request = urllib.request.Request(
+                url,
+                headers={
+                    "Accept": "application/json",
+                    "User-Agent": f"Akyldash/{APP_VERSION} (+https://cbd.minjust.gov.kg)",
+                },
+            )
+            try:
+                self.last_request = time.monotonic()
+                with urllib.request.urlopen(request, timeout=self.timeout) as response:
+                    body = response.read()
+                    return json.loads(body) if body else None
+            except urllib.error.HTTPError as error:
+                if error.code != 429 and error.code < 500:
+                    raise
+                if error.code == 429:
+                    try:
+                        retry_delay = max(
+                            retry_delay, float(error.headers.get("Retry-After", 0))
+                        )
+                    except ValueError:
+                        pass
+            except (TimeoutError, urllib.error.URLError):
+                pass
+            if attempt + 1 < self.retries:
+                time.sleep(retry_delay)
+        raise RuntimeError(f"Ministry of Justice API request failed: {url}")
+
+    def check_available(self) -> None:
+        self.request_json("CheckAvailable")
+
+    def document_codes(self, limit: int | None = None, page_size: int = 1000):
+        def query_page(page_number: int):
+            return self.request_json(
+                "GetDocumentListByQuery",
+                (
+                    ("Property", "Code"),
+                    ("PageSize", page_size),
+                    ("PageNumber", page_number),
+                ),
+            )
+
+        first = query_page(1)
+        yielded = 0
+        page = first
+        page_number = 1
+        self.total_documents = min(first["TotalCount"], limit or first["TotalCount"])
+        while True:
+            for document in page["Documents"]:
+                yield document["Code"]
+                yielded += 1
+                if limit is not None and yielded >= limit:
+                    return
+            if yielded >= page["TotalCount"]:
+                return
+            page_number += 1
+            try:
+                page = self.request_json(
+                    "GetDocumentListById",
+                    (
+                        ("DocumentListId", first["Id"]),
+                        ("Property", "Code"),
+                        ("PageSize", page_size),
+                        ("PageNumber", page_number),
+                    ),
+                )
+            except (urllib.error.HTTPError, RuntimeError) as error:
+                if isinstance(error, urllib.error.HTTPError) and error.code != 404:
+                    raise
+                first = page = query_page(page_number)
+                self.total_documents = min(
+                    first["TotalCount"], limit or first["TotalCount"]
+                )
+
+    def document(self, code: int) -> dict:
+        return self.request_json(
+            "GetDocument",
+            (
+                ("Code", code),
+                ("Editions.Select", "all"),
+                ("Editions.Data", "all"),
+                ("Editions.Images.Select", "all"),
+                ("Editions.Images.Data", "all"),
+            ),
+        )
+
+
+@dataclass(frozen=True)
+class SyncResult:
+    discovered: int = 0
+    downloaded: int = 0
+    skipped: int = 0
+    failed: int = 0
+
+
+def format_duration(seconds: float) -> str:
+    seconds = max(0, round(seconds))
+    hours, seconds = divmod(seconds, 3600)
+    minutes, seconds = divmod(seconds, 60)
+    return f"{hours:02d}:{minutes:02d}:{seconds:02d}"
+
+
+def progress_line(
+    result: SyncResult, total: int, elapsed: float, width: int = 24
+) -> str:
+    processed = result.discovered
+    fraction = processed / total if total else 0
+    filled = min(width, round(width * fraction))
+    rate = processed / elapsed if elapsed > 0 else 0
+    eta = (total - processed) / rate if rate else 0
+    return (
+        f"[{'#' * filled}{'-' * (width - filled)}] {fraction:6.2%} "
+        f"{processed}/{total} downloaded={result.downloaded} "
+        f"skipped={result.skipped} failed={result.failed} "
+        f"rate={rate:.2f}/s ETA={format_duration(eta)}"
+    )
+
+
+def terminal_progress() -> Callable[[SyncResult, int], None]:
+    started = time.monotonic()
+
+    def update(result: SyncResult, total: int) -> None:
+        line = progress_line(result, total, time.monotonic() - started)
+        print(
+            f"\r{line}",
+            end="\n" if result.discovered >= total else "",
+            file=sys.stderr,
+            flush=True,
+        )
+
+    return update
+
+
+def connect_manifest(path: Path) -> sqlite3.Connection:
+    path.parent.mkdir(parents=True, exist_ok=True)
+    connection = sqlite3.connect(path)
+    connection.execute(
+        """
+        CREATE TABLE IF NOT EXISTS documents (
+            code INTEGER PRIMARY KEY,
+            source_sha256 TEXT NOT NULL,
+            fetched_at TEXT NOT NULL
+        )
+        """
+    )
+    connection.execute(
+        """
+        CREATE TABLE IF NOT EXISTS errors (
+            code INTEGER PRIMARY KEY,
+            message TEXT NOT NULL,
+            failed_at TEXT NOT NULL
+        )
+        """
+    )
+    return connection
+
+
+def atomic_write(path: Path, content: bytes) -> None:
+    path.parent.mkdir(parents=True, exist_ok=True)
+    with tempfile.NamedTemporaryFile(dir=path.parent, delete=False) as temporary:
+        temporary.write(content)
+        temporary_path = Path(temporary.name)
+    os.replace(temporary_path, path)
+
+
+def json_bytes(value: object) -> bytes:
+    return (json.dumps(value, ensure_ascii=False, indent=2) + "\n").encode()
+
+
+def archive_document(root: Path, document: dict) -> str:
+    code = int(document["Code"])
+    source = json.dumps(document, ensure_ascii=False, sort_keys=True).encode()
+    source_sha256 = hashlib.sha256(source).hexdigest()
+    directory = root / "documents" / str(code)
+    editions = document.get("Editions") or []
+    metadata = {key: value for key, value in document.items() if key != "Editions"}
+    atomic_write(directory / "metadata.json", json_bytes(metadata))
+
+    for edition in editions:
+        edition_directory = directory / "editions" / str(int(edition["Code"]))
+        edition_metadata = {key: value for key, value in edition.items() if key != "Data"}
+        edition_metadata["Images"] = [
+            {key: value for key, value in image.items() if key != "Data"}
+            for image in edition.get("Images") or []
+        ]
+        atomic_write(edition_directory / "metadata.json", json_bytes(edition_metadata))
+
+        for source_language, filename in LANGUAGES.items():
+            html = (edition.get("Data") or {}).get(source_language)
+            if html:
+                atomic_write(edition_directory / f"{filename}.html", html.encode())
+
+        for image in edition.get("Images") or []:
+            if not image.get("Data"):
+                continue
+            language = IMAGE_LANGUAGES.get(image.get("Lang"), "unknown")
+            filename = Path(str(image.get("Name") or "image").replace("\\", "/")).name
+            if filename in {"", ".", ".."}:
+                raise ValueError(f"Invalid image filename in document {code}")
+            atomic_write(
+                edition_directory / "images" / language / filename,
+                base64.b64decode(image["Data"], validate=True),
+            )
+    return source_sha256
+
+
+def sync_archive(
+    output: Path,
+    client: CbdClient | None = None,
+    limit: int | None = None,
+    refresh: bool = False,
+    progress: Callable[[SyncResult, int], None] | None = None,
+) -> SyncResult:
+    client = client or CbdClient()
+    output.mkdir(parents=True, exist_ok=True)
+    connection = connect_manifest(output / "manifest.sqlite3")
+    known = {row[0] for row in connection.execute("SELECT code FROM documents")}
+    discovered = downloaded = skipped = failed = 0
+
+    client.check_available()
+    for code in client.document_codes(limit):
+        discovered += 1
+        # ponytail: refresh scans all documents; use sitemap lastmod when scheduled
+        # update checks become frequent enough for the extra mapping logic to pay off.
+        if code in known and not refresh:
+            skipped += 1
+            if progress:
+                progress(
+                    SyncResult(discovered, downloaded, skipped, failed),
+                    client.total_documents,
+                )
+            continue
+        try:
+            document = client.document(code)
+            checksum = archive_document(output, document)
+            fetched_at = datetime.now(timezone.utc).isoformat()
+            with connection:
+                connection.execute(
+                    """
+                    INSERT INTO documents (code, source_sha256, fetched_at)
+                    VALUES (?, ?, ?)
+                    ON CONFLICT(code) DO UPDATE SET
+                        source_sha256 = excluded.source_sha256,
+                        fetched_at = excluded.fetched_at
+                    """,
+                    (int(document["Code"]), checksum, fetched_at),
+                )
+                connection.execute("DELETE FROM errors WHERE code = ?", (code,))
+            downloaded += 1
+        except Exception as error:  # Continue the long-running archive after one bad record.
+            with connection:
+                connection.execute(
+                    """
+                    INSERT INTO errors (code, message, failed_at) VALUES (?, ?, ?)
+                    ON CONFLICT(code) DO UPDATE SET
+                        message = excluded.message,
+                        failed_at = excluded.failed_at
+                    """,
+                    (code, str(error), datetime.now(timezone.utc).isoformat()),
+                )
+            failed += 1
+        if progress:
+            progress(
+                SyncResult(discovered, downloaded, skipped, failed),
+                client.total_documents,
+            )
+        if not progress and discovered % 100 == 0:
+            LOGGER.info(
+                "discovered=%s downloaded=%s skipped=%s failed=%s",
+                discovered,
+                downloaded,
+                skipped,
+                failed,
+            )
+    connection.close()
+    return SyncResult(discovered, downloaded, skipped, failed)
+
+
+def parse_args() -> argparse.Namespace:
+    parser = argparse.ArgumentParser(description=__doc__)
+    parser.add_argument("--output", type=Path, default=Path("data/minjust-cbd"))
+    parser.add_argument("--limit", type=int, help="download only the first N documents")
+    parser.add_argument("--refresh", action="store_true", help="redownload known documents")
+    parser.add_argument("--requests-per-second", type=float, default=1)
+    parser.add_argument("--timeout", type=int, default=60)
+    parser.add_argument("--retries", type=int, default=5)
+    parser.add_argument("--version", action="version", version=APP_VERSION)
+    return parser.parse_args()
+
+
+def main() -> int:
+    arguments = parse_args()
+    if arguments.limit is not None and arguments.limit <= 0:
+        raise SystemExit("--limit must be greater than zero")
+    logging.basicConfig(level=logging.INFO, format="%(asctime)s %(levelname)s %(message)s")
+    result = sync_archive(
+        arguments.output,
+        CbdClient(
+            requests_per_second=arguments.requests_per_second,
+            timeout=arguments.timeout,
+            retries=arguments.retries,
+        ),
+        arguments.limit,
+        arguments.refresh,
+        terminal_progress() if sys.stderr.isatty() else None,
+    )
+    print(
+        f"discovered={result.discovered} downloaded={result.downloaded} "
+        f"skipped={result.skipped} failed={result.failed}\n"
+        f"Akyldash · Backend v{APP_VERSION} · Frontend v0.1.2"
+    )
+    return int(result.failed > 0)
+
+
+if __name__ == "__main__":
+    raise SystemExit(main())

backend/ingestion/minjust_current.py

@@ -0,0 +1,720 @@
+"""Read-only staging client for the current MinJust CBD API."""
+
+from __future__ import annotations
+
+import argparse
+import hashlib
+import http.client
+import json
+import logging
+import os
+import sqlite3
+import stat
+import time
+import urllib.error
+import urllib.parse
+import urllib.request
+from dataclasses import dataclass
+from datetime import datetime, timezone
+from email.utils import parsedate_to_datetime
+from pathlib import Path
+from typing import Callable
+
+from ingestion.minjust_cbd import atomic_write, connect_manifest, json_bytes
+
+API_ROOT = "https://cbd.minjust.gov.kg/api/v1"
+APP_VERSION = "0.13.0"
+REQUEST_CONTRACT = {
+    "version": 2,
+    "endpoint": "/GetEdition",
+    "edition_id_parameter": "editionId",
+    "exact_parameter": "true",
+    "language_parameter": "lang",
+    "response_id_must_match": True,
+}
+MAX_RESPONSE_BYTES = 16 * 1024 * 1024
+DEFAULT_DOCUMENT_BUDGET = 4 * 1024 * 1024 * 1024
+LANGUAGES = (("ru", "ru", "textRusType"), ("kg", "ky", "textKyrType"))
+LOGGER = logging.getLogger(__name__)
+REPOSITORY_ROOT = Path(__file__).resolve().parents[2]
+
+
+class SourceError(RuntimeError):
+    pass
+
+
+class SourceChanged(SourceError):
+    pass
+
+
+@dataclass(frozen=True)
+class ApiResponse:
+    value: dict
+    body: bytes
+    sha256: str
+
+
+class CurrentCbdClient:
+    def __init__(
+        self,
+        requests_per_second: float = 1,
+        timeout: int = 60,
+        retries: int = 5,
+        max_response_bytes: int = MAX_RESPONSE_BYTES,
+        opener: Callable = urllib.request.urlopen,
+        sleep: Callable[[float], None] = time.sleep,
+        clock: Callable[[], float] = time.monotonic,
+    ) -> None:
+        if requests_per_second <= 0 or timeout <= 0 or retries <= 0 or max_response_bytes <= 0:
+            raise ValueError("rate, timeout, retries, and response limit must be positive")
+        self.interval = 1 / requests_per_second
+        self.timeout = timeout
+        self.retries = retries
+        self.max_response_bytes = max_response_bytes
+        self.opener = opener
+        self.sleep = sleep
+        self.clock = clock
+        self.last_request = 0.0
+
+    def request_json(
+        self,
+        path: str,
+        *,
+        method: str = "GET",
+        parameters: tuple[tuple[str, object], ...] = (),
+        payload: dict | None = None,
+    ) -> ApiResponse:
+        if not path.startswith("/") or ".." in path.split("/"):
+            raise ValueError("API path must be an absolute endpoint path")
+        query = urllib.parse.urlencode(parameters, doseq=True)
+        url = API_ROOT + path + (f"?{query}" if query else "")
+        body = json.dumps(payload or {}, ensure_ascii=False, separators=(",", ":")).encode() if method == "POST" else None
+        for attempt in range(self.retries):
+            wait = self.interval - (self.clock() - self.last_request)
+            if wait > 0:
+                self.sleep(wait)
+            request = urllib.request.Request(
+                url,
+                data=body,
+                method=method,
+                headers={
+                    "Accept": "application/json",
+                    **({"Content-Type": "application/json"} if body is not None else {}),
+                    "User-Agent": f"Akyldash/{APP_VERSION} (+https://cbd.minjust.gov.kg)",
+                },
+            )
+            try:
+                self.last_request = self.clock()
+                with self.opener(request, timeout=self.timeout) as response:
+                    raw = response.read(self.max_response_bytes + 1)
+                if len(raw) > self.max_response_bytes:
+                    raise SourceError(f"MinJust response exceeds {self.max_response_bytes} bytes")
+                value = json.loads(raw)
+                if not isinstance(value, dict):
+                    raise SourceError("MinJust response must be a JSON object")
+                return ApiResponse(value, raw, hashlib.sha256(raw).hexdigest())
+            except urllib.error.HTTPError as error:
+                if error.code != 429 and error.code < 500:
+                    raise SourceError(f"MinJust returned HTTP {error.code} for {path}") from error
+                delay = 2**attempt
+                if error.code == 429:
+                    delay = max(delay, retry_after_seconds(error.headers.get("Retry-After")))
+            except (TimeoutError, urllib.error.URLError, http.client.IncompleteRead, json.JSONDecodeError) as error:
+                delay = 2**attempt
+                LOGGER.warning("MinJust request failed for %s (attempt %s/%s)", path, attempt + 1, self.retries)
+                last_error = error
+            if attempt + 1 < self.retries:
+                self.sleep(delay)
+        raise SourceError(f"MinJust request failed after {self.retries} attempts: {path}") from locals().get("last_error")
+
+    def document(self, alias: str) -> ApiResponse:
+        response = self.request_json("/GetDocument", parameters=(("DocumentCode", alias),))
+        value = response.value
+        canonical = value.get("documentCode")
+        editions = value.get("editions")
+        if not isinstance(canonical, int) or isinstance(canonical, bool) or canonical < 1:
+            raise SourceError("MinJust document has an invalid canonical documentCode")
+        if not isinstance(editions, list):
+            raise SourceError("MinJust document is missing editions")
+        ids = [edition_id(item) for item in editions]
+        if len(ids) != len(set(ids)):
+            raise SourceError(f"MinJust document {canonical} contains duplicate edition IDs")
+        return response
+
+    def edition(self, identifier: int, language: str) -> ApiResponse:
+        if identifier < 1 or language not in {"ru", "kg"}:
+            raise ValueError("edition ID or requested language is invalid")
+        response = self.request_json(
+            "/GetEdition",
+            parameters=(("editionId", identifier), ("lang", language), ("exact", "true")),
+        )
+        returned_id = response.value.get("id")
+        if not isinstance(returned_id, int) or isinstance(returned_id, bool) or returned_id < 1:
+            raise SourceError(f"MinJust returned an invalid edition response ID for {identifier}")
+        if returned_id != identifier:
+            raise SourceChanged(f"MinJust exact edition ID {returned_id} does not match requested ID {identifier}")
+        return response
+
+
+def retry_after_seconds(value: str | None) -> float:
+    if not value:
+        return 0
+    try:
+        return max(0, float(value))
+    except ValueError:
+        try:
+            return max(0, (parsedate_to_datetime(value) - datetime.now(timezone.utc)).total_seconds())
+        except (TypeError, ValueError, OverflowError):
+            return 0
+
+
+def edition_id(value: object) -> int:
+    if not isinstance(value, dict):
+        raise SourceError("MinJust document contains an invalid edition")
+    identifier = value.get("id")
+    if not isinstance(identifier, int) or isinstance(identifier, bool) or identifier < 1:
+        raise SourceError("MinJust edition has an invalid id")
+    return identifier
+
+
+def open_manifest(path: Path) -> sqlite3.Connection:
+    connection = sqlite3.connect(path)
+    connection.execute("PRAGMA journal_mode=DELETE")
+    connection.executescript(
+        """
+        CREATE TABLE IF NOT EXISTS documents (
+            alias TEXT PRIMARY KEY,
+            canonical_id INTEGER,
+            response_sha256 TEXT,
+            expected_editions INTEGER,
+            state TEXT NOT NULL,
+            error TEXT,
+            updated_at TEXT NOT NULL
+        );
+        CREATE TABLE IF NOT EXISTS editions (
+            canonical_id INTEGER NOT NULL,
+            edition_id INTEGER NOT NULL,
+            source_order INTEGER NOT NULL,
+            response_sha256 TEXT NOT NULL,
+            PRIMARY KEY (canonical_id, edition_id)
+        );
+        CREATE TABLE IF NOT EXISTS languages (
+            canonical_id INTEGER NOT NULL,
+            edition_id INTEGER NOT NULL,
+            request_language TEXT NOT NULL,
+            archive_language TEXT NOT NULL,
+            response_sha256 TEXT,
+            content_sha256 TEXT,
+            byte_count INTEGER NOT NULL DEFAULT 0,
+            state TEXT NOT NULL,
+            error TEXT,
+            updated_at TEXT NOT NULL,
+            PRIMARY KEY (canonical_id, edition_id, request_language)
+        );
+        CREATE TABLE IF NOT EXISTS generation (
+            contract_sha256 TEXT NOT NULL
+        );
+        """
+    )
+    return connection
+
+
+def reject_symlink_components(path: Path) -> None:
+    current = Path(path.anchor)
+    for part in path.parts[1:]:
+        current /= part
+        try:
+            mode = current.lstat().st_mode
+        except FileNotFoundError:
+            continue
+        if stat.S_ISLNK(mode):
+            raise ValueError(f"staging path must not contain a symbolic link: {current}")
+        if current != path and not stat.S_ISDIR(mode):
+            raise ValueError(f"staging parent must be a directory: {current}")
+
+
+def ensure_stage_path(root: Path, path: Path) -> Path:
+    root = root.absolute()
+    path = path.absolute()
+    try:
+        relative = path.relative_to(root)
+    except ValueError as error:
+        raise ValueError("staging file escaped its private generation") from error
+    current = root
+    if current.is_symlink():
+        raise ValueError("staging root must not be a symbolic link")
+    for part in relative.parts:
+        current /= part
+        try:
+            mode = current.lstat().st_mode
+        except FileNotFoundError:
+            continue
+        if stat.S_ISLNK(mode):
+            raise ValueError(f"staging path must not contain a symbolic link: {relative}")
+        if current != path and not stat.S_ISDIR(mode):
+            raise ValueError(f"staging parent must be a directory: {relative}")
+    return path
+
+
+def stage_write(root: Path, path: Path, content: bytes) -> None:
+    path = ensure_stage_path(root, path)
+    atomic_write(path, content)
+    ensure_stage_path(root, path)
+
+
+def stage_mkdir(root: Path, path: Path) -> None:
+    path = ensure_stage_path(root, path)
+    path.mkdir(parents=True, exist_ok=True)
+    ensure_stage_path(root, path)
+    if not path.is_dir():
+        raise ValueError("staging path must be a directory")
+
+
+def validate_stage_tree(output: Path) -> None:
+    for relative in (
+        Path("current-api.sqlite3"), Path("current-api.sqlite3-journal"),
+        Path("current-api.sqlite3-wal"), Path("current-api.sqlite3-shm"),
+        Path("manifest.sqlite3"), Path("manifest.sqlite3-journal"),
+        Path("manifest.sqlite3-wal"), Path("manifest.sqlite3-shm"),
+        Path("request-contract.json"),
+    ):
+        path = ensure_stage_path(output, output / relative)
+        if path.exists() and not path.is_file():
+            raise ValueError(f"staging checkpoint must be a regular file: {relative}")
+    for relative in (Path(".work"), Path("documents")):
+        root = ensure_stage_path(output, output / relative)
+        if root.exists() and not root.is_dir():
+            raise ValueError(f"staging path must be a directory: {relative}")
+        if root.is_dir():
+            for directory, directories, files in os.walk(root, followlinks=False):
+                for name in directories + files:
+                    ensure_stage_path(output, Path(directory) / name)
+
+
+def validate_stage_root(output: Path, resume: bool) -> Path:
+    requested = Path(output)
+    if ".." in requested.parts:
+        raise ValueError("staging output path must not contain '..'")
+    destination = Path(os.path.abspath(requested))
+    reject_symlink_components(destination)
+    parent = destination.parent
+    if not parent.is_dir():
+        raise ValueError("staging output parent must already exist")
+    for ancestor in (parent, *parent.parents):
+        info = ancestor.lstat()
+        mode = stat.S_IMODE(info.st_mode)
+        if stat.S_ISLNK(info.st_mode) or not stat.S_ISDIR(info.st_mode):
+            raise ValueError("staging output ancestors must be real directories")
+        sticky_parent = bool(mode & stat.S_ISVTX)
+        if mode & 0o022 and not sticky_parent:
+            raise ValueError("staging output parent is not trusted")
+    for relative in (Path("data/minjust-cbd"), Path("data/minjust-normalized")):
+        legacy = (REPOSITORY_ROOT / relative).resolve()
+        if destination == legacy or destination.is_relative_to(legacy) or legacy.is_relative_to(destination):
+            raise ValueError("current API staging must not overlap the existing corpus")
+    if destination.exists():
+        if destination.is_symlink() or not destination.is_dir():
+            raise ValueError("staging output must be a real directory")
+    else:
+        destination.mkdir(mode=0o700)
+    root_info = destination.lstat()
+    root_mode = stat.S_IMODE(root_info.st_mode)
+    if (
+        stat.S_ISLNK(root_info.st_mode)
+        or not stat.S_ISDIR(root_info.st_mode)
+        or root_info.st_uid != os.geteuid()
+        or root_mode & 0o077
+        or (root_mode & 0o700) != 0o700
+    ):
+        raise ValueError("staging output must be a private directory owned by the current user")
+    validate_stage_tree(destination)
+    if any(destination.iterdir()) and not resume:
+        raise ValueError("staging output is not empty; use --resume for this generation")
+    contract_path = destination / "request-contract.json"
+    if contract_path.exists():
+        try:
+            contract = json.loads(contract_path.read_text(encoding="utf-8"))
+        except (OSError, UnicodeError, json.JSONDecodeError) as error:
+            raise SourceChanged("staging generation request contract is invalid") from error
+        if contract != REQUEST_CONTRACT:
+            raise SourceChanged("staging generation uses a different request contract")
+    else:
+        if any(destination.iterdir()):
+            raise SourceChanged("staging generation has no exact-edition request contract; start a new generation")
+        stage_write(destination, contract_path, json_bytes(REQUEST_CONTRACT))
+    return destination
+
+
+def stage_document(
+    output: Path,
+    alias: str,
+    client: CurrentCbdClient,
+    *,
+    resume: bool = False,
+    max_document_bytes: int = DEFAULT_DOCUMENT_BUDGET,
+) -> dict:
+    """Stage one document and its official editions without touching legacy roots."""
+    if not alias or len(alias) > 64 or "/" in alias or "\\" in alias:
+        raise ValueError("document code is invalid")
+    if max_document_bytes <= 0:
+        raise ValueError("document byte budget must be positive")
+    output = validate_stage_root(output, resume)
+    work_root = output / ".work" / "documents"
+    target_root = output / "documents"
+    connection = open_manifest(output / "current-api.sqlite3")
+    raw_manifest = connect_manifest(output / "manifest.sqlite3")
+    try:
+        contract_sha = hashlib.sha256(json.dumps(REQUEST_CONTRACT, sort_keys=True, separators=(",", ":")).encode()).hexdigest()
+        saved_contract = connection.execute("SELECT contract_sha256 FROM generation").fetchone()
+        if saved_contract and saved_contract[0] != contract_sha:
+            raise SourceChanged("checkpoint request contract changed; start a new staging generation")
+        if not saved_contract:
+            if connection.execute("SELECT COUNT(*) FROM documents").fetchone()[0]:
+                raise SourceChanged("existing checkpoints have no request contract; start a new staging generation")
+            with connection:
+                connection.execute("INSERT INTO generation (contract_sha256) VALUES (?)", (contract_sha,))
+        response = client.document(alias)
+        source = response.value
+        canonical = source["documentCode"]
+        record_sha = response.sha256
+        editions = source["editions"]
+        previous = connection.execute(
+            "SELECT canonical_id, response_sha256, expected_editions FROM documents WHERE alias = ?",
+            (alias,),
+        ).fetchone()
+        if previous and previous[1] is not None and (
+            previous[0] != canonical or previous[1] != record_sha or previous[2] != len(editions)
+        ):
+            raise SourceChanged("document metadata changed; start a new staging generation")
+        working_document = work_root / str(canonical)
+        final_document = target_root / str(canonical)
+        ensure_stage_path(output, working_document)
+        ensure_stage_path(output, final_document)
+        if final_document.is_symlink():
+            raise ValueError("staging target must not be a symbolic link")
+        if final_document.exists() and not previous:
+            raise ValueError("staging target already exists without a matching checkpoint")
+        if final_document.exists():
+            final_metadata = ensure_stage_path(output, final_document / "metadata.json")
+            source_document = ensure_stage_path(output, final_document / "source-document.json")
+            metadata = json.loads(final_metadata.read_text(encoding="utf-8"))
+            if (
+                metadata.get("SourceApi", {}).get("response_sha256") != record_sha
+                or hashlib.sha256(source_document.read_bytes()).hexdigest() != record_sha
+            ):
+                raise SourceChanged("published staging document does not match the current source record")
+            for edition in editions:
+                identifier = edition_id(edition)
+                for request_language, archive_language, type_field in LANGUAGES:
+                    html_path = ensure_stage_path(
+                        output,
+                        final_document / "editions" / str(identifier) / f"{archive_language}.html",
+                    )
+                    checkpoint = connection.execute(
+                        "SELECT state, content_sha256 FROM languages WHERE canonical_id = ? AND edition_id = ? AND request_language = ?",
+                        (canonical, identifier, request_language),
+                    ).fetchone()
+                    if not edition.get(type_field):
+                        if not checkpoint or checkpoint[0] != "unavailable":
+                            raise SourceError(f"published staging document has no checkpoint for edition {identifier} {request_language}")
+                    elif (
+                        not checkpoint
+                        or checkpoint[0] != "complete"
+                        or not html_path.is_file()
+                        or sha256_file(html_path) != checkpoint[1]
+                    ):
+                        raise SourceError(f"published staging document failed verification for edition {identifier} {request_language}")
+            document_sha = hash_tree(final_document)
+            fetched_at = utc_now()
+            manifest_row = raw_manifest.execute(
+                "SELECT source_sha256 FROM documents WHERE code = ?", (canonical,)
+            ).fetchone()
+            if manifest_row and manifest_row[0] != document_sha:
+                raise SourceError("published staging document does not match its raw manifest")
+            with raw_manifest:
+                raw_manifest.execute(
+                    "INSERT OR IGNORE INTO documents (code, source_sha256, fetched_at) VALUES (?, ?, ?)",
+                    (canonical, document_sha, fetched_at),
+                )
+                raw_manifest.execute(
+                    "INSERT INTO errors (code, message, failed_at) VALUES (?, ?, ?) "
+                    "ON CONFLICT(code) DO UPDATE SET message=excluded.message, failed_at=excluded.failed_at",
+                    (canonical, "attachments and embedded media are not independently verified", fetched_at),
+                )
+            with connection:
+                connection.execute(
+                    "UPDATE documents SET state='text_complete_incomplete_attachments', error=NULL, updated_at=? WHERE alias=?",
+                    (fetched_at, alias),
+                )
+            return {
+                "alias": alias,
+                "canonical_id": canonical,
+                "editions": len(editions),
+                "source_sha256": document_sha,
+                "state": "text_complete_incomplete_attachments",
+                "resumed": True,
+            }
+        stage_mkdir(output, working_document)
+        document_metadata = map_document_metadata(source, alias, response.sha256)
+        stage_write(output, working_document / "metadata.json", json_bytes(document_metadata))
+        stage_write(output, working_document / "source-document.json", response.body)
+        with connection:
+            connection.execute(
+                "INSERT INTO documents (alias, canonical_id, response_sha256, expected_editions, state, updated_at) VALUES (?, ?, ?, ?, 'fetching', ?) "
+                "ON CONFLICT(alias) DO UPDATE SET canonical_id=excluded.canonical_id, response_sha256=excluded.response_sha256, "
+                "expected_editions=excluded.expected_editions, state='fetching', error=NULL, updated_at=excluded.updated_at",
+                (alias, canonical, record_sha, len(editions), utc_now()),
+            )
+            for order, edition in enumerate(editions):
+                identifier = edition_id(edition)
+                existing = connection.execute(
+                    "SELECT source_order, response_sha256 FROM editions WHERE canonical_id = ? AND edition_id = ?",
+                    (canonical, identifier),
+                ).fetchone()
+                if existing and existing != (order, hashlib.sha256(json_bytes(edition)).hexdigest()):
+                    raise SourceChanged(f"edition metadata changed for {identifier}")
+                connection.execute(
+                    "INSERT OR IGNORE INTO editions (canonical_id, edition_id, source_order, response_sha256) VALUES (?, ?, ?, ?)",
+                    (canonical, identifier, order, hashlib.sha256(json_bytes(edition)).hexdigest()),
+                )
+
+        incomplete = []
+        for order, edition in enumerate(editions):
+            identifier = edition_id(edition)
+            directory = working_document / "editions" / str(identifier)
+            stage_mkdir(output, directory)
+            stage_write(output, directory / "metadata.json", json_bytes(map_edition_metadata(edition, order)))
+            for request_language, archive_language, type_field in LANGUAGES:
+                html_path = ensure_stage_path(output, directory / f"{archive_language}.html")
+                checkpoint = connection.execute(
+                    "SELECT state, content_sha256, byte_count FROM languages WHERE canonical_id = ? AND edition_id = ? AND request_language = ?",
+                    (canonical, identifier, request_language),
+                ).fetchone()
+                if checkpoint and checkpoint[0] == "complete":
+                    if not html_path.is_file() or sha256_file(html_path) != checkpoint[1]:
+                        raise SourceError(f"staged content hash mismatch for edition {identifier} {request_language}")
+                    continue
+                if not edition.get(type_field):
+                    save_language_checkpoint(
+                        connection, canonical, identifier, request_language, archive_language,
+                        None, None, 0, "unavailable", "source metadata reports no language file",
+                    )
+                    continue
+                try:
+                    language_response = client.edition(identifier, request_language)
+                    response_id = language_response.value.get("id")
+                    if isinstance(response_id, bool) or not isinstance(response_id, int) or response_id != identifier:
+                        raise SourceChanged(f"MinJust exact edition ID mismatch for {identifier}")
+                    for field in ("nameRus", "nameKyr"):
+                        if edition.get(field) is not None and language_response.value.get(field) != edition[field]:
+                            raise SourceChanged(f"MinJust exact edition metadata mismatch for {identifier}: {field}")
+                    content = language_response.value.get("contentRu")
+                    if not isinstance(content, str) or not content:
+                        raise SourceError(f"MinJust returned no content for edition {identifier} language {request_language}")
+                    encoded = content.encode("utf-8")
+                    completed_bytes = connection.execute(
+                        "SELECT COALESCE(SUM(byte_count), 0) FROM languages WHERE canonical_id = ? AND state = 'complete'",
+                        (canonical,),
+                    ).fetchone()[0]
+                    if completed_bytes + len(encoded) > max_document_bytes:
+                        raise SourceError(f"document {canonical} exceeds its {max_document_bytes}-byte staging budget")
+                    response_metadata = {
+                        key: value
+                        for key, value in language_response.value.items()
+                        if key not in {"contentRu", "contentKg"}
+                    }
+                    response_metadata["requested_language"] = request_language
+                    response_metadata["archive_language"] = archive_language
+                    response_metadata["requested_edition_id"] = identifier
+                    response_metadata["exact"] = True
+                    response_metadata["response_sha256"] = language_response.sha256
+                    stage_write(
+                        output,
+                        directory / "source" / f"{request_language}.json",
+                        json_bytes(response_metadata),
+                    )
+                    stage_write(output, html_path, encoded)
+                    save_language_checkpoint(
+                        connection, canonical, identifier, request_language, archive_language,
+                        language_response.sha256, hashlib.sha256(encoded).hexdigest(), len(encoded), "complete", None,
+                    )
+                except Exception as error:
+                    message = str(error)[:500]
+                    save_language_checkpoint(
+                        connection, canonical, identifier, request_language, archive_language,
+                        None, None, 0, "error", message,
+                    )
+                    incomplete.append({"edition_id": identifier, "language": request_language, "error": message})
+                    if isinstance(error, SourceChanged) or (isinstance(error, SourceError) and "budget" in message):
+                        raise
+
+        if incomplete:
+            with connection:
+                connection.execute(
+                    "UPDATE documents SET state='incomplete', error=?, updated_at=? WHERE alias=?",
+                    (json.dumps(incomplete, ensure_ascii=False), utc_now(), alias),
+                )
+            return {"alias": alias, "canonical_id": canonical, "editions": len(editions), "incomplete": incomplete}
+
+        working_metadata = ensure_stage_path(output, working_document / "metadata.json")
+        metadata = json.loads(working_metadata.read_text(encoding="utf-8"))
+        metadata["SourceCompleteness"] = {
+            "text": "complete",
+            "attachments": "not independently verified",
+        }
+        stage_write(output, working_metadata, json_bytes(metadata))
+        stage_mkdir(output, target_root)
+        ensure_stage_path(output, working_document)
+        ensure_stage_path(output, final_document)
+        if final_document.exists():
+            raise ValueError("refusing to replace a document in this staging generation")
+        os.replace(working_document, final_document)
+        validate_stage_tree(output)
+        document_sha = hash_tree(final_document)
+        fetched_at = utc_now()
+        with raw_manifest:
+            raw_manifest.execute(
+                "INSERT INTO documents (code, source_sha256, fetched_at) VALUES (?, ?, ?)",
+                (canonical, document_sha, fetched_at),
+            )
+            raw_manifest.execute(
+                "INSERT INTO errors (code, message, failed_at) VALUES (?, ?, ?)",
+                (canonical, "attachments and embedded media are not independently verified", fetched_at),
+            )
+        with connection:
+            connection.execute(
+                "UPDATE documents SET state='text_complete_incomplete_attachments', updated_at=? WHERE alias=?",
+                (fetched_at, alias),
+            )
+        return {
+            "alias": alias,
+            "canonical_id": canonical,
+            "editions": len(editions),
+            "source_sha256": document_sha,
+            "state": "text_complete_incomplete_attachments",
+        }
+    except Exception as error:
+        with connection:
+            connection.execute(
+                "INSERT INTO documents (alias, state, error, updated_at) VALUES (?, 'error', ?, ?) "
+                "ON CONFLICT(alias) DO UPDATE SET state='error', error=excluded.error, updated_at=excluded.updated_at",
+                (alias, str(error)[:500], utc_now()),
+            )
+        raise
+    finally:
+        raw_manifest.close()
+        connection.close()
+
+
+def map_document_metadata(source: dict, alias: str, response_sha256: str) -> dict:
+    canonical = source["documentCode"]
+    return {
+        "Code": canonical,
+        "Name": {"Rus": source.get("nameRus"), "Kyr": source.get("nameKyr")},
+        "Title": {"Rus": source.get("headerRu"), "Kyr": source.get("headerKg")},
+        "Number": source.get("number"),
+        "DateAdopted": source.get("dateAdopted"),
+        "DateInclusion": source.get("dateInclusion"),
+        "DateOfEntry": source.get("dateOfEntry"),
+        "DatePublication": source.get("datePublication"),
+        "DateRegistration": source.get("dateRegistration"),
+        "IsPublicInRegister": source.get("isPublicInRegister"),
+        "SourceStatus": source.get("status"),
+        "SourceClassId": source.get("classId"),
+        "SourceRefTypeId": source.get("refTypeId"),
+        "SourceAuthorityIds": source.get("authoritiesId"),
+        "SourcePublicationIds": source.get("sourcePublicationsId"),
+        "SourceMetadata": {key: value for key, value in source.items() if key != "editions"},
+        "SourceDocumentCode": alias,
+        "SourceMediaStatus": "not independently verified",
+        "SourceApi": {"endpoint": "/GetDocument", "response_sha256": response_sha256},
+    }
+
+
+def map_edition_metadata(source: dict, source_order: int) -> dict:
+    return {
+        "Code": edition_id(source),
+        "Name": {"Rus": source.get("nameRus"), "Kyr": source.get("nameKyr")},
+        "SourceOrder": source_order,
+        "SourceTextTypes": {
+            "ru": source.get("textRusType"),
+            "ky": source.get("textKyrType"),
+        },
+        "SourceMediaStatus": "not independently verified",
+        "SourceMetadata": source,
+    }
+
+
+def save_language_checkpoint(
+    connection: sqlite3.Connection,
+    canonical: int,
+    edition: int,
+    request_language: str,
+    archive_language: str,
+    response_sha256: str | None,
+    content_sha256: str | None,
+    byte_count: int,
+    state: str,
+    error: str | None,
+) -> None:
+    with connection:
+        connection.execute(
+            "INSERT INTO languages (canonical_id, edition_id, request_language, archive_language, response_sha256, content_sha256, byte_count, state, error, updated_at) "
+            "VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?) ON CONFLICT(canonical_id, edition_id, request_language) DO UPDATE SET "
+            "archive_language=excluded.archive_language, response_sha256=excluded.response_sha256, content_sha256=excluded.content_sha256, "
+            "byte_count=excluded.byte_count, state=excluded.state, error=excluded.error, updated_at=excluded.updated_at",
+            (canonical, edition, request_language, archive_language, response_sha256, content_sha256, byte_count, state, error, utc_now()),
+        )
+
+
+def sha256_file(path: Path) -> str:
+    digest = hashlib.sha256()
+    with path.open("rb") as source:
+        for block in iter(lambda: source.read(1024 * 1024), b""):
+            digest.update(block)
+    return digest.hexdigest()
+
+
+def hash_tree(root: Path) -> str:
+    digest = hashlib.sha256()
+    for path in sorted(item for item in root.rglob("*") if item.is_file()):
+        digest.update(path.relative_to(root).as_posix().encode())
+        digest.update(b"\0")
+        digest.update(sha256_file(path).encode("ascii"))
+        digest.update(b"\0")
+    return digest.hexdigest()
+
+
+def utc_now() -> str:
+    return datetime.now(timezone.utc).isoformat()
+
+
+def parse_args() -> argparse.Namespace:
+    parser = argparse.ArgumentParser(description=__doc__)
+    parser.add_argument("--output", type=Path, required=True, help="new, separate staging generation")
+    parser.add_argument("--document-code", required=True, help="one official document alias or canonical code")
+    parser.add_argument("--resume", action="store_true", help="resume only this staging generation")
+    parser.add_argument("--requests-per-second", type=float, default=1)
+    parser.add_argument("--timeout", type=int, default=60)
+    parser.add_argument("--retries", type=int, default=5)
+    parser.add_argument("--max-document-bytes", type=int, default=DEFAULT_DOCUMENT_BUDGET)
+    parser.add_argument("--version", action="version", version=APP_VERSION)
+    return parser.parse_args()
+
+
+def main() -> int:
+    arguments = parse_args()
+    logging.basicConfig(level=logging.INFO, format="%(asctime)s %(levelname)s %(message)s")
+    result = stage_document(
+        arguments.output,
+        arguments.document_code,
+        CurrentCbdClient(arguments.requests_per_second, arguments.timeout, arguments.retries),
+        resume=arguments.resume,
+        max_document_bytes=arguments.max_document_bytes,
+    )
+    print(json.dumps(result, ensure_ascii=False, sort_keys=True))
+    return int(result.get("state") != "text_complete_incomplete_attachments")
+
+
+if __name__ == "__main__":
+    raise SystemExit(main())

backend/normalization/minjust_cbd.py

@@ -0,0 +1,741 @@
+#!/usr/bin/env python3
+"""Normalize the local Ministry of Justice CBD archive."""
+
+from __future__ import annotations
+
+import argparse
+import hashlib
+import html
+import json
+import logging
+import os
+import re
+import shutil
+import sqlite3
+import sys
+import tempfile
+import time
+import unicodedata
+from dataclasses import dataclass
+from datetime import datetime, timezone
+from html.parser import HTMLParser
+from pathlib import Path
+from typing import Callable
+from urllib.parse import urlsplit
+
+APP_VERSION = "0.10.0"
+SCHEMA_VERSION = "1"
+NORMALIZER_VERSION = "1.1.0"
+LANGUAGES = ("ru", "ky")
+LOGGER = logging.getLogger(__name__)
+
+ALLOWED_TAGS = {
+    "a", "b", "blockquote", "br", "div", "em", "h1", "h2", "h3", "h4",
+    "h5", "h6", "i", "img", "li", "ol", "p", "pre", "span", "strong",
+    "sub", "sup", "table", "tbody", "td", "tfoot", "th", "thead", "tr",
+    "u", "ul",
+}
+VOID_TAGS = {"br", "img"}
+DROP_CONTENT_TAGS = {"applet", "iframe", "noscript", "object", "script", "style", "svg"}
+DROP_ELEMENT_TAGS = {"link", "meta"}
+BLOCK_TAGS = {"blockquote", "h1", "h2", "h3", "h4", "h5", "h6", "li", "p", "pre", "td", "th"}
+AUTO_CLOSE = {
+    "li": {"li"},
+    "p": {"blockquote", "div", "h1", "h2", "h3", "h4", "h5", "h6", "li", "ol", "p", "pre", "table", "ul"},
+    "td": {"td", "th"},
+    "th": {"td", "th"},
+    "tr": {"tr"},
+}
+
+
+@dataclass(frozen=True)
+class NormalizeResult:
+    discovered: int = 0
+    normalized: int = 0
+    skipped: int = 0
+    failed: int = 0
+
+
+def utc_now() -> str:
+    return datetime.now(timezone.utc).isoformat()
+
+
+def atomic_write(path: Path, content: bytes) -> None:
+    path.parent.mkdir(parents=True, exist_ok=True)
+    with tempfile.NamedTemporaryFile(dir=path.parent, delete=False) as temporary:
+        temporary.write(content)
+        temporary_path = Path(temporary.name)
+    os.replace(temporary_path, path)
+
+
+def json_bytes(value: object) -> bytes:
+    return (json.dumps(value, ensure_ascii=False, indent=2) + "\n").encode("utf-8")
+
+
+def sha256_bytes(content: bytes) -> str:
+    return hashlib.sha256(content).hexdigest()
+
+
+def source_inventory(document_directory: Path, input_root: Path) -> tuple[list[dict], str]:
+    files = []
+    combined = hashlib.sha256()
+    for path in sorted(item for item in document_directory.rglob("*") if item.is_file()):
+        relative = path.relative_to(input_root).as_posix()
+        digest = hashlib.sha256()
+        with path.open("rb") as source:
+            for chunk in iter(lambda: source.read(1024 * 1024), b""):
+                digest.update(chunk)
+        checksum = digest.hexdigest()
+        files.append({"path": relative, "sha256": checksum})
+        combined.update(relative.encode("utf-8"))
+        combined.update(b"\0")
+        combined.update(checksum.encode("ascii"))
+        combined.update(b"\0")
+    return files, combined.hexdigest()
+
+
+def clean_value(value):
+    if isinstance(value, str):
+        normalized = unicodedata.normalize("NFC", value)
+        return normalized if normalized.strip() else None
+    if isinstance(value, dict):
+        return {key: clean_value(item) for key, item in value.items()}
+    if isinstance(value, list):
+        return [clean_value(item) for item in value]
+    return value
+
+
+def bilingual(value) -> dict[str, object]:
+    value = value if isinstance(value, dict) else {}
+    return {"ru": clean_value(value.get("Rus")), "ky": clean_value(value.get("Kyr"))}
+
+
+def hierarchy_paths(items: object, child_key: str) -> list[dict]:
+    paths: list[dict] = []
+
+    def visit(nodes: object, ancestors: dict[str, list[str]]) -> None:
+        for node in nodes if isinstance(nodes, list) else []:
+            if not isinstance(node, dict):
+                continue
+            names = bilingual(node.get("Name"))
+            current = {language: list(ancestors[language]) for language in LANGUAGES}
+            for language in LANGUAGES:
+                name = names[language]
+                if name:
+                    current[language].append(str(name))
+            children = node.get(child_key)
+            if children:
+                visit(children, current)
+            else:
+                paths.append(current)
+
+    visit(items, {"ru": [], "ky": []})
+    return paths
+
+
+class SafeHtmlParser(HTMLParser):
+    def __init__(self, edition_directory: Path) -> None:
+        super().__init__(convert_charrefs=True)
+        self.edition_directory = edition_directory.resolve()
+        self.parts: list[str] = []
+        self.stack: list[str] = []
+        self.drop_depth = 0
+        self.removed_elements = 0
+        self.removed_attributes = 0
+        self.removed_images = 0
+
+    def handle_starttag(self, tag: str, attrs: list[tuple[str, str | None]]) -> None:
+        tag = tag.lower()
+        if self.drop_depth:
+            if tag in DROP_CONTENT_TAGS:
+                self.drop_depth += 1
+            return
+        if tag in DROP_CONTENT_TAGS:
+            self.drop_depth = 1
+            self.removed_elements += 1
+            return
+        if tag in DROP_ELEMENT_TAGS:
+            self.removed_elements += 1
+            return
+        if tag not in ALLOWED_TAGS:
+            self.removed_elements += 1
+            return
+        for open_tag, closing_tags in AUTO_CLOSE.items():
+            if tag in closing_tags and open_tag in self.stack:
+                self._close(open_tag)
+        safe_attrs = self._attributes(tag, attrs)
+        if tag == "img" and not any(name == "src" for name, _ in safe_attrs):
+            self.removed_images += 1
+            return
+        rendered = "".join(
+            f' {name}="{html.escape(value, quote=True)}"' for name, value in safe_attrs
+        )
+        self.parts.append(f"<{tag}{rendered}>")
+        if tag not in VOID_TAGS:
+            self.stack.append(tag)
+
+    def handle_startendtag(self, tag: str, attrs: list[tuple[str, str | None]]) -> None:
+        self.handle_starttag(tag, attrs)
+        if tag.lower() not in VOID_TAGS:
+            self.handle_endtag(tag)
+
+    def handle_endtag(self, tag: str) -> None:
+        tag = tag.lower()
+        if self.drop_depth:
+            if tag in DROP_CONTENT_TAGS:
+                self.drop_depth -= 1
+            return
+        if tag in self.stack:
+            self._close(tag)
+
+    def handle_data(self, data: str) -> None:
+        if not self.drop_depth:
+            self.parts.append(html.escape(unicodedata.normalize("NFC", data), quote=False))
+
+    def close(self) -> None:
+        super().close()
+        while self.stack:
+            self.parts.append(f"</{self.stack.pop()}>")
+
+    def _close(self, tag: str) -> None:
+        while self.stack:
+            current = self.stack.pop()
+            self.parts.append(f"</{current}>")
+            if current == tag:
+                break
+
+    def _attributes(self, tag: str, attrs: list[tuple[str, str | None]]) -> list[tuple[str, str]]:
+        allowed = {"title"}
+        if tag == "a":
+            allowed |= {"href"}
+        elif tag == "img":
+            allowed |= {"alt", "src"}
+        elif tag in {"td", "th"}:
+            allowed |= {"colspan", "rowspan"}
+        safe = []
+        for raw_name, raw_value in attrs:
+            name = raw_name.lower()
+            value = unicodedata.normalize("NFC", raw_value or "")
+            if name not in allowed:
+                self.removed_attributes += 1
+                continue
+            if name == "href" and not safe_link(value):
+                self.removed_attributes += 1
+                continue
+            if name == "src" and not self.safe_image(value):
+                self.removed_attributes += 1
+                continue
+            if name in {"colspan", "rowspan"} and not value.isdigit():
+                self.removed_attributes += 1
+                continue
+            safe.append((name, value))
+        if tag == "a" and any(name == "href" and urlsplit(value).scheme in {"http", "https"} for name, value in safe):
+            safe.append(("rel", "noopener noreferrer"))
+        return safe
+
+    def safe_image(self, value: str) -> bool:
+        try:
+            parsed = urlsplit(value)
+        except ValueError:
+            return False
+        if parsed.scheme or parsed.netloc or not parsed.path or parsed.path.startswith(("/", "\\")):
+            return False
+        candidate = (self.edition_directory / parsed.path.replace("\\", "/")).resolve()
+        try:
+            candidate.relative_to(self.edition_directory)
+        except ValueError:
+            return False
+        return candidate.is_file()
+
+
+def safe_link(value: str) -> bool:
+    value = value.strip()
+    if not value or value.startswith(("//", "\\\\")):
+        return False
+    try:
+        parsed = urlsplit(value)
+    except ValueError:
+        return False
+    return parsed.scheme.lower() in {"", "http", "https", "mailto"} and not (
+        not parsed.scheme and parsed.netloc
+    )
+
+
+def sanitize_html(source: str, edition_directory: Path) -> tuple[str, dict]:
+    parser = SafeHtmlParser(edition_directory)
+    parser.feed(source)
+    parser.close()
+    return unicodedata.normalize("NFC", "".join(parser.parts)), {
+        "removed_elements": parser.removed_elements,
+        "removed_attributes": parser.removed_attributes,
+        "removed_images": parser.removed_images,
+    }
+
+
+class TextBlockParser(HTMLParser):
+    def __init__(self) -> None:
+        super().__init__(convert_charrefs=True)
+        self.blocks: list[tuple[str, str]] = []
+        self.active_tag: str | None = None
+        self.active: list[str] = []
+        self.loose: list[str] = []
+
+    def handle_starttag(self, tag: str, attrs) -> None:
+        if tag in BLOCK_TAGS:
+            self._flush_active()
+            self._flush_loose()
+            self.active_tag = tag
+        elif tag == "br":
+            (self.active if self.active_tag else self.loose).append("\n")
+
+    def handle_endtag(self, tag: str) -> None:
+        if tag == self.active_tag:
+            self._flush_active()
+
+    def handle_data(self, data: str) -> None:
+        (self.active if self.active_tag else self.loose).append(data)
+
+    def close(self) -> None:
+        super().close()
+        self._flush_active()
+        self._flush_loose()
+
+    def _flush_active(self) -> None:
+        if self.active_tag:
+            text = clean_text("".join(self.active))
+            if text:
+                self.blocks.append((self.active_tag, text))
+        self.active_tag = None
+        self.active = []
+
+    def _flush_loose(self) -> None:
+        text = clean_text("".join(self.loose))
+        if text:
+            self.blocks.append(("p", text))
+        self.loose = []
+
+
+def clean_text(value: str) -> str:
+    lines = []
+    for line in unicodedata.normalize("NFC", value).replace("\xa0", " ").splitlines():
+        line = re.sub(r"[ \t\f\v]+", " ", line).strip()
+        if line:
+            lines.append(line)
+    return "\n".join(lines)
+
+
+def fragment_type(tag: str, text: str, language: str) -> str:
+    lowered = text.casefold()
+    article_words = ("статья", "ст.") if language == "ru" else ("берене", "статья")
+    if any(re.match(rf"^{re.escape(word)}\s*\d", lowered) for word in article_words):
+        return "article"
+    if re.match(r"^\d+(?:\.\d+)*[.)]?\s+", text):
+        return "point"
+    if tag.startswith("h"):
+        return "heading"
+    return {"li": "list_item", "td": "table_cell", "th": "table_header"}.get(tag, "paragraph")
+
+
+def extract_text_and_fragments(
+    sanitized: str,
+    document_code: str,
+    edition_code: str,
+    language: str,
+    source_path: str,
+    source_sha256: str,
+) -> tuple[str, list[dict]]:
+    parser = TextBlockParser()
+    parser.feed(sanitized)
+    parser.close()
+    fragments = []
+    for position, (tag, text) in enumerate(parser.blocks, 1):
+        fragments.append(
+            {
+                "id": f"document:{document_code}:edition:{edition_code}:lang:{language}:fragment:{position}",
+                "document_code": document_code,
+                "edition_code": edition_code,
+                "language": language,
+                "position": position,
+                "type": fragment_type(tag, text, language),
+                "text": text,
+                "text_sha256": sha256_bytes(text.encode("utf-8")),
+                "source_path": source_path,
+                "source_sha256": source_sha256,
+            }
+        )
+    return "\n\n".join(fragment["text"] for fragment in fragments), fragments
+
+
+def load_json(path: Path) -> dict:
+    value = json.loads(path.read_text(encoding="utf-8"))
+    if not isinstance(value, dict):
+        raise ValueError(f"Expected JSON object: {path}")
+    return value
+
+
+def edition_summary(edition_directory: Path, input_root: Path) -> dict:
+    metadata = load_json(edition_directory / "metadata.json")
+    languages = [language for language in LANGUAGES if (edition_directory / f"{language}.html").is_file()]
+    summary = {
+        "source_code": str(metadata.get("Code", edition_directory.name)),
+        "name": bilingual(metadata.get("Name")),
+        "source_type": clean_value(metadata.get("Type")),
+        "available_languages": languages,
+        "source_path": edition_directory.relative_to(input_root).as_posix(),
+    }
+    if "SourceOrder" in metadata:
+        summary["source_order"] = metadata["SourceOrder"]
+    return summary
+
+
+def normalize_document(
+    document_directory: Path,
+    input_root: Path,
+    destination: Path,
+    files: list[dict] | None = None,
+    source_checksum: str | None = None,
+) -> None:
+    metadata_path = document_directory / "metadata.json"
+    metadata = load_json(metadata_path)
+    document_code = str(metadata.get("Code", document_directory.name))
+    if document_code != document_directory.name:
+        raise ValueError(f"Document code mismatch in {metadata_path}")
+    if files is None or source_checksum is None:
+        files, source_checksum = source_inventory(document_directory, input_root)
+    file_checksums = {item["path"]: item["sha256"] for item in files}
+    edition_root = document_directory / "editions"
+    edition_directories = sorted(
+        (path for path in edition_root.iterdir() if path.is_dir()),
+        key=lambda path: (not path.name.isdigit(), int(path.name) if path.name.isdigit() else path.name),
+    ) if edition_root.is_dir() else []
+    summaries = [edition_summary(path, input_root) for path in edition_directories]
+    source_orders = [item.get("source_order") for item in summaries]
+    if any(order is not None for order in source_orders):
+        if any(not isinstance(order, int) or isinstance(order, bool) or order < 0 for order in source_orders):
+            raise ValueError(f"Invalid source edition order in {document_directory}")
+        if len(set(source_orders)) != len(source_orders):
+            raise ValueError(f"Duplicate source edition order in {document_directory}")
+        ordered = sorted(zip(source_orders, edition_directories, summaries), key=lambda item: item[0])
+        edition_directories = [item[1] for item in ordered]
+        summaries = [item[2] for item in ordered]
+    available_languages = [language for language in LANGUAGES if any(language in item["available_languages"] for item in summaries)]
+    normalized_metadata = clean_value(metadata)
+    document = {
+        "schema_version": SCHEMA_VERSION,
+        "source_code": document_code,
+        "class": bilingual(metadata.get("Class")),
+        "type": bilingual(metadata.get("Type")),
+        "title": bilingual(metadata.get("Title")),
+        "name": bilingual(metadata.get("Name")),
+        "status": bilingual(metadata.get("Status")),
+        "number": clean_value(metadata.get("Number")),
+        "dates": {key: value for key, value in normalized_metadata.items() if key.startswith("Date")},
+        "registration_number": clean_value(metadata.get("NumberRegistration")),
+        "publication_number": clean_value(metadata.get("NumberPublication")),
+        "is_public_in_cdb": metadata.get("IsPublicInCdb"),
+        "is_public_in_register": metadata.get("IsPublicInRegister"),
+        "authorities": normalized_metadata.get("Authorities") or [],
+        "authority_paths": hierarchy_paths(metadata.get("Authorities"), "Authorities"),
+        "source_publications": normalized_metadata.get("SourcePublications") or [],
+        "source_publication_paths": hierarchy_paths(metadata.get("SourcePublications"), "SourcePublications"),
+        "keywords": normalized_metadata.get("Keywords") or [],
+        "keyword_paths": hierarchy_paths(metadata.get("Keywords"), "Keywords"),
+        "general_classifiers": normalized_metadata.get("GeneralClassifiers") or [],
+        "general_classifier_paths": hierarchy_paths(metadata.get("GeneralClassifiers"), "GeneralClassifiers"),
+        "references": normalized_metadata.get("References") or [],
+        "source_metadata": normalized_metadata,
+        "available_languages": available_languages,
+        "editions": summaries,
+        "source": {
+            "path": document_directory.relative_to(input_root).as_posix(),
+            "files": files,
+            "sha256": source_checksum,
+        },
+        "normalizer": {"version": NORMALIZER_VERSION, "processed_at": utc_now()},
+    }
+    atomic_write(destination / "document.json", json_bytes(document))
+
+    for edition_directory, summary in zip(edition_directories, summaries):
+        edition_code = summary["source_code"]
+        edition_metadata = load_json(edition_directory / "metadata.json")
+        edition_destination = destination / "editions" / edition_directory.name
+        image_records = []
+        for image in edition_metadata.get("Images") or []:
+            language = {"Russian": "ru", "Kyrgyz": "ky"}.get(image.get("Lang"), "unknown")
+            name = Path(str(image.get("Name") or "").replace("\\", "/")).name
+            source_path = edition_directory / "images" / language / name
+            relative = source_path.relative_to(input_root).as_posix()
+            image_records.append(
+                {
+                    "language": language,
+                    "name": clean_value(image.get("Name")),
+                    "source_path": relative if source_path.is_file() else None,
+                    "source_sha256": file_checksums.get(relative),
+                    "source_metadata": clean_value(image),
+                }
+            )
+        quality = {"has_html": bool(summary["available_languages"]), "languages": {}}
+        for language in summary["available_languages"]:
+            html_path = edition_directory / f"{language}.html"
+            relative = html_path.relative_to(input_root).as_posix()
+            raw = html_path.read_text(encoding="utf-8")
+            sanitized, sanitizer_quality = sanitize_html(raw, edition_directory)
+            text, fragments = extract_text_and_fragments(
+                sanitized, document_code, edition_code, language, relative, file_checksums[relative]
+            )
+            language_destination = edition_destination / language
+            atomic_write(language_destination / "content.html", sanitized.encode("utf-8"))
+            atomic_write(language_destination / "content.txt", (text + ("\n" if text else "")).encode("utf-8"))
+            atomic_write(language_destination / "fragments.json", json_bytes(fragments))
+            quality["languages"][language] = {
+                **sanitizer_quality,
+                "empty_text": not bool(text),
+                "fragment_count": len(fragments),
+            }
+        edition = {
+            "schema_version": SCHEMA_VERSION,
+            "source_code": edition_code,
+            "name": summary["name"],
+            "source_type": summary["source_type"],
+            "available_languages": summary["available_languages"],
+            "images": image_records,
+            "source_metadata": clean_value(edition_metadata),
+            "source": {
+                "path": summary["source_path"],
+                "files": [item for item in files if item["path"].startswith(summary["source_path"] + "/")],
+            },
+            "quality": quality,
+        }
+        atomic_write(edition_destination / "edition.json", json_bytes(edition))
+
+
+def connect_manifest(path: Path) -> sqlite3.Connection:
+    path.parent.mkdir(parents=True, exist_ok=True)
+    connection = sqlite3.connect(path)
+    connection.execute(
+        """
+        CREATE TABLE IF NOT EXISTS documents (
+            code TEXT PRIMARY KEY,
+            source_sha256 TEXT,
+            schema_version TEXT NOT NULL,
+            normalizer_version TEXT NOT NULL,
+            processed_at TEXT,
+            state TEXT NOT NULL,
+            error TEXT,
+            failed_at TEXT
+        )
+        """
+    )
+    columns = {row[1] for row in connection.execute("PRAGMA table_info(documents)")}
+    if "failed_at" not in columns:
+        connection.execute("ALTER TABLE documents ADD COLUMN failed_at TEXT")
+    return connection
+
+
+def publish_directory(staged: Path, target: Path) -> None:
+    target.parent.mkdir(parents=True, exist_ok=True)
+    backup = target.parent / f".{target.name}.previous"
+    if backup.exists():
+        shutil.rmtree(backup)
+    if target.exists():
+        os.replace(target, backup)
+    try:
+        os.replace(staged, target)
+    except Exception:
+        if backup.exists():
+            os.replace(backup, target)
+        raise
+    if backup.exists():
+        shutil.rmtree(backup)
+
+
+def recover_directory(target: Path) -> None:
+    backup = target.parent / f".{target.name}.previous"
+    if not backup.exists():
+        return
+    if target.exists():
+        shutil.rmtree(backup)
+    else:
+        os.replace(backup, target)
+
+
+def validate_roots(input_root: Path, output: Path) -> None:
+    source = input_root.resolve()
+    destination = output.resolve()
+    if source == destination or source.is_relative_to(destination) or destination.is_relative_to(source):
+        raise ValueError("--input and --output must not overlap")
+
+
+def normalize_archive(
+    input_root: Path = Path("data/minjust-cbd"),
+    output: Path = Path("data/minjust-normalized"),
+    limit: int | None = None,
+    refresh: bool = False,
+    progress: Callable[[NormalizeResult, int], None] | None = None,
+) -> NormalizeResult:
+    validate_roots(input_root, output)
+    document_root = input_root / "documents"
+    if not document_root.is_dir():
+        raise FileNotFoundError(f"Document directory not found: {document_root}")
+    output.mkdir(parents=True, exist_ok=True)
+    connection = connect_manifest(output / "manifest.sqlite3")
+    known = {
+        row[0]: (row[1], row[2], row[3], row[4])
+        for row in connection.execute(
+            "SELECT code, source_sha256, schema_version, normalizer_version, state FROM documents"
+        )
+    }
+    directories = sorted(
+        (path for path in document_root.iterdir() if path.is_dir()),
+        key=lambda path: (not path.name.isdigit(), int(path.name) if path.name.isdigit() else path.name),
+    )
+    if limit is not None:
+        directories = directories[:limit]
+    total = len(directories)
+    discovered = normalized = skipped = failed = 0
+    staging_root = output / ".staging"
+    staging_root.mkdir(exist_ok=True)
+    try:
+        for source_directory in directories:
+            discovered += 1
+            code = source_directory.name
+            target = output / "documents" / code
+            checksum = None
+            try:
+                recover_directory(target)
+                files, checksum = source_inventory(source_directory, input_root)
+                if target.is_dir() and not refresh and known.get(code) == (
+                    checksum, SCHEMA_VERSION, NORMALIZER_VERSION, "success"
+                ):
+                    skipped += 1
+                else:
+                    with tempfile.TemporaryDirectory(dir=staging_root) as temporary:
+                        staged = Path(temporary) / code
+                        normalize_document(source_directory, input_root, staged, files, checksum)
+                        publish_directory(staged, target)
+                    with connection:
+                        connection.execute(
+                            """
+                            INSERT INTO documents (
+                                code, source_sha256, schema_version,
+                                normalizer_version, processed_at, state, error,
+                                failed_at
+                            ) VALUES (?, ?, ?, ?, ?, 'success', NULL, NULL)
+                            ON CONFLICT(code) DO UPDATE SET
+                                source_sha256=excluded.source_sha256,
+                                schema_version=excluded.schema_version,
+                                normalizer_version=excluded.normalizer_version,
+                                processed_at=excluded.processed_at,
+                                state='success', error=NULL, failed_at=NULL
+                            """,
+                            (code, checksum, SCHEMA_VERSION, NORMALIZER_VERSION, utc_now()),
+                        )
+                    normalized += 1
+            except Exception as error:  # Keep a corpus run alive after one malformed record.
+                LOGGER.exception("Failed to normalize document %s", code)
+                with connection:
+                    connection.execute(
+                        """
+                        INSERT INTO documents (
+                            code, source_sha256, schema_version,
+                            normalizer_version, processed_at, state, error,
+                            failed_at
+                        ) VALUES (?, ?, ?, ?, NULL, 'error', ?, ?)
+                        ON CONFLICT(code) DO UPDATE SET
+                            source_sha256=excluded.source_sha256,
+                            schema_version=excluded.schema_version,
+                            normalizer_version=excluded.normalizer_version,
+                            state='error', error=excluded.error,
+                            failed_at=excluded.failed_at
+                        """,
+                        (
+                            code,
+                            checksum,
+                            SCHEMA_VERSION,
+                            NORMALIZER_VERSION,
+                            str(error),
+                            utc_now(),
+                        ),
+                    )
+                failed += 1
+            result = NormalizeResult(discovered, normalized, skipped, failed)
+            if progress:
+                progress(result, total)
+            elif discovered % 100 == 0:
+                LOGGER.info("discovered=%s normalized=%s skipped=%s failed=%s", discovered, normalized, skipped, failed)
+    finally:
+        connection.close()
+        try:
+            staging_root.rmdir()
+        except OSError:
+            pass
+    return NormalizeResult(discovered, normalized, skipped, failed)
+
+
+def format_duration(seconds: float) -> str:
+    seconds = max(0, round(seconds))
+    hours, seconds = divmod(seconds, 3600)
+    minutes, seconds = divmod(seconds, 60)
+    return f"{hours:02d}:{minutes:02d}:{seconds:02d}"
+
+
+def progress_line(result: NormalizeResult, total: int, elapsed: float, width: int = 24) -> str:
+    fraction = result.discovered / total if total else 0
+    filled = min(width, round(width * fraction))
+    rate = result.discovered / elapsed if elapsed > 0 else 0
+    eta = (total - result.discovered) / rate if rate else 0
+    return (
+        f"[{'#' * filled}{'-' * (width - filled)}] {fraction:6.2%} "
+        f"{result.discovered}/{total} normalized={result.normalized} "
+        f"skipped={result.skipped} failed={result.failed} "
+        f"rate={rate:.2f}/s ETA={format_duration(eta)}"
+    )
+
+
+def terminal_progress() -> Callable[[NormalizeResult, int], None]:
+    started = time.monotonic()
+
+    def update(result: NormalizeResult, total: int) -> None:
+        print(
+            f"\r{progress_line(result, total, time.monotonic() - started)}",
+            end="\n" if result.discovered >= total else "",
+            file=sys.stderr,
+            flush=True,
+        )
+
+    return update
+
+
+def parse_args() -> argparse.Namespace:
+    parser = argparse.ArgumentParser(description=__doc__)
+    parser.add_argument("--input", type=Path, default=Path("data/minjust-cbd"))
+    parser.add_argument("--output", type=Path, default=Path("data/minjust-normalized"))
+    parser.add_argument("--limit", type=int, help="normalize only the first N documents")
+    parser.add_argument("--refresh", action="store_true", help="renormalize unchanged documents")
+    parser.add_argument("--log-level", choices=("DEBUG", "INFO", "WARNING", "ERROR"), default="INFO")
+    parser.add_argument("--version", action="version", version=APP_VERSION)
+    return parser.parse_args()
+
+
+def main() -> int:
+    arguments = parse_args()
+    if arguments.limit is not None and arguments.limit <= 0:
+        raise SystemExit("--limit must be greater than zero")
+    logging.basicConfig(level=arguments.log_level, format="%(asctime)s %(levelname)s %(message)s")
+    result = normalize_archive(
+        arguments.input,
+        arguments.output,
+        arguments.limit,
+        arguments.refresh,
+        terminal_progress() if sys.stderr.isatty() else None,
+    )
+    print(
+        f"discovered={result.discovered} normalized={result.normalized} "
+        f"skipped={result.skipped} failed={result.failed}\n"
+        f"Akyldash · Backend v{APP_VERSION} · Frontend v0.1.2"
+    )
+    return int(result.failed > 0)
+
+
+if __name__ == "__main__":
+    raise SystemExit(main())

backend/search/RELEVANCE_ANNOTATION.md

@@ -0,0 +1,108 @@
+# Инструкция по разметке relevance set v1
+
+## Цель
+
+Набор проверяет, находит ли поиск нужные документы по реальным формулировкам
+пользователей. Он не должен подгоняться под текущую выдачу: сначала фиксируются
+запросы и релевантные документы, затем считается baseline и меняется
+ранжирование.
+
+## Подготовка
+
+Создайте игнорируемую Git рабочую копию:
+
+```bash
+mkdir -p data/search
+cp backend/search/relevance-set-v1.template.json data/search/relevance-set-v1.json
+```
+
+Сохраните идентификаторы `ru-01`–`ru-25` и `ky-01`–`ky-25`. Заполняйте
+`query` и `relevant_document_codes`; остальные поля и структуру JSON не меняйте.
+
+## Выбор запросов
+
+- Используйте 25 русских и 25 кыргызских запросов, реально заданных или
+  сформулированных носителем языка для практической юридической задачи.
+- Не переводите русский набор дословно на кыргызский: оба набора должны
+  отражать естественные формулировки своего языка.
+- Записывайте исходную формулировку без улучшения под поисковик. Допустимы
+  разговорные слова, распространённые сокращения и опечатки.
+- Не используйте персональные данные, закрытые материалы и сведения, которых
+  нет в публичном корпусе Минюста.
+- Не включайте запрос, если нельзя установить хотя бы один релевантный документ.
+- Не повторяйте один информационный запрос в нескольких близких формулировках.
+
+Проверьте разнообразие набора: названия и номера актов, вопросы по жизненной
+или рабочей ситуации, короткие тематические запросы, органы принятия, статусы и
+даты. Это ориентир, а не квота: реальные запросы важнее искусственного баланса.
+
+## Критерий релевантности
+
+Документ релевантен, если его текст или реквизиты непосредственно отвечают
+информационной потребности запроса. Добавляйте все такие документы, а не только
+первый результат.
+
+Не отмечайте документ релевантным только потому, что он:
+
+- содержит отдельные слова запроса;
+- упоминает нужный акт без ответа на запрос;
+- относится к близкой теме;
+- является утратившей силу редакцией, когда запрос явно требует действующую
+  норму, либо наоборот.
+
+Если запрос допускает несколько самостоятельных правильных документов,
+добавьте коды каждого из них. Код берите из поля `document_code`, а не из ID
+фрагмента или редакции.
+
+## Разметка одного запроса
+
+1. Зафиксируйте исходную формулировку `query` и информационную потребность до
+   оценки выдачи нашего поиска.
+2. Юрист устанавливает релевантные акты по содержанию и реквизитам документов.
+   Используйте ЦБД Минюста как авторитетный источник для проверки текста,
+   статуса и редакции акта. Порядок выдачи ЦБД не является объектом оценки и не
+   переносится в эталон.
+3. Запишите уникальные `document_code` всех документов, которые прямо отвечают
+   на запрос. Спорные документы передайте на независимую проверку.
+4. Зафиксируйте согласованный набор до просмотра результатов OpenSearch и
+   сохраните его отдельно от рабочих данных.
+5. Проверьте запрос во внутренней лаборатории (`/review`): оцените фактические
+   результаты OpenSearch в исходном порядке, сохраните снимок и комментарии.
+   Лаборатория проверяет качество нашей поисковой системы, а не ЦБД Минюста.
+
+Пример структуры (код условный):
+
+```json
+{
+  "id": "ru-01",
+  "language": "ru",
+  "query": "как зарегистрировать общественное объединение",
+  "relevant_document_codes": ["12345"]
+}
+```
+
+## Проверка качества
+
+Второй человек должен проверить формулировку, язык и полный список релевантных
+документов для каждого запроса. Спорные случаи обсуждаются до единого решения;
+результат голосования или непроверенную разметку в baseline не включайте.
+
+Перед запуском убедитесь, что:
+
+- заполнены ровно 50 записей: 25 `ru` и 25 `ky`;
+- все запросы непустые и различаются по информационной потребности;
+- у каждой записи есть хотя бы один уникальный `document_code`;
+- язык запроса совпадает с `language`;
+- JSON не содержит комментариев и дополнительных полей.
+
+Оценщик дополнительно проверит структуру файла. После ручной проверки
+зафиксируйте копию набора и не меняйте её при настройке поиска:
+
+```bash
+PYTHONPATH=backend python3 -m search.evaluate_relevance \
+  data/search/relevance-set-v1.json \
+  > data/search/baseline-v1.json
+```
+
+Разбирайте запросы с низкими Recall@10 и MRR@10 по отдельности. Меняйте веса,
+анализаторы или словари только после сохранения исходного baseline.

backend/search/api.py

@@ -0,0 +1,531 @@
+"""Minimal HTTP API for the normalized legal-document corpus."""
+
+from __future__ import annotations
+
+import argparse
+import datetime
+import getpass
+import http.cookies
+import json
+import os
+import re
+import urllib.parse
+from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
+from pathlib import Path
+
+from search.auth import AuthError, AuthStore, can_manage_users
+from search.minjust_opensearch import APP_VERSION, request_json
+from search.catalog import CATALOGS, labels
+from search.query import build_search_query
+from search.reviews import ReviewSnapshots, ReviewStore
+
+
+API_VERSION = "v1"
+SEARCH_ALGORITHM_VERSION = "search-6"
+LANGUAGES = {"ru", "ky"}
+CODE = re.compile(r"^[0-9]+$")
+MAX_PAGE_SIZE = 100
+MAX_RESULT_WINDOW = 10_000
+STATIC_ASSETS = {
+    "/static/favicon.svg": ("favicon.svg", "image/svg+xml"),
+    "/static/favicon-32.png": ("favicon-32.png", "image/png"),
+    "/static/fonts/noto-sans-cyrillic-ext.woff2": ("fonts/noto-sans-cyrillic-ext.woff2", "font/woff2"),
+    "/static/fonts/noto-sans-cyrillic.woff2": ("fonts/noto-sans-cyrillic.woff2", "font/woff2"),
+    "/static/fonts/noto-sans-latin.woff2": ("fonts/noto-sans-latin.woff2", "font/woff2"),
+    "/static/fonts/noto-serif-cyrillic-ext.woff2": ("fonts/noto-serif-cyrillic-ext.woff2", "font/woff2"),
+    "/static/fonts/noto-serif-cyrillic.woff2": ("fonts/noto-serif-cyrillic.woff2", "font/woff2"),
+    "/static/fonts/noto-serif-latin.woff2": ("fonts/noto-serif-latin.woff2", "font/woff2"),
+}
+
+
+class ApiError(Exception):
+    def __init__(self, status: int, message: str):
+        self.status = status
+        self.message = message
+
+
+def parse_positive(value: str | None, name: str, default: int, maximum: int) -> int:
+    if value is None:
+        return default
+    try:
+        parsed = int(value)
+    except ValueError as error:
+        raise ApiError(400, f"{name} must be an integer") from error
+    if not 1 <= parsed <= maximum:
+        raise ApiError(400, f"{name} must be between 1 and {maximum}")
+    return parsed
+
+
+def one(query: dict[str, list[str]], name: str) -> str | None:
+    values = query.get(name, [])
+    if len(values) > 1:
+        raise ApiError(400, f"{name} must be specified once")
+    return values[0] if values else None
+
+
+def date(value: str | None, name: str) -> str | None:
+    if value is None:
+        return None
+    try:
+        datetime.date.fromisoformat(value)
+    except ValueError as error:
+        raise ApiError(400, f"{name} must be an ISO date") from error
+    return value
+
+
+def openapi() -> dict:
+    responses = {"200": {"description": "Successful response"}, "400": {"description": "Invalid request"}, "401": {"description": "Authentication required"}, "403": {"description": "Additional access required"}, "404": {"description": "Not found"}, "502": {"description": "Search backend unavailable"}}
+    return {
+        "openapi": "3.0.3",
+        "info": {"title": "Akyldash Search API", "version": API_VERSION},
+        "components": {"securitySchemes": {"SessionCookie": {"type": "apiKey", "in": "cookie", "name": "akyldash_session"}}},
+        "security": [{"SessionCookie": []}],
+        "paths": {
+            "/auth/login": {"post": {"security": [], "responses": {"200": {"description": "Signed in and session cookie issued"}, "401": {"description": "Invalid login or password"}}}},
+            "/auth/logout": {"post": {"responses": {"200": {"description": "Signed out"}}}},
+            "/auth/me": {"get": {"responses": {"200": {"description": "Current account"}, "401": {"description": "Authentication required"}}}},
+            "/auth/change-password": {"post": {"description": "Requires the current password and a different new password", "responses": {"200": {"description": "Password changed"}, "400": {"description": "Current password is missing or invalid, or the new password is invalid or unchanged"}}}},
+            "/admin/users": {"get": {"responses": {"200": {"description": "User list"}}}, "post": {"responses": {"201": {"description": "User created with a temporary password"}}}},
+            "/admin/users/{username}": {"delete": {"responses": {"200": {"description": "User deleted"}}}},
+            "/admin/users/{username}/reset-password": {"post": {"responses": {"200": {"description": "Temporary password set"}}}},
+            "/search": {"get": {"responses": responses, "parameters": [
+                {"name": "q", "in": "query", "required": True, "schema": {"type": "string"}},
+                {"name": "language", "in": "query", "schema": {"type": "string", "enum": ["ru", "ky"]}},
+                {"name": "page", "in": "query", "schema": {"type": "integer", "minimum": 1}},
+                {"name": "page_size", "in": "query", "schema": {"type": "integer", "minimum": 1, "maximum": MAX_PAGE_SIZE}},
+                {"name": "document_type", "in": "query", "schema": {"type": "string"}},
+                {"name": "status", "in": "query", "schema": {"type": "string"}},
+                {"name": "authority", "in": "query", "schema": {"type": "string"}},
+                {"name": "legal_force", "in": "query", "schema": {"type": "string"}},
+                {"name": "date_from", "in": "query", "schema": {"type": "string", "format": "date"}},
+                {"name": "date_to", "in": "query", "schema": {"type": "string", "format": "date"}},
+                {"name": "sort", "in": "query", "schema": {"type": "string", "enum": ["relevance", "date"]}},
+            ]}},
+            "/search/filters": {"get": {"responses": responses}},
+            "/search-reviews": {"post": {"responses": {"201": {"description": "Review saved"}, "400": {"description": "Invalid review"}}}},
+            "/search-reviews/export": {"get": {"responses": responses}},
+            "/review": {"get": {"responses": {"200": {"description": "Review interface"}}}},
+            "/documents/{code}": {"get": {"responses": responses, "parameters": [{"name": "code", "in": "path", "required": True, "schema": {"type": "string", "pattern": "^[0-9]+$"}}]}},
+            "/documents/{code}/editions": {"get": {"responses": responses, "parameters": [{"name": "code", "in": "path", "required": True, "schema": {"type": "string", "pattern": "^[0-9]+$"}}]}},
+            "/documents/{code}/editions/{edition}": {"get": {"responses": responses, "parameters": [{"name": "code", "in": "path", "required": True, "schema": {"type": "string", "pattern": "^[0-9]+$"}}, {"name": "edition", "in": "path", "required": True, "schema": {"type": "string", "pattern": "^[0-9]+$"}}]}},
+        },
+    }
+
+
+class Api:
+    def __init__(self, base_url: str, index: str, data_root: Path, reviews_db: Path | str = ":memory:", review_secret: bytes | None = None, users_db: Path | str = ":memory:", cookie_secure: bool = False):
+        self.base_url = base_url.rstrip("/")
+        self.index = index
+        self.data_root = data_root
+        self.review_store = ReviewStore(reviews_db)
+        self.review_snapshots = ReviewSnapshots(review_secret)
+        self.auth_store = AuthStore(users_db)
+        self.cookie_secure = cookie_secure
+
+    def search_url(self, suffix: str) -> str:
+        return f"{self.base_url}/{urllib.parse.quote(self.index, safe='')}/{suffix}"
+
+    def query_opensearch(self, body: dict) -> dict:
+        try:
+            return request_json(self.search_url("_search"), "POST", json.dumps(body, ensure_ascii=False).encode(), "application/json")
+        except RuntimeError as error:
+            raise ApiError(502, "search backend is unavailable") from error
+
+    def search(self, query: dict[str, list[str]]) -> dict:
+        text = one(query, "q")
+        if not text or not text.strip():
+            raise ApiError(400, "q is required")
+        if len(text) > 500:
+            raise ApiError(400, "q must not exceed 500 characters")
+        language = one(query, "language") or "ru"
+        if language not in LANGUAGES:
+            raise ApiError(400, "language must be ru or ky")
+        page = parse_positive(one(query, "page"), "page", 1, 1_000_000)
+        page_size = parse_positive(one(query, "page_size"), "page_size", 20, MAX_PAGE_SIZE)
+        if page * page_size >= MAX_RESULT_WINDOW:
+            raise ApiError(400, f"page and page_size must stay within {MAX_RESULT_WINDOW} results")
+        sort = one(query, "sort") or "relevance"
+        if sort not in {"relevance", "date"}:
+            raise ApiError(400, "sort must be relevance or date")
+        filters: list[dict] = [{"term": {"language": language}}, {"term": {"is_current_edition": True}}]
+        fields = {"document_type": "document_type_code", "status": "status_code", "authority": "authority_codes", "legal_force": "legal_force_code"}
+        for parameter, field in fields.items():
+            value = one(query, parameter)
+            if value:
+                if value not in CATALOGS[parameter]:
+                    raise ApiError(400, f"{parameter} must be a catalog code")
+                filters.append({"term": {field: value}})
+        date_from, date_to = date(one(query, "date_from"), "date_from"), date(one(query, "date_to"), "date_to")
+        if date_from and date_to and date_from > date_to:
+            raise ApiError(400, "date_from must not be later than date_to")
+        if date_from or date_to:
+            date_range = {key: value for key, value in (("gte", date_from), ("lte", date_to)) if value}
+            filters.append({"range": {"date_adopted": date_range}})
+        body = {
+            "from": (page - 1) * page_size,
+            "size": page_size + 1,
+            "_source": ["document_code", "edition_code", "document_name_ru", "document_name_ky", "document_type_ru", "document_type_ky", "status_ru", "status_ky", "legal_force_code", "date_adopted", "number"],
+            "query": {"bool": {"filter": filters, "must": build_search_query(language, text)}},
+            "collapse": {"field": "document_code"},
+            "highlight": {"fields": {f"text_{language}": {"number_of_fragments": 1}}},
+        }
+        body["sort"] = [{"_script": {
+            "type": "number",
+            "order": "asc",
+            "script": {"lang": "painless", "source": "doc['status_code'].size() == 0 ? 1 : (doc['status_code'].value == 'active' ? 0 : (doc['status_code'].value == 'repealed' ? 2 : 1))"},
+        }}]
+        if sort == "date":
+            body["sort"].append({"date_adopted": "desc"})
+        body["sort"].append({"_score": "desc"})
+        response = self.query_opensearch(body)
+        try:
+            hits = response["hits"]["hits"]
+        except (KeyError, TypeError) as error:
+            raise ApiError(502, "search backend returned an incomplete response") from error
+        results = [self.search_hit(hit, language) for hit in hits[:page_size]]
+        snapshot_results = [{"rank": rank, **result} for rank, result in enumerate(results, 1)]
+        concrete_indexes = {hit.get("_index") for hit in hits[:page_size] if hit.get("_index")}
+        index_name = next(iter(concrete_indexes)) if len(concrete_indexes) == 1 else self.index
+        return {"api_version": API_VERSION, "query": text, "language": language, "page": page, "page_size": page_size, "has_next": len(hits) > page_size, "results": results, "review_token": self.review_snapshots.create(text, language, index_name, snapshot_results, SEARCH_ALGORITHM_VERSION)}
+
+    @staticmethod
+    def search_hit(hit: dict, language: str) -> dict:
+        source = hit.get("_source")
+        if not isinstance(source, dict) or not source.get("document_code"):
+            raise ApiError(502, "search backend returned an incomplete result")
+        highlight = hit.get("highlight", {}).get(f"text_{language}", [])
+        legal_force = source.get("legal_force_code")
+        snippet = highlight[0].replace("<em>", "").replace("</em>", "") if highlight else None
+        return {"code": source["document_code"], "edition": source.get("edition_code"), "name": source.get(f"document_name_{language}"), "type": source.get(f"document_type_{language}"), "status": source.get(f"status_{language}"), "legal_force": labels("legal_force", legal_force)[language] if legal_force else None, "date_adopted": source.get("date_adopted"), "number": source.get("number"), "snippet": snippet}
+
+    def filters(self, query: dict[str, list[str]]) -> dict:
+        language = one(query, "language") or "ru"
+        if language not in LANGUAGES:
+            raise ApiError(400, "language must be ru or ky")
+        fields = {"document_types": ("document_type", "document_type_code"), "statuses": ("status", "status_code"), "authorities": ("authority", "authority_codes"), "legal_forces": ("legal_force", "legal_force_code")}
+        body = {"size": 0, "query": {"term": {"is_current_edition": True}}, "aggs": {name: {"terms": {"field": pair[1], "size": 1000}, "aggs": {"documents": {"cardinality": {"field": "document_code", "precision_threshold": 40000}}}} for name, pair in fields.items()}}
+        response = self.query_opensearch(body)
+        try:
+            aggregations = response["aggregations"]
+            values = {
+                name: [{"code": item["key"], "labels": labels(pair[0], item["key"]), "count": item["documents"]["value"]} for item in aggregations[name]["buckets"]]
+                for name, pair in fields.items()
+            }
+        except (KeyError, TypeError) as error:
+            raise ApiError(502, "search backend returned incomplete filters") from error
+        return {"api_version": API_VERSION, "language": language, **values}
+
+    def directory(self, code: str) -> Path:
+        if not CODE.fullmatch(code):
+            raise ApiError(404, "document not found")
+        path = self.data_root / "documents" / code
+        if not path.is_dir():
+            raise ApiError(404, "document not found")
+        return path
+
+    @staticmethod
+    def read_json(path: Path, message: str) -> dict:
+        try:
+            value = json.loads(path.read_text(encoding="utf-8"))
+        except (OSError, UnicodeError, json.JSONDecodeError) as error:
+            raise ApiError(500, message) from error
+        if not isinstance(value, dict):
+            raise ApiError(500, message)
+        return value
+
+    def document(self, code: str) -> dict:
+        document = self.read_json(self.directory(code) / "document.json", "document data is unavailable")
+        editions = document.get("editions")
+        if not isinstance(editions, list):
+            raise ApiError(500, "document data is unavailable")
+        return {"api_version": API_VERSION, "document": document, "current_edition": editions[-1] if editions else None}
+
+    def editions(self, code: str) -> dict:
+        document = self.read_json(self.directory(code) / "document.json", "document data is unavailable")
+        return {"api_version": API_VERSION, "code": code, "available_languages": document.get("available_languages", []), "editions": document.get("editions", [])}
+
+    def edition(self, code: str, edition: str, query: dict[str, list[str]]) -> dict:
+        if not CODE.fullmatch(edition):
+            raise ApiError(404, "edition not found")
+        directory = self.directory(code) / "editions" / edition
+        if not directory.is_dir():
+            raise ApiError(404, "edition not found")
+        metadata = self.read_json(directory / "edition.json", "edition data is unavailable")
+        language = one(query, "language")
+        if language is not None and language not in LANGUAGES:
+            raise ApiError(400, "language must be ru or ky")
+        languages = [language] if language else metadata.get("available_languages", [])
+        content = {}
+        for item in languages:
+            if item not in metadata.get("available_languages", []):
+                continue
+            try:
+                content[item] = {"html": (directory / item / "content.html").read_text(encoding="utf-8"), "text": (directory / item / "content.txt").read_text(encoding="utf-8")}
+            except (OSError, UnicodeError) as error:
+                raise ApiError(500, "edition content is unavailable") from error
+        if language and language not in content:
+            raise ApiError(404, "edition language not found")
+        return {"api_version": API_VERSION, "edition": metadata, "content": content}
+
+    def save_review(self, body: dict, username: str) -> dict:
+        if not isinstance(body, dict):
+            raise ApiError(400, "request body must be an object")
+        try:
+            snapshot = self.review_snapshots.verify(body["review_token"])
+            reviewer = username
+            overall_comment = body.get("overall_comment", "").strip()
+            submitted = body["results"]
+        except (KeyError, AttributeError, TypeError, ValueError) as error:
+            raise ApiError(400, "review_token, reviewer and results are required") from error
+        if not reviewer or len(reviewer) > 120:
+            raise ApiError(400, "reviewer must be between 1 and 120 characters")
+        if len(overall_comment) > 4000:
+            raise ApiError(400, "overall_comment is too long")
+        if not isinstance(submitted, list):
+            raise ApiError(400, "results must be an array")
+        by_rank = {item["rank"]: item for item in snapshot["results"]}
+        if len(submitted) != len(by_rank) or {item.get("rank") for item in submitted if isinstance(item, dict)} != set(by_rank):
+            raise ApiError(400, "all search results must be reviewed exactly once")
+        results = []
+        for item in submitted:
+            if not isinstance(item, dict) or not isinstance(item.get("rank"), int) or item["rank"] not in by_rank:
+                raise ApiError(400, "review result rank is invalid")
+            source = by_rank[item["rank"]]
+            if item.get("code") != source["code"]:
+                raise ApiError(400, "review result document does not match the search snapshot")
+            rating = item.get("rating")
+            if rating is not None and (isinstance(rating, bool) or not isinstance(rating, int) or not 0 <= rating <= 3):
+                raise ApiError(400, "rating must be an integer from 0 to 3")
+            comment = item.get("comment", "")
+            if not isinstance(comment, str) or len(comment) > 4000:
+                raise ApiError(400, "result comment is too long")
+            results.append({**source, "rating": rating, "comment": comment.strip()})
+        if not results:
+            raise ApiError(400, "at least one result must be reviewed")
+        review = {"created_at": datetime.datetime.now(datetime.timezone.utc).isoformat(), "reviewer": reviewer, "query": snapshot["query"], "language": snapshot["language"], "index_name": snapshot["index_name"], "algorithm_version": snapshot["algorithm_version"], "top_result_code": snapshot["results"][0]["code"] if snapshot["results"] else None, "results": results, "overall_comment": overall_comment}
+        review_id = self.review_store.save(review)
+        return {"api_version": API_VERSION, "id": review_id, "created_at": review["created_at"]}
+
+    @staticmethod
+    def review_page() -> str:
+        try:
+            return Path(__file__).with_name("review.html").read_text(encoding="utf-8")
+        except (OSError, UnicodeError) as error:
+            raise ApiError(500, "review interface is unavailable") from error
+
+    @staticmethod
+    def static_asset(route: str) -> tuple[str, bytes]:
+        asset = STATIC_ASSETS.get(route)
+        if asset is None:
+            raise ApiError(404, "static asset not found")
+        path = Path(__file__).with_name("static") / asset[0]
+        try:
+            return asset[1], path.read_bytes()
+        except OSError as error:
+            raise ApiError(500, "static asset is unavailable") from error
+
+    def handle(self, method: str, path: str, body: dict | None = None, user: dict | None = None) -> tuple[int, dict]:
+        parsed = urllib.parse.urlsplit(path)
+        query = urllib.parse.parse_qs(parsed.query, keep_blank_values=True)
+        parts = [urllib.parse.unquote(part) for part in parsed.path.split("/") if part]
+        if method == "POST" and parts == ["auth", "login"]:
+            try:
+                token, account = self.auth_store.login(body.get("username"), body.get("password"))
+                return 200, {"account": account, "session_token": token}
+            except AuthError as error:
+                raise ApiError(401, str(error)) from error
+        if method == "POST" and parts == ["auth", "logout"]:
+            return 200, {"ok": True}
+        if method == "GET" and parts == ["auth", "me"]:
+            return 200, {"account": user}
+        if method == "POST" and parts == ["auth", "change-password"]:
+            try:
+                self.auth_store.change_password(user["username"], body.get("current_password"), body.get("new_password"))
+                token, account = self.auth_store.login(user["username"], body.get("new_password"))
+                return 200, {"account": account, "session_token": token}
+            except AuthError as error:
+                raise ApiError(400, str(error)) from error
+        if user and can_manage_users(user["username"]) and method == "GET" and parts == ["admin", "users"]:
+            return 200, {"users": self.auth_store.list_users()}
+        if user and can_manage_users(user["username"]) and method == "POST" and parts == ["admin", "users"]:
+            try:
+                self.auth_store.create_user(body.get("username"), body.get("password"))
+                return 201, {"ok": True}
+            except AuthError as error:
+                raise ApiError(400, str(error)) from error
+        if user and can_manage_users(user["username"]) and method == "DELETE" and len(parts) == 3 and parts[:2] == ["admin", "users"]:
+            try:
+                self.auth_store.delete_user(parts[2])
+                return 200, {"ok": True}
+            except AuthError as error:
+                raise ApiError(400, str(error)) from error
+        if user and can_manage_users(user["username"]) and method == "POST" and len(parts) == 4 and parts[:2] == ["admin", "users"] and parts[3] == "reset-password":
+            try:
+                self.auth_store.reset_password(parts[2], body.get("password"))
+                return 200, {"ok": True}
+            except AuthError as error:
+                raise ApiError(400, str(error)) from error
+        if method == "POST" and parts == ["search-reviews"]:
+            return 201, self.save_review(body, user["username"] if user else body.get("reviewer", ""))
+        if method == "GET" and parts == ["search-reviews", "export"]:
+            return 200, {"api_version": API_VERSION, "reviews": self.review_store.export()}
+        if method != "GET":
+            raise ApiError(405, "method not allowed")
+        if parts == ["openapi.json"]:
+            return 200, openapi()
+        if parts == ["search"]:
+            return 200, self.search(query)
+        if parts == ["search", "filters"]:
+            return 200, self.filters(query)
+        if len(parts) == 2 and parts[0] == "documents":
+            return 200, self.document(parts[1])
+        if len(parts) == 3 and parts[:1] == ["documents"] and parts[2] == "editions":
+            return 200, self.editions(parts[1])
+        if len(parts) == 4 and parts[:1] == ["documents"] and parts[2] == "editions":
+            return 200, self.edition(parts[1], parts[3], query)
+        raise ApiError(404, "endpoint not found")
+
+
+def handler(api: Api):
+    class RequestHandler(BaseHTTPRequestHandler):
+        def respond(self, method: str):
+            try:
+                route = urllib.parse.urlsplit(self.path).path
+                cookies = http.cookies.SimpleCookie(self.headers.get("Cookie", ""))
+                session = cookies.get("akyldash_session")
+                token = session.value if session else None
+                user = api.auth_store.user_for_token(token)
+                if method == "GET" and route in {"/", "/review", "/users"}:
+                    body = api.review_page().encode()
+                    self.send_response(200)
+                    self.send_header("Content-Type", "text/html; charset=utf-8")
+                    self.send_header("Cache-Control", "no-store")
+                    self.send_header("X-Content-Type-Options", "nosniff")
+                    self.send_header("X-Frame-Options", "DENY")
+                    self.send_header("Referrer-Policy", "no-referrer")
+                    self.send_header("Content-Length", str(len(body)))
+                    self.end_headers()
+                    self.wfile.write(body)
+                    return
+                if method == "GET" and route in STATIC_ASSETS:
+                    content_type, body = api.static_asset(route)
+                    self.send_response(200)
+                    self.send_header("Content-Type", content_type)
+                    self.send_header("Cache-Control", "public, max-age=604800, immutable")
+                    self.send_header("X-Content-Type-Options", "nosniff")
+                    self.send_header("X-Frame-Options", "DENY")
+                    self.send_header("Referrer-Policy", "no-referrer")
+                    self.send_header("Content-Length", str(len(body)))
+                    self.end_headers()
+                    self.wfile.write(body)
+                    return
+                if not (method == "POST" and route in {"/auth/login", "/auth/logout"}):
+                    if not user:
+                        raise ApiError(401, "authentication required")
+                    if user["must_change_password"] and not (method == "POST" and route == "/auth/change-password") and not (method == "GET" and route == "/auth/me"):
+                        raise ApiError(403, "change password before continuing")
+                    if route.startswith("/admin/users") and not can_manage_users(user["username"]):
+                        raise ApiError(403, "admin account required")
+                body = None
+                if method in {"POST", "DELETE"}:
+                    length = int(self.headers.get("Content-Length", "0"))
+                    if length > 1_000_000:
+                        raise ApiError(413, "request body is too large")
+                    body = json.loads(self.rfile.read(length) or b"{}")
+                    if not isinstance(body, dict):
+                        raise ApiError(400, "request body must be a JSON object")
+                if method == "POST" and route == "/auth/logout":
+                    api.auth_store.logout(token)
+                status, payload = api.handle(method, self.path, body, user)
+            except json.JSONDecodeError:
+                status, payload = 400, {"api_version": API_VERSION, "error": "request body must be valid JSON"}
+            except ApiError as error:
+                status, payload = error.status, {"api_version": API_VERSION, "error": error.message}
+            except (ValueError, http.cookies.CookieError):
+                status, payload = 400, {"api_version": API_VERSION, "error": "invalid request"}
+            session_token = payload.pop("session_token", None) if isinstance(payload, dict) else None
+            body = json.dumps(payload, ensure_ascii=False).encode()
+            self.send_response(status)
+            if session_token:
+                secure = "; Secure" if api.cookie_secure else ""
+                self.send_header("Set-Cookie", f"akyldash_session={session_token}; Path=/; HttpOnly; SameSite=Strict; Max-Age=43200{secure}")
+            elif method == "POST" and urllib.parse.urlsplit(self.path).path == "/auth/logout":
+                secure = "; Secure" if api.cookie_secure else ""
+                self.send_header("Set-Cookie", f"akyldash_session=; Path=/; HttpOnly; SameSite=Strict; Max-Age=0{secure}")
+            self.send_header("Content-Type", "application/json; charset=utf-8")
+            self.send_header("Cache-Control", "no-store")
+            self.send_header("X-Content-Type-Options", "nosniff")
+            self.send_header("X-Frame-Options", "DENY")
+            self.send_header("Referrer-Policy", "no-referrer")
+            self.send_header("Content-Length", str(len(body)))
+            self.end_headers()
+            self.wfile.write(body)
+
+        def do_GET(self):
+            self.respond("GET")
+
+        def do_POST(self):
+            self.respond("POST")
+
+        def do_DELETE(self):
+            self.respond("DELETE")
+
+        def log_message(self, format: str, *args):
+            return
+
+    return RequestHandler
+
+
+def main() -> int:
+    parser = argparse.ArgumentParser(description=__doc__)
+    parser.add_argument("--url", default="http://127.0.0.1:9200")
+    parser.add_argument("--index", default="akyldash-fragments-current")
+    parser.add_argument("--data", type=Path, default=Path("data/minjust-normalized"))
+    parser.add_argument("--reviews-db", type=Path, default=Path("data/search-reviews.sqlite3"))
+    parser.add_argument("--users-db", type=Path, default=Path("data/search-users.sqlite3"))
+    parser.add_argument("--review-secret", default=None)
+    parser.add_argument("--review-secret-file", type=Path)
+    parser.add_argument("--cookie-secure", action=argparse.BooleanOptionalAction, default=os.environ.get("COOKIE_SECURE", "false").lower() == "true")
+    parser.add_argument("--create-admin", action="store_true", help="create the initial admin account and exit")
+    parser.add_argument("--reset-admin-password", action="store_true", help="set a temporary password for admin and exit")
+    parser.add_argument("--host", default="127.0.0.1")
+    parser.add_argument("--port", type=int, default=8080)
+    parser.add_argument("--version", action="version", version=APP_VERSION)
+    arguments = parser.parse_args()
+    if arguments.review_secret and arguments.review_secret_file:
+        parser.error("choose either --review-secret or --review-secret-file")
+    try:
+        secret = arguments.review_secret.encode() if arguments.review_secret else arguments.review_secret_file.read_bytes().strip() if arguments.review_secret_file else None
+    except OSError as error:
+        parser.error(f"cannot read review secret file: {error}")
+    if arguments.review_secret_file and not secret:
+        parser.error("review secret file is empty")
+    api = Api(arguments.url, arguments.index, arguments.data, arguments.reviews_db, secret, arguments.users_db, arguments.cookie_secure)
+    if arguments.create_admin or arguments.reset_admin_password:
+        users = api.auth_store.list_users()
+        admin_exists = any(can_manage_users(user["username"]) for user in users)
+        if arguments.create_admin and users:
+            parser.error("accounts already exist")
+        if arguments.reset_admin_password and not admin_exists:
+            parser.error("admin account does not exist")
+        if arguments.create_admin and arguments.reset_admin_password:
+            parser.error("choose either --create-admin or --reset-admin-password")
+        password = getpass.getpass("Password for admin (12+ characters): ")
+        confirm = getpass.getpass("Confirm password: ")
+        if password != confirm:
+            parser.error("passwords do not match")
+        try:
+            if arguments.create_admin:
+                api.auth_store.create_admin(password)
+            else:
+                api.auth_store.reset_password("admin", password)
+        except AuthError as error:
+            parser.error(str(error))
+        print("Initial admin account created." if arguments.create_admin else "Admin password reset. Change it at next sign-in.")
+        return 0
+    ThreadingHTTPServer((arguments.host, arguments.port), handler(api)).serve_forever()
+    return 0
+
+
+if __name__ == "__main__":
+    raise SystemExit(main())

backend/search/auth.py

@@ -0,0 +1,183 @@
+"""Local user accounts and cookie sessions for the internal search workspace."""
+
+from __future__ import annotations
+
+import hashlib
+import hmac
+import os
+import re
+import secrets
+import sqlite3
+import threading
+import time
+from pathlib import Path
+
+
+USERNAME = re.compile(r"^[A-Za-z0-9._-]{3,64}$")
+PASSWORD_ITERATIONS = 310_000
+SESSION_TTL = 60 * 60 * 12
+
+
+class AuthError(ValueError):
+    pass
+
+
+def can_manage_users(username: str) -> bool:
+    return isinstance(username, str) and username.casefold() == "admin"
+
+
+class AuthStore:
+    def __init__(self, path: Path | str):
+        if path != ":memory:":
+            database = Path(path)
+            database.parent.mkdir(parents=True, exist_ok=True)
+            try:
+                descriptor = os.open(database, os.O_CREAT | os.O_EXCL | os.O_RDWR, 0o600)
+                os.close(descriptor)
+            except FileExistsError:
+                pass
+        self.connection = sqlite3.connect(path, check_same_thread=False)
+        self.connection.row_factory = sqlite3.Row
+        self._lock = threading.RLock()
+        self.connection.executescript("""
+            CREATE TABLE IF NOT EXISTS users (
+                username TEXT PRIMARY KEY COLLATE NOCASE,
+                password_hash BLOB NOT NULL,
+                password_salt BLOB NOT NULL,
+                must_change_password INTEGER NOT NULL DEFAULT 1,
+                created_at INTEGER NOT NULL,
+                first_login_at INTEGER,
+                last_login_at INTEGER,
+                password_reset_at INTEGER
+            );
+            CREATE TABLE IF NOT EXISTS sessions (
+                token_hash BLOB PRIMARY KEY,
+                username TEXT NOT NULL REFERENCES users(username) ON DELETE CASCADE,
+                expires_at INTEGER NOT NULL
+            );
+        """)
+        user_columns = {row["name"] for row in self.connection.execute("PRAGMA table_info(users)")}
+        for column in ("first_login_at", "last_login_at", "password_reset_at"):
+            if column not in user_columns:
+                self.connection.execute(f"ALTER TABLE users ADD COLUMN {column} INTEGER")
+        self.connection.execute("PRAGMA foreign_keys = ON")
+        self.connection.commit()
+
+    @staticmethod
+    def _validate(username: str, password: str) -> tuple[str, str]:
+        if not isinstance(username, str) or not USERNAME.fullmatch(username):
+            raise AuthError("login must be 3–64 letters, numbers, dots, underscores or hyphens")
+        if not isinstance(password, str) or not 12 <= len(password) <= 256:
+            raise AuthError("password must be between 12 and 256 characters")
+        return username, password
+
+    @staticmethod
+    def _hash(password: str, salt: bytes) -> bytes:
+        return hashlib.pbkdf2_hmac("sha256", password.encode(), salt, PASSWORD_ITERATIONS)
+
+    def create_admin(self, password: str) -> None:
+        self._validate("admin", password)
+        salt = secrets.token_bytes(16)
+        with self._lock:
+            if self.connection.execute("SELECT 1 FROM users LIMIT 1").fetchone():
+                raise AuthError("accounts already exist")
+            self.connection.execute("INSERT INTO users(username,password_hash,password_salt,must_change_password,created_at) VALUES('admin',?,?,0,?)", (self._hash(password, salt), salt, int(time.time())))
+            self.connection.commit()
+
+    # shortcut: login throttling belongs to the HTTPS reverse proxy; add local limits before direct public exposure.
+    def login(self, username: str, password: str) -> tuple[str, dict]:
+        if not isinstance(username, str) or not isinstance(password, str):
+            raise AuthError("invalid login or password")
+        with self._lock:
+            user = self.connection.execute("SELECT * FROM users WHERE username = ? COLLATE NOCASE", (username,)).fetchone()
+            salt = user["password_salt"] if user else b"\0" * 16
+            expected_hash = user["password_hash"] if user else b"\0" * 32
+        valid = hmac.compare_digest(self._hash(password, salt), expected_hash)
+        if not user or not valid:
+            raise AuthError("invalid login or password")
+        with self._lock:
+            current = self.connection.execute("SELECT * FROM users WHERE username=?", (user["username"],)).fetchone()
+            if not current or not hmac.compare_digest(current["password_hash"], expected_hash):
+                raise AuthError("invalid login or password")
+            token = secrets.token_urlsafe(32)
+            now = int(time.time())
+            self.connection.execute("DELETE FROM sessions WHERE expires_at <= ?", (now,))
+            self.connection.execute("INSERT INTO sessions(token_hash,username,expires_at) VALUES(?,?,?)", (hashlib.sha256(token.encode()).digest(), user["username"], now + SESSION_TTL))
+            self.connection.execute("UPDATE users SET first_login_at=COALESCE(first_login_at,?),last_login_at=? WHERE username=?", (now, now, user["username"]))
+            self.connection.commit()
+            current = self.connection.execute("SELECT * FROM users WHERE username=?", (user["username"],)).fetchone()
+            return token, self._public(current)
+
+    @staticmethod
+    def _public(user: sqlite3.Row) -> dict:
+        can_manage = can_manage_users(user["username"])
+        return {"username": user["username"], "role": "Администратор" if can_manage else "Пользователь", "can_manage_users": can_manage, "must_change_password": bool(user["must_change_password"]), "created_at": user["created_at"]}
+
+    def user_for_token(self, token: str | None) -> dict | None:
+        if not token:
+            return None
+        with self._lock:
+            user = self.connection.execute("SELECT users.* FROM sessions JOIN users USING(username) WHERE token_hash = ? AND expires_at > ?", (hashlib.sha256(token.encode()).digest(), int(time.time()))).fetchone()
+            return self._public(user) if user else None
+
+    def logout(self, token: str | None) -> None:
+        if token:
+            with self._lock:
+                self.connection.execute("DELETE FROM sessions WHERE token_hash = ?", (hashlib.sha256(token.encode()).digest(),))
+                self.connection.commit()
+
+    def change_password(self, username: str, old_password: str, new_password: str) -> None:
+        if not isinstance(old_password, str):
+            raise AuthError("current password is required")
+        self._validate(username, new_password)
+        with self._lock:
+            user = self.connection.execute("SELECT * FROM users WHERE username = ?", (username,)).fetchone()
+            if not user:
+                raise AuthError("account not found")
+            if not hmac.compare_digest(self._hash(old_password, user["password_salt"]), user["password_hash"]):
+                raise AuthError("current password is incorrect")
+            if hmac.compare_digest(self._hash(new_password, user["password_salt"]), user["password_hash"]):
+                raise AuthError("new password must be different")
+            salt = secrets.token_bytes(16)
+            password_hash = self._hash(new_password, salt)
+            self.connection.execute("UPDATE users SET password_hash=?,password_salt=?,must_change_password=0 WHERE username=?", (password_hash, salt, username))
+            self.connection.execute("DELETE FROM sessions WHERE username=?", (username,))
+            self.connection.commit()
+
+    def create_user(self, username: str, password: str) -> None:
+        self._validate(username, password)
+        salt = secrets.token_bytes(16)
+        password_hash = self._hash(password, salt)
+        try:
+            with self._lock:
+                self.connection.execute("INSERT INTO users(username,password_hash,password_salt,must_change_password,created_at) VALUES(?,?,?,1,?)", (username, password_hash, salt, int(time.time())))
+                self.connection.commit()
+        except sqlite3.IntegrityError as error:
+            raise AuthError("login already exists") from error
+
+    def delete_user(self, username: str) -> None:
+        if can_manage_users(username):
+            raise AuthError("admin account cannot be deleted")
+        with self._lock:
+            self.connection.execute("DELETE FROM users WHERE username=?", (username,))
+            self.connection.commit()
+
+    def reset_password(self, username: str, password: str) -> None:
+        self._validate(username, password)
+        salt = secrets.token_bytes(16)
+        password_hash = self._hash(password, salt)
+        with self._lock:
+            cursor = self.connection.execute("UPDATE users SET password_hash=?,password_salt=?,must_change_password=1,password_reset_at=? WHERE username=?", (password_hash, salt, int(time.time()), username))
+            if not cursor.rowcount:
+                raise AuthError("account not found")
+            self.connection.execute("DELETE FROM sessions WHERE username=?", (username,))
+            self.connection.commit()
+
+    def list_users(self) -> list[dict]:
+        with self._lock:
+            users = []
+            for row in self.connection.execute("SELECT * FROM users ORDER BY username COLLATE NOCASE"):
+                account = self._public(row)
+                account.update(first_login_at=row["first_login_at"], last_login_at=row["last_login_at"], password_reset_at=row["password_reset_at"])
+                users.append(account)
+            return users

backend/search/catalog.py

@@ -0,0 +1,79 @@
+"""Immutable v1 search catalogs."""
+
+DOCUMENT_TYPES = {
+    "constitution": ("Конституция", "Конституция"), "constitutional_law": ("Конституционный Закон", "Конституциалык Мыйзам"), "code": ("Кодекс", "Кодекс"), "law": ("Закон", "Мыйзам"), "decree": ("Указ", "Жарлык"), "resolution": ("Постановление", "Токтом"), "order": ("Распоряжение", "Распоряжение"), "instruction": ("Инструкция", "Инструкция"), "rules": ("Правила", "Правила"), "procedure": ("Порядок", "Порядок"), "provision": ("Положение", "Жобо"), "regulation": ("Регламент", "Регламент"), "charter": ("Устав", "Жобо (Устав)"), "program": ("Программа", "Программа"), "plan": ("План", "План"), "strategy": ("Стратегия", "Стратегия"), "concept": ("Концепция", "Концепция"), "doctrine": ("Доктрина", "Доктрина"), "agreement": ("Соглашение", "Соглашение"), "declaration": ("Декларация", "Декларация"), "registry": ("Реестр", "Реестр"), "norms": ("Нормативы", "Нормативы"), "model": ("Модель", "Модель"), "matrix": ("Матрица", "Матрица"), "study": ("Исследование", "Исследование"), "report": ("Доклад", "Доклад"), "principles": ("Основные принципы", "Основные принципы"), "other": ("Прочие документы", "Башка документтер"), "unspecified": ("Не указан", "Көрсөтүлгөн эмес"),
+}
+STATUSES = {"active": ("Действует", "Күчүндө"), "repealed": ("Утратил силу", "Күчүн жоготту"), "not_yet_effective": ("Не вступил в силу", "Күчүнө кире элек"), "canceled": ("Отменено", "Жокко чыгарылды"), "inactive": ("Не действует", "Күчүндө эмес же Колдонулбайт"), "terminated": ("Прекратило действие", "Күчүн токтотту же Колдонуу токтотулган"), "suspended": ("Действие приостановлено", "Күчүнө кирүүсү токтотулган"), "unspecified": ("Не указан", "Көрсөтүлгөн эмес")}
+AUTHORITIES = {"president": ("Президент", "Президент"), "parliament": ("Органы законодательной власти", "Мыйзам чыгаруу бийлик органдары"), "cabinet": ("Правительство и Кабинет Министров", "Өкмөт жана Министрлер Кабинети"), "ministries_and_committees": ("Министерства и государственные комитеты", "Министрликтер жана мамлекеттик комитеттер"), "administrative_agencies": ("Административные ведомства", "Административдик ведомстволор"), "national_bank": ("Национальный банк", "Улуттук банк"), "other_state_bodies": ("Иные государственные органы", "Башка мамлекеттик органдар"), "local_representative_bodies": ("Представительные органы местного самоуправления", "Жергиликтүү өз алдынча башкаруунун өкүлчүлүктүү органдары"), "other": ("Прочие органы", "Башка органдар")}
+LEGAL_FORCE_LEVELS = {
+    "constitutional": ("Конституционный уровень", "Конституциялык деңгээл"),
+    "legislative": ("Законодательный уровень", "Мыйзам деңгээли"),
+    "subordinate": ("Подзаконный уровень", "Мыйзам алдындагы деңгээл"),
+}
+LEGAL_FORCE_BY_DOCUMENT_TYPE = {
+    "constitution": "constitutional",
+    "constitutional_law": "constitutional",
+    "code": "legislative",
+    "law": "legislative",
+    "decree": "subordinate",
+    "resolution": "subordinate",
+}
+CATALOGS = {"document_type": DOCUMENT_TYPES, "status": STATUSES, "authority": AUTHORITIES, "legal_force": LEGAL_FORCE_LEVELS}
+DOCUMENT_TYPE_ALIASES = {
+    ("Положение", "Положение"): "provision",
+    ("Конституционный закон", "Конституционный закон"): "constitutional_law",
+    ("Указ", "Жарлыгы"): "decree",
+    ("устав", None): "charter",
+}
+
+
+def labels(category: str, code: str) -> dict[str, str]:
+    try:
+        ru, ky = CATALOGS[category][code]
+    except KeyError as error:
+        raise ValueError(f"Unknown {category} catalog code: {code}") from error
+    return {"ru": ru, "ky": ky}
+
+
+def source_code(category: str, value: dict | None) -> str:
+    pair = ((value or {}).get("ru"), (value or {}).get("ky"))
+    if pair == (None, None):
+        return "unspecified"
+    if category == "document_type" and pair in DOCUMENT_TYPE_ALIASES:
+        return DOCUMENT_TYPE_ALIASES[pair]
+    for code, expected in CATALOGS[category].items():
+        if pair == expected:
+            return code
+    # ponytail: uncurated source types share one filter; add reviewed codes when separate filtering is needed.
+    if category == "document_type":
+        return "other"
+    raise ValueError(f"Unmapped {category} catalog value: {pair!r}")
+
+
+def authority_codes(paths: list[dict]) -> list[str]:
+    codes = set()
+    for path in paths:
+        text = " ".join(path.get("ru", []) + path.get("ky", [])).lower()
+        if "президент" in text:
+            codes.add("president")
+        elif "жогорку кенеш" in text or "верховный совет" in text or "мыйзам чыгаруу" in text:
+            codes.add("parliament")
+        elif "кабинет министров" in text or "правительство" in text or "өкмөт" in text:
+            codes.add("cabinet")
+        elif "министер" in text or "мамлекеттик комитет" in text:
+            codes.add("ministries_and_committees")
+        elif "административ" in text:
+            codes.add("administrative_agencies")
+        elif "национальн" in text and "банк" in text or "улуттук банк" in text:
+            codes.add("national_bank")
+        elif "кенеш" in text or "кеңеш" in text or "айыл" in text or "местного самоуправления" in text:
+            codes.add("local_representative_bodies")
+        elif "иные государственные" in text or "башка мамлекеттик" in text:
+            codes.add("other_state_bodies")
+        else:
+            codes.add("other")
+    return sorted(codes) or ["other"]
+
+
+def legal_force_code(document_type: dict | None) -> str | None:
+    return LEGAL_FORCE_BY_DOCUMENT_TYPE.get(source_code("document_type", document_type))

backend/search/evaluate_relevance.py

@@ -0,0 +1,90 @@
+"""Measure document search Recall@K and MRR@K against a relevance set."""
+
+from __future__ import annotations
+
+import argparse
+import json
+import sys
+from pathlib import Path
+
+from search.minjust_opensearch import APP_VERSION
+from search.query import search_documents
+
+
+def load_queries(path: Path) -> list[dict]:
+    with path.open(encoding="utf-8") as source:
+        queries = json.load(source)
+    if not isinstance(queries, list) or not queries:
+        raise ValueError("Relevance set must be a non-empty JSON array")
+
+    seen = set()
+    for item in queries:
+        if not isinstance(item, dict) or set(item) != {
+            "id", "language", "query", "relevant_document_codes"
+        }:
+            raise ValueError("Each query must contain id, language, query and relevant_document_codes")
+        codes = item["relevant_document_codes"]
+        if (
+            not isinstance(item["id"], str)
+            or not item["id"].strip()
+            or item["id"] in seen
+            or not isinstance(item["language"], str)
+            or item["language"] not in {"ru", "ky"}
+            or not isinstance(item["query"], str)
+            or not item["query"].strip()
+            or not isinstance(codes, list)
+            or not codes
+            or any(not isinstance(code, str) or not code for code in codes)
+            or len(codes) != len(set(codes))
+        ):
+            raise ValueError(f"Invalid relevance query: {item.get('id', '<unknown>')}")
+        seen.add(item["id"])
+    return queries
+
+
+def search(base_url: str, index: str, item: dict, top_k: int) -> list[str]:
+    return search_documents(base_url, index, item["language"], item["query"], top_k)
+
+
+def evaluate(queries: list[dict], base_url: str, index: str, top_k: int) -> dict:
+    results = []
+    for item in queries:
+        retrieved = search(base_url, index, item, top_k)
+        relevant = set(item["relevant_document_codes"])
+        matches = [rank for rank, code in enumerate(retrieved, 1) if code in relevant]
+        results.append({
+            "id": item["id"],
+            "language": item["language"],
+            "query": item["query"],
+            "retrieved_document_codes": retrieved,
+            f"recall_at_{top_k}": len(relevant.intersection(retrieved)) / len(relevant),
+            f"reciprocal_rank_at_{top_k}": 1 / matches[0] if matches else 0.0,
+        })
+    return {
+        "summary": {
+            "query_count": len(results),
+            f"recall_at_{top_k}": sum(item[f"recall_at_{top_k}"] for item in results) / len(results),
+            f"mrr_at_{top_k}": sum(item[f"reciprocal_rank_at_{top_k}"] for item in results) / len(results),
+        },
+        "queries": results,
+    }
+
+
+def main() -> int:
+    parser = argparse.ArgumentParser(description=__doc__)
+    parser.add_argument("relevance_set", type=Path)
+    parser.add_argument("--url", default="http://127.0.0.1:9200")
+    parser.add_argument("--index", default="akyldash-fragments-v1")
+    parser.add_argument("--top-k", type=int, default=10)
+    parser.add_argument("--version", action="version", version=APP_VERSION)
+    arguments = parser.parse_args()
+    if arguments.top_k <= 0:
+        raise SystemExit("--top-k must be greater than zero")
+    result = evaluate(load_queries(arguments.relevance_set), arguments.url, arguments.index, arguments.top_k)
+    print(json.dumps(result, ensure_ascii=False, indent=2))
+    print(f"Akyldash · Backend v{APP_VERSION} · Frontend v0.1.2", file=sys.stderr)
+    return 0
+
+
+if __name__ == "__main__":
+    raise SystemExit(main())

backend/search/minjust-fragments-index.json

@@ -0,0 +1,40 @@
+{
+  "settings": {
+    "index": {
+      "number_of_shards": 1,
+      "number_of_replicas": 0,
+      "refresh_interval": "30s"
+    }
+  },
+  "mappings": {
+    "dynamic": "strict",
+    "properties": {
+      "schema_version": { "type": "keyword" },
+      "document_code": { "type": "keyword" },
+      "edition_code": { "type": "keyword" },
+      "is_current_edition": { "type": "boolean" },
+      "language": { "type": "keyword" },
+      "position": { "type": "integer" },
+      "fragment_type": { "type": "keyword" },
+      "text_ru": { "type": "text", "analyzer": "russian" },
+      "text_ky": { "type": "text", "analyzer": "icu_analyzer" },
+      "document_name_ru": { "type": "text", "analyzer": "russian", "fields": { "keyword": { "type": "keyword", "ignore_above": 1024 } } },
+      "document_name_ky": { "type": "text", "analyzer": "icu_analyzer", "fields": { "keyword": { "type": "keyword", "ignore_above": 1024 } } },
+      "document_type_ru": { "type": "keyword" },
+      "document_type_ky": { "type": "keyword" },
+      "document_type_code": { "type": "keyword" },
+      "legal_force_code": { "type": "keyword" },
+      "status_ru": { "type": "keyword" },
+      "status_ky": { "type": "keyword" },
+      "status_code": { "type": "keyword" },
+      "number": { "type": "keyword" },
+      "date_adopted": { "type": "date", "format": "strict_date" },
+      "authority_paths_ru": { "type": "keyword", "ignore_above": 2048 },
+      "authority_paths_ky": { "type": "keyword", "ignore_above": 2048 },
+      "authority_codes": { "type": "keyword" },
+      "source_path": { "type": "keyword", "index": false },
+      "source_sha256": { "type": "keyword", "index": false },
+      "text_sha256": { "type": "keyword", "index": false }
+    }
+  }
+}

backend/search/minjust_opensearch.py

@@ -0,0 +1,560 @@
+"""Export normalized Ministry fragments for the OpenSearch Bulk API."""
+
+from __future__ import annotations
+
+import argparse
+import hashlib
+import json
+import os
+import sqlite3
+import tempfile
+import time
+import urllib.error
+import urllib.parse
+import urllib.request
+from pathlib import Path
+from typing import Iterator
+
+from search.catalog import authority_codes, legal_force_code, source_code
+
+APP_VERSION = "0.13.3"
+LANGUAGES = {"ru", "ky"}
+DEFAULT_MAPPING = Path(__file__).with_name("minjust-fragments-index.json")
+
+
+def read_json(path: Path):
+    def reject_constant(value: str):
+        raise ValueError(f"Invalid JSON constant: {value}")
+
+    for attempt in range(3):
+        try:
+            with path.open(encoding="utf-8") as source:
+                return json.load(source, parse_constant=reject_constant)
+        except (OSError, UnicodeError, json.JSONDecodeError) as error:
+            if attempt == 2:
+                raise ValueError(f"Cannot read JSON {path}: {error}") from error
+            time.sleep(0.1)
+
+
+def localized(value: object, language: str):
+    return value.get(language) if isinstance(value, dict) else None
+
+
+def paths(document: dict, field: str, language: str) -> list[str]:
+    return [" > ".join(item[language]) for item in document.get(field, []) if item.get(language)]
+
+
+def search_document(document: dict, fragment: dict, expected: tuple[str, str, str, int], current_edition: str) -> dict:
+    document_code, edition_code, language, position = expected
+    fragment_id = f"document:{document_code}:edition:{edition_code}:lang:{language}:fragment:{position}"
+    required = ("id", "document_code", "edition_code", "language", "position", "type", "text", "text_sha256", "source_path", "source_sha256")
+    if not isinstance(fragment, dict) or any(key not in fragment for key in required):
+        raise ValueError(f"Incomplete fragment {fragment_id}")
+    if (fragment["document_code"], fragment["edition_code"], fragment["language"], fragment["position"], fragment["id"]) != (*expected, fragment_id):
+        raise ValueError(f"Fragment identity does not match its path: {fragment_id}")
+    if language not in LANGUAGES or not isinstance(fragment["text"], str) or not fragment["text"]:
+        raise ValueError(f"Invalid fragment content: {fragment_id}")
+    for key in ("text_sha256", "source_sha256"):
+        value = fragment[key]
+        if not isinstance(value, str) or len(value) != 64 or any(char not in "0123456789abcdef" for char in value):
+            raise ValueError(f"Invalid {key}: {fragment_id}")
+    if hashlib.sha256(fragment["text"].encode()).hexdigest() != fragment["text_sha256"]:
+        raise ValueError(f"Text checksum mismatch: {fragment_id}")
+
+    dates = document.get("dates") or {}
+    result = {
+        "schema_version": document["schema_version"],
+        "document_code": document_code,
+        "edition_code": edition_code,
+        "is_current_edition": edition_code == current_edition,
+        "language": language,
+        "position": position,
+        "fragment_type": fragment["type"],
+        f"text_{language}": fragment["text"],
+        "document_name_ru": localized(document.get("name"), "ru"),
+        "document_name_ky": localized(document.get("name"), "ky"),
+        "document_type_ru": localized(document.get("type"), "ru"),
+        "document_type_ky": localized(document.get("type"), "ky"),
+        "document_type_code": source_code("document_type", document.get("type")),
+        "legal_force_code": legal_force_code(document.get("type")),
+        "status_ru": localized(document.get("status"), "ru"),
+        "status_ky": localized(document.get("status"), "ky"),
+        "status_code": source_code("status", document.get("status")),
+        "number": document.get("number"),
+        "date_adopted": dates.get("DateAdopted"),
+        "authority_paths_ru": paths(document, "authority_paths", "ru"),
+        "authority_paths_ky": paths(document, "authority_paths", "ky"),
+        "authority_codes": authority_codes(document.get("authority_paths", [])),
+        "source_path": fragment["source_path"],
+        "source_sha256": fragment["source_sha256"],
+        "text_sha256": fragment["text_sha256"],
+    }
+    return {key: value for key, value in result.items() if value is not None}
+
+
+def document_codes(input_root: Path, limit: int | None = None, start_at: str | None = None) -> list[str]:
+    connection = sqlite3.connect(f"file:{input_root / 'manifest.sqlite3'}?mode=ro", uri=True)
+    try:
+        query = "SELECT code FROM documents WHERE state = 'success' ORDER BY CAST(code AS INTEGER), code"
+        parameters: list[int] = []
+        if limit is not None:
+            query += " LIMIT ?"
+            parameters.append(limit)
+        codes = [str(code) for (code,) in connection.execute(query, parameters)]
+    finally:
+        connection.close()
+    if start_at is None:
+        return codes
+    try:
+        return codes[codes.index(start_at):]
+    except ValueError as error:
+        raise ValueError(f"Resume document not found in selected range: {start_at}") from error
+
+
+def bulk_pairs(
+    input_root: Path,
+    index: str,
+    limit: int | None = None,
+    start_at: str | None = None,
+) -> Iterator[tuple[str, bytes]]:
+    document_root = input_root / "documents"
+    if not document_root.is_dir():
+        raise FileNotFoundError(f"Document directory not found: {document_root}")
+    for code in document_codes(input_root, limit, start_at):
+        directory = document_root / code
+        document = read_json(directory / "document.json")
+        if document.get("source_code") != directory.name:
+            raise ValueError(f"Document identity does not match its path: {directory}")
+        edition_root = directory / "editions"
+        editions = [path.name for path in edition_root.iterdir() if path.is_dir()] if edition_root.is_dir() else []
+        if not editions:
+            continue
+        official_editions = document.get("editions") or []
+        current_edition = (
+            str(official_editions[-1]["source_code"])
+            if official_editions
+            else max(editions, key=lambda value: (not value.isdigit(), int(value) if value.isdigit() else value))
+        )
+        for fragment_path in sorted(directory.glob("editions/*/*/fragments.json")):
+            edition_code, language = fragment_path.parts[-3:-1]
+            values = read_json(fragment_path)
+            if not isinstance(values, list):
+                raise ValueError(f"Fragments must be a list: {fragment_path}")
+            for position, fragment in enumerate(values, 1):
+                source = search_document(document, fragment, (directory.name, edition_code, language, position), current_edition)
+                action = json.dumps({"index": {"_index": index, "_id": fragment["id"]}}, ensure_ascii=False, allow_nan=False)
+                body = json.dumps(source, ensure_ascii=False, allow_nan=False)
+                yield directory.name, f"{action}\n{body}\n".encode()
+
+
+def document_count(input_root: Path, limit: int | None, start_at: str | None = None) -> int:
+    return len(document_codes(input_root, limit, start_at))
+
+
+def bulk_batches(pairs: Iterator[tuple[str, bytes]], maximum_bytes: int) -> Iterator[tuple[str, bytes]]:
+    batch = bytearray()
+    last_code = ""
+    for code, pair in pairs:
+        if len(pair) > maximum_bytes:
+            raise ValueError(f"One Bulk pair exceeds the {maximum_bytes}-byte batch limit")
+        if batch and len(batch) + len(pair) > maximum_bytes:
+            yield last_code, bytes(batch)
+            batch.clear()
+        last_code = code
+        batch.extend(pair)
+    if batch:
+        yield last_code, bytes(batch)
+
+
+def export_bulk(input_root: Path, output: Path, index: str, limit: int | None = None) -> tuple[int, int]:
+    source = input_root.resolve()
+    destination = output.resolve()
+    if destination == source or destination.is_relative_to(source):
+        raise ValueError("--output must not be inside --input")
+    output.parent.mkdir(parents=True, exist_ok=True)
+    fragments = 0
+    with tempfile.NamedTemporaryFile("wb", dir=output.parent, delete=False) as target:
+        temporary = Path(target.name)
+        try:
+            for code, pair in bulk_pairs(input_root, index, limit):
+                target.write(pair)
+                fragments += 1
+            target.flush()
+            os.fsync(target.fileno())
+            os.replace(temporary, output)
+        except BaseException:
+            temporary.unlink(missing_ok=True)
+            raise
+    return document_count(input_root, limit), fragments
+
+
+def file_sha256(path: Path) -> str:
+    digest = hashlib.sha256()
+    with path.open("rb") as source:
+        for chunk in iter(lambda: source.read(1024 * 1024), b""):
+            digest.update(chunk)
+    return digest.hexdigest()
+
+
+def write_json_atomic(path: Path, value: dict) -> None:
+    path.parent.mkdir(parents=True, exist_ok=True)
+    with tempfile.NamedTemporaryFile("wb", dir=path.parent, delete=False) as target:
+        temporary = Path(target.name)
+        try:
+            target.write((json.dumps(value, ensure_ascii=False, indent=2) + "\n").encode())
+            target.flush()
+            os.fsync(target.fileno())
+            os.replace(temporary, path)
+        except BaseException:
+            temporary.unlink(missing_ok=True)
+            raise
+
+
+def request_json(
+    url: str,
+    method: str,
+    body: bytes | None,
+    content_type: str,
+    attempts: int = 5,
+    retry_invalid_json: bool = False,
+) -> dict:
+    request = urllib.request.Request(url, data=body, method=method, headers={"Content-Type": content_type})
+    for attempt in range(attempts):
+        try:
+            with urllib.request.urlopen(request, timeout=120) as response:
+                return json.load(response)
+        except (UnicodeError, json.JSONDecodeError) as error:
+            if not retry_invalid_json or attempt == attempts - 1:
+                raise RuntimeError(f"{method} {url} returned invalid JSON: {error}") from error
+            delay = 2**attempt
+        except urllib.error.HTTPError as error:
+            response_body = error.read(500).decode("utf-8", errors="replace")
+            error.close()
+            retryable = error.code == 429 or 500 <= error.code < 600
+            if not retryable or attempt == attempts - 1:
+                raise RuntimeError(
+                    f"{method} {url} failed with HTTP {error.code}: {response_body}"
+                ) from error
+            retry_after = error.headers.get("Retry-After")
+            delay = float(retry_after) if retry_after and retry_after.isdigit() else 2**attempt
+        except (urllib.error.URLError, TimeoutError, ConnectionResetError) as error:
+            if attempt == attempts - 1:
+                raise RuntimeError(f"{method} {url} failed after {attempts} attempts: {error}") from error
+            delay = 2**attempt
+        time.sleep(delay)
+    raise AssertionError("unreachable")
+
+
+def opensearch_identity(base: str, index: str, index_url: str) -> tuple[str, str]:
+    cluster = request_json(f"{base}/", "GET", None, "application/json")
+    definition = request_json(index_url, "GET", None, "application/json")
+    try:
+        return cluster["cluster_uuid"], definition[index]["settings"]["index"]["uuid"]
+    except (KeyError, TypeError) as error:
+        raise RuntimeError("OpenSearch identity response is incomplete") from error
+
+
+def checkpoint_state(
+    input_root: Path,
+    index: str,
+    checkpoint: Path,
+    resume: bool,
+    url: str,
+    cluster_uuid: str,
+    index_uuid: str,
+    limit: int | None,
+    alias: str | None,
+) -> tuple[dict, str | None]:
+    source = input_root.resolve()
+    destination = checkpoint.resolve()
+    if destination == source or destination.is_relative_to(source):
+        raise ValueError("--checkpoint must not be inside --input")
+    manifest_sha256 = file_sha256(input_root / "manifest.sqlite3")
+    if not resume:
+        return {
+            "schema_version": 2,
+            "url": url,
+            "cluster_uuid": cluster_uuid,
+            "index": index,
+            "index_uuid": index_uuid,
+            "input": str(source),
+            "manifest_sha256": manifest_sha256,
+            "limit": limit,
+            "alias": alias,
+            "last_document_code": None,
+            "complete": False,
+        }, None
+
+    state = read_json(checkpoint)
+    expected = {
+        "schema_version",
+        "url",
+        "cluster_uuid",
+        "index",
+        "index_uuid",
+        "input",
+        "manifest_sha256",
+        "limit",
+        "alias",
+        "last_document_code",
+        "complete",
+    }
+    legacy_expected = expected - {"alias"}
+    if not isinstance(state, dict):
+        raise ValueError(f"Invalid checkpoint: {checkpoint}")
+    if set(state) == legacy_expected:
+        if state["schema_version"] != 1 or alias is not None:
+            raise ValueError(f"Legacy checkpoint does not support --alias: {checkpoint}")
+        state["schema_version"] = 2
+        state["alias"] = None
+    elif set(state) != expected:
+        raise ValueError(f"Invalid checkpoint: {checkpoint}")
+    if (
+        state["schema_version"] != 2
+        or state["url"] != url
+        or state["cluster_uuid"] != cluster_uuid
+        or state["index"] != index
+        or state["index_uuid"] != index_uuid
+        or state["input"] != str(source)
+    ):
+        raise ValueError(f"Checkpoint does not match this load: {checkpoint}")
+    if state["limit"] != limit:
+        raise ValueError(f"Checkpoint limit does not match --limit: {checkpoint}")
+    if state["alias"] != alias:
+        raise ValueError(f"Checkpoint alias does not match --alias: {checkpoint}")
+    if state["manifest_sha256"] != manifest_sha256:
+        raise ValueError("Normalized manifest changed; create a new versioned index")
+    if state["complete"] is not False:
+        raise ValueError(f"Checkpoint is already complete: {checkpoint}")
+    start_at = state["last_document_code"]
+    if start_at is not None and not isinstance(start_at, str):
+        raise ValueError(f"Invalid checkpoint document code: {checkpoint}")
+    return state, start_at
+
+
+def load_bulk(
+    input_root: Path,
+    url: str,
+    index: str,
+    mapping: Path = DEFAULT_MAPPING,
+    maximum_bytes: int = 25 * 1024 * 1024,
+    limit: int | None = None,
+    resume: bool = False,
+    checkpoint: Path = Path("data/opensearch/minjust-fragments.checkpoint.json"),
+    alias: str | None = None,
+    expected_old_index: str | None = None,
+    canary_ru: str | None = None,
+    canary_ky: str | None = None,
+) -> tuple[int, int]:
+    base = url.rstrip("/")
+    if alias is not None and (not alias or alias == index):
+        raise ValueError("--alias must differ from --index")
+    if alias is not None and (not expected_old_index or expected_old_index == index):
+        raise ValueError("alias publication requires an exact --expected-old-index")
+    if alias is not None and (not canary_ru or not canary_ky):
+        raise ValueError("alias publication requires both Russian and Kyrgyz canary queries")
+    index_url = f"{base}/{urllib.parse.quote(index, safe='')}"
+    if resume:
+        cluster_uuid, index_uuid = opensearch_identity(base, index, index_url)
+    else:
+        request_json(index_url, "PUT", mapping.read_bytes(), "application/json")
+        cluster_uuid, index_uuid = opensearch_identity(base, index, index_url)
+    state, start_at = checkpoint_state(
+        input_root,
+        index,
+        checkpoint,
+        resume,
+        base,
+        cluster_uuid,
+        index_uuid,
+        limit,
+        alias,
+    )
+    documents = document_count(input_root, limit, start_at)
+    expected_fragments = sum(1 for _ in bulk_pairs(input_root, index, limit)) if alias else None
+    if not resume:
+        write_json_atomic(checkpoint, state)
+    fragments = 0
+    for last_code, batch in bulk_batches(bulk_pairs(input_root, index, limit, start_at), maximum_bytes):
+        result = request_json(
+            f"{base}/_bulk",
+            "POST",
+            batch,
+            "application/x-ndjson",
+            retry_invalid_json=True,
+        )
+        expected = batch.count(b"\n") // 2
+        items = result.get("items", [])
+        if result.get("errors"):
+            failures = [item.get("index", {}) for item in items if item.get("index", {}).get("error")]
+            details = "; ".join(
+                f"{item.get('_id', '<unknown>')}: {item['error'].get('type', 'error')}: "
+                f"{item['error'].get('reason', '<no reason>')}"
+                for item in failures[:5]
+            )
+            raise RuntimeError(
+                f"OpenSearch Bulk API failed for {len(failures)} item(s); "
+                f"resume from {checkpoint}: {details}"
+            )
+        if len(items) != expected:
+            raise RuntimeError(
+                f"OpenSearch Bulk API returned {len(items)} of {expected} item result(s); "
+                f"resume from {checkpoint}"
+            )
+        fragments += len(items)
+        state["last_document_code"] = last_code
+        write_json_atomic(checkpoint, state)
+        print(f"checkpoint={last_code} fragments={fragments}", flush=True)
+    if alias:
+        if not expected_fragments:
+            raise ValueError("refusing to publish an index with an empty expected fragment inventory")
+        validate_candidate_index(base, index, expected_fragments, canary_ru, canary_ky)
+        switch_alias(base, index, alias, expected_old_index)
+    state["complete"] = True
+    write_json_atomic(checkpoint, state)
+    return documents, fragments
+
+
+def alias_target(base: str, alias: str) -> str:
+    alias_url = f"{base.rstrip('/')}/_alias/{urllib.parse.quote(alias, safe='')}"
+    try:
+        result = request_json(alias_url, "GET", None, "application/json")
+    except RuntimeError as error:
+        if "failed with HTTP 404:" in str(error):
+            raise ValueError(f"alias {alias} has no current target; explicit bootstrap is required") from error
+        raise
+    if not isinstance(result, dict) or len(result) != 1:
+        raise ValueError(f"alias {alias} must point to exactly one index")
+    target, definition = next(iter(result.items()))
+    if not isinstance(definition, dict) or alias not in definition.get("aliases", {}):
+        raise ValueError(f"alias {alias} response is malformed")
+    return target
+
+
+def validate_candidate_index(
+    base: str, index: str, expected_fragments: int, canary_ru: str, canary_ky: str
+) -> None:
+    if expected_fragments <= 0:
+        raise ValueError("expected fragment count must be positive")
+    encoded_index = urllib.parse.quote(index, safe='')
+    refreshed = request_json(f"{base.rstrip('/')}/{encoded_index}/_refresh", "POST", None, "application/json")
+    shards = refreshed.get("_shards", {})
+    if not isinstance(shards, dict) or shards.get("failed") != 0:
+        raise RuntimeError(f"refresh failed for candidate index {index}")
+    count_result = request_json(f"{base.rstrip('/')}/{encoded_index}/_count", "GET", None, "application/json")
+    if count_result.get("count") != expected_fragments:
+        raise RuntimeError(
+            f"candidate index {index} has {count_result.get('count')} fragments; expected {expected_fragments}"
+        )
+    for language, query in (("ru", canary_ru), ("ky", canary_ky)):
+        payload = json.dumps({"size": 1, "query": {"match": {f"text_{language}": query}}}).encode()
+        result = request_json(
+            f"{base.rstrip('/')}/{encoded_index}/_search", "POST", payload, "application/json"
+        )
+        hits = result.get("hits", {}).get("hits", [])
+        if not hits or not isinstance(hits[0].get("_source", {}).get(f"text_{language}"), str):
+            raise RuntimeError(f"candidate index {index} failed the {language} canary query")
+
+
+def switch_alias(base: str, index: str, alias: str, expected_old_index: str) -> None:
+    if not alias or alias == index:
+        raise ValueError("--alias must differ from --index")
+    if not expected_old_index or expected_old_index == index:
+        raise ValueError("--expected-old-index must name the exact previous index")
+    actual_old_index = alias_target(base, alias)
+    if actual_old_index == index:
+        return
+    if actual_old_index != expected_old_index:
+        raise ValueError(
+            f"alias {alias} currently targets {actual_old_index}, expected {expected_old_index}; refusing cutover"
+        )
+    try:
+        result = request_json(
+            f"{base.rstrip('/')}/_aliases",
+            "POST",
+            json.dumps({
+                "actions": [
+                    {"remove": {"index": expected_old_index, "alias": alias, "must_exist": True}},
+                    {"add": {"index": index, "alias": alias}},
+                ]
+            }).encode(),
+            "application/json",
+        )
+    except Exception as error:
+        try:
+            current = alias_target(base, alias)
+        except Exception:
+            raise RuntimeError(f"alias switch outcome is unknown; inspect {alias} before resuming") from error
+        if current == index:
+            return
+        if current != expected_old_index:
+            raise ValueError(
+                f"alias {alias} now targets unexpected index {current}; refusing to retry publication"
+            ) from error
+        raise RuntimeError(f"alias switch failed; {alias} still targets {expected_old_index}") from error
+    if not isinstance(result, dict) or result.get("acknowledged") is not True:
+        current = alias_target(base, alias)
+        if current == index:
+            return
+        if current != expected_old_index:
+            raise ValueError(
+                f"alias {alias} now targets unexpected index {current}; refusing to retry publication"
+            )
+        raise RuntimeError(f"OpenSearch did not acknowledge alias switch: {alias}")
+
+
+def main() -> int:
+    parser = argparse.ArgumentParser(description=__doc__)
+    parser.add_argument("--input", type=Path, default=Path("data/minjust-normalized"))
+    parser.add_argument("--output", type=Path, default=Path("data/opensearch/minjust-fragments.ndjson"))
+    parser.add_argument("--index", default="akyldash-fragments-v1")
+    parser.add_argument("--limit", type=int)
+    parser.add_argument("--url", help="create the index and stream bounded Bulk requests instead of writing a file")
+    parser.add_argument("--alias", help="atomically point this alias at --index after a successful load")
+    parser.add_argument("--expected-old-index", help="exact current alias target required for guarded cutover")
+    parser.add_argument("--canary-ru", help="approved Russian query that must match the candidate index")
+    parser.add_argument("--canary-ky", help="approved Kyrgyz query that must match the candidate index")
+    parser.add_argument("--mapping", type=Path, default=DEFAULT_MAPPING)
+    parser.add_argument("--batch-mb", type=int, default=25)
+    parser.add_argument("--resume", action="store_true", help="load into an existing index")
+    parser.add_argument("--checkpoint", type=Path, help="persistent resume checkpoint path")
+    parser.add_argument("--version", action="version", version=APP_VERSION)
+    arguments = parser.parse_args()
+    if arguments.limit is not None and arguments.limit <= 0:
+        raise SystemExit("--limit must be greater than zero")
+    if arguments.batch_mb <= 0:
+        raise SystemExit("--batch-mb must be greater than zero")
+    if arguments.resume and not arguments.url:
+        raise SystemExit("--resume requires --url")
+    if arguments.checkpoint and not arguments.url:
+        raise SystemExit("--checkpoint requires --url")
+    if arguments.alias == "":
+        raise SystemExit("--alias must not be empty")
+    if arguments.alias is not None and not arguments.url:
+        raise SystemExit("--alias requires --url")
+    if arguments.url:
+        checkpoint = arguments.checkpoint or Path("data/opensearch") / f"{arguments.index}.checkpoint.json"
+        documents, fragments = load_bulk(
+            arguments.input,
+            arguments.url,
+            arguments.index,
+            arguments.mapping,
+            arguments.batch_mb * 1024 * 1024,
+            arguments.limit,
+            arguments.resume,
+            checkpoint,
+            arguments.alias,
+            arguments.expected_old_index,
+            arguments.canary_ru,
+            arguments.canary_ky,
+        )
+        destination = arguments.url
+    else:
+        documents, fragments = export_bulk(arguments.input, arguments.output, arguments.index, arguments.limit)
+        destination = arguments.output
+    print(f"documents={documents} fragments={fragments} destination={destination}\nAkyldash · Backend v{APP_VERSION} · Frontend v0.3.3")
+    return 0
+
+
+if __name__ == "__main__":
+    raise SystemExit(main())

backend/search/query.py

@@ -0,0 +1,216 @@
+"""Run document searches against the local OpenSearch index."""
+
+from __future__ import annotations
+
+import argparse
+import json
+import re
+import urllib.parse
+
+from search.minjust_opensearch import APP_VERSION, request_json
+
+
+LEGAL_FORM_ALIASES = {
+    "ru": {
+        "осоо": ("ооо", "общество с ограниченной ответственностью"),
+        "ооо": ("осоо", "общество с ограниченной ответственностью"),
+        "общество с ограниченной ответственностью": ("осоо", "ооо"),
+        "общества с ограниченной ответственностью": ("осоо", "ооо"),
+    },
+    "ky": {
+        "жчк": ("жоопкерчилиги чектелген коом",),
+        "жоопкерчилиги чектелген коом": ("жчк",),
+    },
+}
+COMPANY_REGISTRATION_DOCUMENTS = (("230044970", 3000), ("667", 2000), ("4", 1000))
+TAX_PROFIT_DOCUMENTS = (("112340", 3000),)
+BOILERPLATE_PREFIXES = {
+    "ru": (
+        "как регулируется", "правовое регулирование", "судебная практика", "сроки и ответственность",
+        "действующая редакция", "последние изменения", "основные положения", "комментарий к акту",
+    ),
+    "ky": (),
+}
+ACT_TITLE_PREFIXES = {
+    "ru": (
+        r"(?:гражданский\s+)?процессуальный\s+кодекс(?:\s+(?:кыргызской\s+республики|кр))?",
+        r"(?:гражданск\w*|уголовн\w*|налогов\w*|трудов\w*|семейн\w*)\s+кодекс\w*(?:\s+(?:кыргызской\s+республики|кр))?",
+        r"кодекс\s+о\s+правонарушениях(?:\s+(?:кыргызской\s+республики|кр))?",
+        r"конституци\w*(?:\s+(?:кыргызской\s+республики|кр))?",
+        r"(?:гк|ук|нк|коап|гпк|упк|уик)(?:\s+(?:кыргызской\s+республики|кр))?",
+        r"закон(?:\s+(?:кыргызской\s+республики|кр))?\s+о\s+(?:защит\w*\s+прав\w*\s+потребител\w*|государственн\w+\s+регистраци\w+\s+юридическ\w+\s+лиц|труд\w*)",
+    ),
+    "ky": (
+        r"кыргыз\w*\s+республикасынын\s+конституци\w*",
+        r"(?:кыргыз\w*\s+республикасынын\s+)?(?:жарандык|кылмыш\w*|салык|эмгек|үй-бүлө|административдик|жарандык\s+процесстик)\s+кодекс\w*",
+        r"(?:кыргыз\w*\s+республикасынын\s+)?(?:жк|үк)(?:\s+кр)?",
+    ),
+}
+
+
+def relaxed_query_text(language: str, query: str) -> str:
+    value = query.strip()
+    for prefix in BOILERPLATE_PREFIXES[language]:
+        if value.casefold().startswith(prefix):
+            value = value[len(prefix):].strip()
+            break
+    for pattern in ACT_TITLE_PREFIXES[language]:
+        match = re.match(rf"\s*{pattern}(?=\s|$|[.,;:!?])", value, re.IGNORECASE)
+        if match:
+            value = value[match.end():].lstrip(" \t,;:—-")
+            break
+    return value
+
+
+def query_variants(language: str, query: str) -> list[str]:
+    variants = [query]
+    for alias, expansions in LEGAL_FORM_ALIASES[language].items():
+        pattern = re.compile(rf"(?<!\w){re.escape(alias)}(?!\w)", re.IGNORECASE)
+        if pattern.search(query):
+            variants.extend(pattern.sub(expansion, query) for expansion in expansions)
+    return list(dict.fromkeys(variants))
+
+
+def document_priority_clauses(language: str, documents: tuple[tuple[str, int], ...]) -> list[dict]:
+    status = {"ru": "Действует", "ky": "Күчүндө"}[language]
+    return [
+        {
+            "constant_score": {
+                "filter": {
+                    "bool": {
+                        "filter": [
+                            {"term": {"document_code": code}},
+                            {"term": {f"status_{language}": status}},
+                        ]
+                    }
+                },
+                "boost": boost,
+            }
+        }
+        for code, boost in documents
+    ]
+
+
+def company_registration_clauses(language: str, query: str) -> list[dict]:
+    non_registration_context = {
+        "ru": (r"\bсч[её]т\w*", r"\bбанк\w*", r"\bфилиал\w*", r"\bпредставительств\w*"),
+        "ky": (r"\bбанк\w*", r"\bэсеп\w*", r"\bфилиал\w*", r"\bөкүлчүлүк\w*"),
+    }[language]
+    normalized_query = query.casefold()
+    if any(re.search(pattern, normalized_query) for pattern in non_registration_context):
+        return []
+
+    forms, patterns = {
+        "ru": (
+            r"(?:осоо|ооо|обществ\w*\s+с\s+ограниченной\s+ответственностью)",
+            (
+                r"\bкак\s+(?:откры\w*|созда\w*|зарегистр\w*)\s+{form}\b",
+                r"\b(?:порядок|процедура)\s+(?:открыти\w*|создани\w*|регистраци\w*)\s+{form}\b",
+                r"\b(?:государственн\w+\s+)?регистраци\w*\s+{form}\b",
+                r"\bсоздани\w*\s+{form}\b",
+            ),
+        ),
+        "ky": (
+            r"(?:жчк|жоопкерчилиги\s+чектелген\s+коом)",
+            (
+                r"\bжчк\s+ач\w*\s+тартиби\b",
+                r"\bжчк\s+кантип\s+ач\w*\b",
+                r"\b{form}\s+(?:ачуу|ачуунун|каттоо|каттоонун)\b",
+                r"\b(?:ачуу|каттоо)\s+{form}\b",
+            ),
+        ),
+    }[language]
+    if not any(re.search(pattern.format(form=forms), normalized_query) for pattern in patterns):
+        return []
+
+    return document_priority_clauses(language, COMPANY_REGISTRATION_DOCUMENTS)
+
+
+def tax_profit_clauses(language: str, query: str) -> list[dict]:
+    if language != "ru" or not re.search(r"\bналог\w*\s+(?:на\s+)?прибыл\w*\b", query.casefold()):
+        return []
+    # ponytail: exact topic anchor; expand only with verified tax-code sources.
+    return document_priority_clauses(language, TAX_PROFIT_DOCUMENTS)
+
+
+def build_search_query(language: str, query: str) -> dict:
+    registration_clauses = company_registration_clauses(language, query)
+    intent_clauses = [*registration_clauses, *tax_profit_clauses(language, query)]
+    variants = query_variants(language, query)
+    full_text = [
+        {
+            "multi_match": {
+                "query": variant,
+                "fields": [f"document_name_{language}^4", f"text_{language}"],
+                "type": "cross_fields",
+                "operator": "OR" if registration_clauses else "AND",
+            }
+        }
+        for variant in variants
+    ]
+    relaxed_text = []
+    if not registration_clauses:
+        seen_relaxed = set()
+        for variant in variants:
+            value = relaxed_query_text(language, variant)
+            words = value.split()
+            if value in seen_relaxed or len(words) < 2 or (value == variant.strip() and len(words) < 3):
+                continue
+            if len(words) < 3 and not any(len(word) >= 5 for word in words):
+                continue
+            seen_relaxed.add(value)
+            relaxed_text.append({
+                "multi_match": {
+                    "query": value,
+                    "fields": [f"document_name_{language}^4", f"text_{language}"],
+                    "type": "cross_fields",
+                    "operator": "OR",
+                    "minimum_should_match": 2,
+                    "boost": 0.1,
+                }
+            })
+    phrase_matches = [
+        {"match_phrase": {f"text_{language}": {"query": variant, "boost": 3}}}
+        for variant in query_variants(language, query)
+    ]
+    planned = {"should": [*full_text, *phrase_matches, *relaxed_text, *intent_clauses], "minimum_should_match": 1}
+    return {"bool": planned}
+
+
+def build_search_body(language: str, query: str, top_k: int) -> bytes:
+    return json.dumps({
+        "size": top_k,
+        "track_total_hits": False,
+        "_source": ["document_code"],
+        "query": {"bool": {"filter": [{"term": {"language": language}}, {"term": {"is_current_edition": True}}], "must": build_search_query(language, query)}},
+        "collapse": {"field": "document_code"},
+    }, ensure_ascii=False).encode()
+
+
+def search_documents(base_url: str, index: str, language: str, query: str, top_k: int) -> list[str]:
+    url = f"{base_url.rstrip('/')}/{urllib.parse.quote(index, safe='')}/_search"
+    response = request_json(url, "POST", build_search_body(language, query, top_k), "application/json")
+    try:
+        return [hit["_source"]["document_code"] for hit in response["hits"]["hits"]]
+    except (KeyError, TypeError) as error:
+        raise RuntimeError("OpenSearch search response is incomplete") from error
+
+
+def main() -> int:
+    parser = argparse.ArgumentParser(description=__doc__)
+    parser.add_argument("query")
+    parser.add_argument("--language", choices=("ru", "ky"), required=True)
+    parser.add_argument("--url", default="http://127.0.0.1:9200")
+    parser.add_argument("--index", default="akyldash-fragments-v1")
+    parser.add_argument("--top-k", type=int, default=10)
+    parser.add_argument("--version", action="version", version=APP_VERSION)
+    arguments = parser.parse_args()
+    if arguments.top_k <= 0:
+        raise SystemExit("--top-k must be greater than zero")
+    print(json.dumps(search_documents(arguments.url, arguments.index, arguments.language, arguments.query, arguments.top_k), ensure_ascii=False))
+    print(f"Akyldash · Backend v{APP_VERSION} · Frontend v0.1.2")
+    return 0
+
+
+if __name__ == "__main__":
+    raise SystemExit(main())

backend/search/relevance-set-v1.template.json

@@ -0,0 +1,52 @@
+[
+  {"id": "ru-01", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-02", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-03", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-04", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-05", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-06", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-07", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-08", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-09", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-10", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-11", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-12", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-13", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-14", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-15", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-16", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-17", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-18", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-19", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-20", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-21", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-22", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-23", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-24", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ru-25", "language": "ru", "query": "", "relevant_document_codes": []},
+  {"id": "ky-01", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-02", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-03", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-04", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-05", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-06", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-07", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-08", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-09", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-10", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-11", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-12", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-13", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-14", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-15", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-16", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-17", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-18", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-19", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-20", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-21", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-22", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-23", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-24", "language": "ky", "query": "", "relevant_document_codes": []},
+  {"id": "ky-25", "language": "ky", "query": "", "relevant_document_codes": []}
+]

backend/search/reviews.py

@@ -0,0 +1,83 @@
+"""Persistence and signed snapshots for search relevance reviews."""
+
+from __future__ import annotations
+
+import base64
+import hashlib
+import hmac
+import json
+import secrets
+import sqlite3
+import threading
+import time
+from pathlib import Path
+
+
+MAX_COMMENT = 4000
+MAX_REVIEWER = 120
+
+
+class ReviewStore:
+    def __init__(self, path: Path | str = ":memory:"):
+        if path != ":memory:":
+            Path(path).parent.mkdir(parents=True, exist_ok=True)
+        self.connection = sqlite3.connect(path, check_same_thread=False)
+        self.connection.row_factory = sqlite3.Row
+        # ponytail: one SQLite lock; split connections only if review throughput matters.
+        self._lock = threading.Lock()
+        self.connection.execute("""
+            CREATE TABLE IF NOT EXISTS search_reviews (
+                id INTEGER PRIMARY KEY AUTOINCREMENT,
+                created_at TEXT NOT NULL,
+                reviewer TEXT NOT NULL,
+                query TEXT NOT NULL,
+                language TEXT NOT NULL,
+                index_name TEXT NOT NULL,
+                algorithm_version TEXT NOT NULL,
+                top_result_code TEXT,
+                results_json TEXT NOT NULL,
+                overall_comment TEXT NOT NULL
+            )
+        """)
+        self.connection.commit()
+
+    def save(self, review: dict) -> int:
+        with self._lock:
+            cursor = self.connection.execute(
+                "INSERT INTO search_reviews(created_at, reviewer, query, language, index_name, algorithm_version, top_result_code, results_json, overall_comment) VALUES(?, ?, ?, ?, ?, ?, ?, ?, ?)",
+                (review["created_at"], review["reviewer"], review["query"], review["language"], review["index_name"], review["algorithm_version"], review["top_result_code"], json.dumps(review["results"], ensure_ascii=False), review["overall_comment"]),
+            )
+            self.connection.commit()
+            return int(cursor.lastrowid)
+
+    def export(self) -> list[dict]:
+        with self._lock:
+            return [
+                {**dict(row), "results": json.loads(row["results_json"])}
+                for row in self.connection.execute("SELECT * FROM search_reviews ORDER BY id")
+            ]
+
+
+class ReviewSnapshots:
+    def __init__(self, secret: bytes | None = None, ttl: int = 3600):
+        self.secret = secret or secrets.token_bytes(32)
+        self.ttl = ttl
+
+    def create(self, query: str, language: str, index: str, results: list[dict], algorithm_version: str) -> str:
+        payload = {"query": query, "language": language, "index_name": index, "algorithm_version": algorithm_version, "results": results, "expires_at": int(time.time()) + self.ttl}
+        encoded = base64.urlsafe_b64encode(json.dumps(payload, ensure_ascii=False, separators=(",", ":")).encode()).decode().rstrip("=")
+        signature = hmac.new(self.secret, encoded.encode(), hashlib.sha256).hexdigest()
+        return f"{encoded}.{signature}"
+
+    def verify(self, token: str) -> dict:
+        try:
+            encoded, signature = token.split(".", 1)
+            expected = hmac.new(self.secret, encoded.encode(), hashlib.sha256).hexdigest()
+            if not hmac.compare_digest(signature, expected):
+                raise ValueError
+            payload = json.loads(base64.urlsafe_b64decode(encoded + "=" * (-len(encoded) % 4)))
+            if payload["expires_at"] < int(time.time()):
+                raise ValueError
+            return payload
+        except (ValueError, KeyError, TypeError, json.JSONDecodeError, UnicodeError) as error:
+            raise ValueError("invalid or expired search snapshot") from error

backend/search/static/favicon.svg

@@ -0,0 +1,4 @@
+<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 48 48">
+  <circle cx="24" cy="24" r="20" fill="#F7F2E8" stroke="#9D2633" stroke-width="3"/>
+  <path d="M24 5v38M5 24h38M11 11l26 26M37 11 11 37" fill="none" stroke="#9D2633" stroke-width="3" stroke-linecap="round"/>
+</svg>

backend/search/static/fonts/OFL-Noto-Sans.txt

@@ -0,0 +1,93 @@
+Copyright 2022 The Noto Project Authors (https://github.com/notofonts/latin-greek-cyrillic) NotoSans-Italic[wdth,wght].ttf: Copyright 2022 The Noto Project Authors (https://github.com/notofonts/latin-greek-cyrillic)
+
+This Font Software is licensed under the SIL Open Font License, Version 1.1.
+This license is copied below, and is also available with a FAQ at:
+http://scripts.sil.org/OFL
+
+
+-----------------------------------------------------------
+SIL OPEN FONT LICENSE Version 1.1 - 26 February 2007
+-----------------------------------------------------------
+
+PREAMBLE
+The goals of the Open Font License (OFL) are to stimulate worldwide
+development of collaborative font projects, to support the font creation
+efforts of academic and linguistic communities, and to provide a free and
+open framework in which fonts may be shared and improved in partnership
+with others.
+
+The OFL allows the licensed fonts to be used, studied, modified and
+redistributed freely as long as they are not sold by themselves. The
+fonts, including any derivative works, can be bundled, embedded,
+redistributed and/or sold with any software provided that any reserved
+names are not used by derivative works. The fonts and derivatives,
+however, cannot be released under any other type of license. The
+requirement for fonts to remain under this license does not apply
+to any document created using the fonts or their derivatives.
+
+DEFINITIONS
+"Font Software" refers to the set of files released by the Copyright
+Holder(s) under this license and clearly marked as such. This may
+include source files, build scripts and documentation.
+
+"Reserved Font Name" refers to any names specified as such after the
+copyright statement(s).
+
+"Original Version" refers to the collection of Font Software components as
+distributed by the Copyright Holder(s).
+
+"Modified Version" refers to any derivative made by adding to, deleting,
+or substituting -- in part or in whole -- any of the components of the
+Original Version, by changing formats or by porting the Font Software to a
+new environment.
+
+"Author" refers to any designer, engineer, programmer, technical
+writer or other person who contributed to the Font Software.
+
+PERMISSION & CONDITIONS
+Permission is hereby granted, free of charge, to any person obtaining
+a copy of the Font Software, to use, study, copy, merge, embed, modify,
+redistribute, and sell modified and unmodified copies of the Font
+Software, subject to the following conditions:
+
+1) Neither the Font Software nor any of its individual components,
+in Original or Modified Versions, may be sold by itself.
+
+2) Original or Modified Versions of the Font Software may be bundled,
+redistributed and/or sold with any software, provided that each copy
+contains the above copyright notice and this license. These can be
+included either as stand-alone text files, human-readable headers or
+in the appropriate machine-readable metadata fields within text or
+binary files as long as those fields can be easily viewed by the user.
+
+3) No Modified Version of the Font Software may use the Reserved Font
+Name(s) unless explicit written permission is granted by the corresponding
+Copyright Holder. This restriction only applies to the primary font name as
+presented to the users.
+
+4) The name(s) of the Copyright Holder(s) or the Author(s) of the Font
+Software shall not be used to promote, endorse or advertise any
+Modified Version, except to acknowledge the contribution(s) of the
+Copyright Holder(s) and the Author(s) or with their explicit written
+permission.
+
+5) The Font Software, modified or unmodified, in part or in whole,
+must be distributed entirely under this license, and must not be
+distributed under any other license. The requirement for fonts to
+remain under this license does not apply to any document created
+using the Font Software.
+
+TERMINATION
+This license becomes null and void if any of the above conditions are
+not met.
+
+DISCLAIMER
+THE FONT SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
+EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO ANY WARRANTIES OF
+MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT
+OF COPYRIGHT, PATENT, TRADEMARK, OR OTHER RIGHT. IN NO EVENT SHALL THE
+COPYRIGHT HOLDER BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY,
+INCLUDING ANY GENERAL, SPECIAL, INDIRECT, INCIDENTAL, OR CONSEQUENTIAL
+DAMAGES, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
+FROM, OUT OF THE USE OR INABILITY TO USE THE FONT SOFTWARE OR FROM
+OTHER DEALINGS IN THE FONT SOFTWARE.

backend/search/static/fonts/OFL-Noto-Serif.txt

@@ -0,0 +1,93 @@
+Copyright 2022 The Noto Project Authors (https://github.com/notofonts/latin-greek-cyrillic) NotoSerif-Italic[wdth,wght].ttf: Copyright 2022 The Noto Project Authors (https://github.com/notofonts/latin-greek-cyrillic)
+
+This Font Software is licensed under the SIL Open Font License, Version 1.1.
+This license is copied below, and is also available with a FAQ at:
+http://scripts.sil.org/OFL
+
+
+-----------------------------------------------------------
+SIL OPEN FONT LICENSE Version 1.1 - 26 February 2007
+-----------------------------------------------------------
+
+PREAMBLE
+The goals of the Open Font License (OFL) are to stimulate worldwide
+development of collaborative font projects, to support the font creation
+efforts of academic and linguistic communities, and to provide a free and
+open framework in which fonts may be shared and improved in partnership
+with others.
+
+The OFL allows the licensed fonts to be used, studied, modified and
+redistributed freely as long as they are not sold by themselves. The
+fonts, including any derivative works, can be bundled, embedded,
+redistributed and/or sold with any software provided that any reserved
+names are not used by derivative works. The fonts and derivatives,
+however, cannot be released under any other type of license. The
+requirement for fonts to remain under this license does not apply
+to any document created using the fonts or their derivatives.
+
+DEFINITIONS
+"Font Software" refers to the set of files released by the Copyright
+Holder(s) under this license and clearly marked as such. This may
+include source files, build scripts and documentation.
+
+"Reserved Font Name" refers to any names specified as such after the
+copyright statement(s).
+
+"Original Version" refers to the collection of Font Software components as
+distributed by the Copyright Holder(s).
+
+"Modified Version" refers to any derivative made by adding to, deleting,
+or substituting -- in part or in whole -- any of the components of the
+Original Version, by changing formats or by porting the Font Software to a
+new environment.
+
+"Author" refers to any designer, engineer, programmer, technical
+writer or other person who contributed to the Font Software.
+
+PERMISSION & CONDITIONS
+Permission is hereby granted, free of charge, to any person obtaining
+a copy of the Font Software, to use, study, copy, merge, embed, modify,
+redistribute, and sell modified and unmodified copies of the Font
+Software, subject to the following conditions:
+
+1) Neither the Font Software nor any of its individual components,
+in Original or Modified Versions, may be sold by itself.
+
+2) Original or Modified Versions of the Font Software may be bundled,
+redistributed and/or sold with any software, provided that each copy
+contains the above copyright notice and this license. These can be
+included either as stand-alone text files, human-readable headers or
+in the appropriate machine-readable metadata fields within text or
+binary files as long as those fields can be easily viewed by the user.
+
+3) No Modified Version of the Font Software may use the Reserved Font
+Name(s) unless explicit written permission is granted by the corresponding
+Copyright Holder. This restriction only applies to the primary font name as
+presented to the users.
+
+4) The name(s) of the Copyright Holder(s) or the Author(s) of the Font
+Software shall not be used to promote, endorse or advertise any
+Modified Version, except to acknowledge the contribution(s) of the
+Copyright Holder(s) and the Author(s) or with their explicit written
+permission.
+
+5) The Font Software, modified or unmodified, in part or in whole,
+must be distributed entirely under this license, and must not be
+distributed under any other license. The requirement for fonts to
+remain under this license does not apply to any document created
+using the Font Software.
+
+TERMINATION
+This license becomes null and void if any of the above conditions are
+not met.
+
+DISCLAIMER
+THE FONT SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
+EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO ANY WARRANTIES OF
+MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT
+OF COPYRIGHT, PATENT, TRADEMARK, OR OTHER RIGHT. IN NO EVENT SHALL THE
+COPYRIGHT HOLDER BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY,
+INCLUDING ANY GENERAL, SPECIAL, INDIRECT, INCIDENTAL, OR CONSEQUENTIAL
+DAMAGES, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
+FROM, OUT OF THE USE OR INABILITY TO USE THE FONT SOFTWARE OR FROM
+OTHER DEALINGS IN THE FONT SOFTWARE.

backend/test_minjust_cbd.py

@@ -0,0 +1,156 @@
+import base64
+import tempfile
+import unittest
+import urllib.error
+from email.message import Message
+from pathlib import Path
+from unittest.mock import Mock, patch
+
+from ingestion.minjust_cbd import CbdClient, SyncResult, progress_line, sync_archive
+
+
+class MinjustCbdTest(unittest.TestCase):
+    def test_archives_document_and_resumes(self):
+        image = base64.b64encode(b"image").decode()
+        document = {
+            "Code": 1,
+            "Name": {"Rus": "Закон", "Kyr": "Мыйзам"},
+            "Editions": [
+                {
+                    "Code": 10,
+                    "Name": {"Rus": "01.01.2026", "Kyr": "01.01.2026"},
+                    "Data": {"Rus": "<p>Закон</p>", "Kyr": "<p>Мыйзам</p>"},
+                    "Images": [
+                        {
+                            "Lang": "Russian",
+                            "Name": "image001.jpg",
+                            "Data": image,
+                        }
+                    ],
+                }
+            ],
+        }
+        client = Mock()
+        client.total_documents = 1
+        client.document_codes.return_value = [1]
+        client.document.return_value = document
+
+        with tempfile.TemporaryDirectory() as directory:
+            output = Path(directory)
+            first = sync_archive(output, client)
+            second = sync_archive(output, client)
+            refreshed = sync_archive(output, client, refresh=True)
+
+            self.assertEqual(first.downloaded, 1)
+            self.assertEqual(second.skipped, 1)
+            self.assertEqual(refreshed.downloaded, 1)
+            self.assertEqual(client.document.call_count, 2)
+            self.assertEqual(
+                (output / "documents/1/editions/10/ru.html").read_text(),
+                "<p>Закон</p>",
+            )
+            self.assertEqual(
+                (output / "documents/1/editions/10/images/ru/image001.jpg").read_bytes(),
+                b"image",
+            )
+
+    def test_uses_stable_list_id_for_next_page(self):
+        client = CbdClient(requests_per_second=1000)
+        client.request_json = Mock(
+            side_effect=[
+                {
+                    "Id": "list-id",
+                    "TotalCount": 3,
+                    "Documents": [{"Code": 1}, {"Code": 2}],
+                },
+                {
+                    "Id": "list-id",
+                    "TotalCount": 3,
+                    "Documents": [{"Code": 3}],
+                },
+            ]
+        )
+
+        self.assertEqual(list(client.document_codes(page_size=2)), [1, 2, 3])
+        self.assertEqual(
+            client.request_json.call_args_list[1].args[0], "GetDocumentListById"
+        )
+
+    def test_recreates_expired_list_at_current_page(self):
+        client = CbdClient(requests_per_second=1000)
+        client.request_json = Mock(
+            side_effect=[
+                {
+                    "Id": "expired-list",
+                    "TotalCount": 3,
+                    "Documents": [{"Code": 1}, {"Code": 2}],
+                },
+                urllib.error.HTTPError("https://example.test", 404, "", {}, None),
+                {
+                    "Id": "new-list",
+                    "TotalCount": 3,
+                    "Documents": [{"Code": 3}],
+                },
+            ]
+        )
+
+        self.assertEqual(list(client.document_codes(page_size=2)), [1, 2, 3])
+        recovery_call = client.request_json.call_args_list[2]
+        self.assertEqual(recovery_call.args[0], "GetDocumentListByQuery")
+        self.assertIn(("PageNumber", 2), recovery_call.args[1])
+
+    def test_recreates_list_after_page_retries_are_exhausted(self):
+        client = CbdClient(requests_per_second=1000)
+        client.request_json = Mock(
+            side_effect=[
+                {
+                    "Id": "failed-list",
+                    "TotalCount": 3,
+                    "Documents": [{"Code": 1}, {"Code": 2}],
+                },
+                RuntimeError("Ministry of Justice API request failed"),
+                {
+                    "Id": "new-list",
+                    "TotalCount": 3,
+                    "Documents": [{"Code": 3}],
+                },
+            ]
+        )
+
+        self.assertEqual(list(client.document_codes(page_size=2)), [1, 2, 3])
+        recovery_call = client.request_json.call_args_list[2]
+        self.assertEqual(recovery_call.args[0], "GetDocumentListByQuery")
+        self.assertIn(("PageNumber", 2), recovery_call.args[1])
+
+    def test_formats_progress_with_rate_and_eta(self):
+        line = progress_line(
+            SyncResult(discovered=50, downloaded=48, skipped=1, failed=1),
+            total=100,
+            elapsed=25,
+        )
+
+        self.assertIn("50.00%", line)
+        self.assertIn("rate=2.00/s", line)
+        self.assertIn("ETA=00:00:25", line)
+
+    @patch("ingestion.minjust_cbd.time.sleep")
+    @patch("ingestion.minjust_cbd.urllib.request.urlopen")
+    def test_respects_retry_after_on_rate_limit(self, urlopen, sleep):
+        headers = Message()
+        headers["Retry-After"] = "7"
+        response = Mock()
+        response.read.return_value = b"{}"
+        response.__enter__ = Mock(return_value=response)
+        response.__exit__ = Mock(return_value=False)
+        urlopen.side_effect = [
+            urllib.error.HTTPError("https://example.test", 429, "", headers, None),
+            response,
+        ]
+
+        CbdClient(requests_per_second=1000, retries=2).request_json("Example")
+
+        self.assertIn(((7.0,), {}), [(call.args, call.kwargs) for call in sleep.call_args_list])
+
+
+if __name__ == "__main__":
+    unittest.main()

backend/test_minjust_current.py

@@ -0,0 +1,405 @@
+import json
+import os
+import sqlite3
+import tempfile
+import unittest
+import urllib.error
+from email.message import Message
+from pathlib import Path
+from unittest.mock import Mock, patch
+
+from ingestion import minjust_current
+from ingestion.minjust_current import (
+    ApiResponse,
+    CurrentCbdClient,
+    SourceChanged,
+    SourceError,
+    stage_document,
+)
+
+
+def api_response(value):
+    body = json.dumps(value, ensure_ascii=False).encode()
+    import hashlib
+
+    return ApiResponse(value, body, hashlib.sha256(body).hexdigest())
+
+
+def document_record(alias="6", canonical=6, editions=None):
+    return api_response(
+        {
+            "documentCode": canonical,
+            "nameRus": "Закон",
+            "nameKyr": "Мыйзам",
+            "headerRu": "Заголовок",
+            "headerKg": "Баш сөз",
+            "number": 114,
+            "dateAdopted": "1998-08-04",
+            "classId": 1,
+            "refTypeId": 10,
+            "status": 1,
+            "editions": editions if editions is not None else [
+                {"id": 920492, "nameRus": "Редакция A", "nameKyr": "Редакция A", "textRusType": "docx", "textKyrType": "docx"},
+                {"id": 920292, "nameRus": "Редакция B", "nameKyr": "Редакция B", "textRusType": "docx", "textKyrType": "docx"},
+            ],
+        }
+    )
+
+
+class CurrentCbdClientTests(unittest.TestCase):
+    def test_rejects_legacy_roots_when_called_from_an_unrelated_working_directory(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            base = Path(temporary)
+            repository = base / "repository"
+            elsewhere = base / "elsewhere"
+            elsewhere.mkdir()
+            legacy_roots = [
+                repository / "data/minjust-cbd",
+                repository / "data/minjust-normalized",
+            ]
+            for legacy in legacy_roots:
+                legacy.mkdir(parents=True)
+            # Root CI uses umask 000, so make the trusted fixture's parent permissions explicit.
+            for directory in (repository, repository / "data", *legacy_roots):
+                directory.chmod(0o755)
+            original_cwd = Path.cwd()
+            client = Mock()
+            try:
+                os.chdir(elsewhere)
+                with patch.object(minjust_current, "REPOSITORY_ROOT", repository):
+                    for legacy in legacy_roots:
+                        with self.subTest(legacy=legacy), self.assertRaisesRegex(ValueError, "must not overlap"):
+                            stage_document(legacy / "staging", "6", client)
+                        self.assertFalse((legacy / "staging").exists())
+            finally:
+                os.chdir(original_cwd)
+            client.document.assert_not_called()
+
+    def test_requires_private_owned_staging_root(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            output = Path(temporary) / "shared"
+            output.mkdir(mode=0o755)
+            output.chmod(0o755)
+
+            with self.assertRaisesRegex(ValueError, "private directory"):
+                stage_document(output, "6", Mock())
+
+    def test_resume_rejects_symlinked_checkpoints_and_document_paths(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            base = Path(temporary)
+            targets = [
+                ("request-contract.json", False),
+                ("current-api.sqlite3", False),
+                ("manifest.sqlite3", False),
+                (".work/documents/6", True),
+                (".work/documents/6/editions/920492/ru.html", False),
+                ("documents/6", True),
+            ]
+            client = Mock()
+            for index, (relative, directory) in enumerate(targets):
+                with self.subTest(relative=relative):
+                    output = base / f"generation-{index}"
+                    output.mkdir(mode=0o700)
+                    contract = output / "request-contract.json"
+                    if relative != "request-contract.json":
+                        contract.write_text(json.dumps(minjust_current.REQUEST_CONTRACT), encoding="utf-8")
+                    outside = base / f"outside-{index}"
+                    if directory:
+                        outside.mkdir()
+                    else:
+                        outside.write_text("preserve", encoding="utf-8")
+                    link = output / relative
+                    link.parent.mkdir(parents=True, exist_ok=True)
+                    try:
+                        link.symlink_to(outside, target_is_directory=directory)
+                    except (NotImplementedError, OSError):
+                        self.skipTest("symlinks are unavailable")
+
+                    with self.assertRaisesRegex(ValueError, "symbolic link"):
+                        stage_document(output, "6", client, resume=True)
+
+                    client.document.assert_not_called()
+                    if not directory:
+                        self.assertEqual(outside.read_text(encoding="utf-8"), "preserve")
+                    else:
+                        self.assertEqual(list(outside.iterdir()), [])
+
+    def test_respects_retry_after_and_retries_server_errors(self):
+        headers = Message()
+        headers["Retry-After"] = "7"
+        response = Mock()
+        response.read.return_value = b"{}"
+        response.__enter__ = Mock(return_value=response)
+        response.__exit__ = Mock(return_value=False)
+        opener = Mock(side_effect=[
+            urllib.error.HTTPError("https://example.test", 429, "", headers, None),
+            urllib.error.HTTPError("https://example.test", 503, "", Message(), None),
+            response,
+        ])
+        delays = []
+
+        CurrentCbdClient(opener=opener, sleep=delays.append, clock=lambda: 0, retries=3).request_json("/GetEdition")
+
+        self.assertIn(7.0, delays)
+        self.assertIn(2, delays)
+        self.assertEqual(opener.call_count, 3)
+
+    def test_enforces_request_interval(self):
+        now = [0.0]
+        starts = []
+        response = Mock()
+        response.read.return_value = b"{}"
+        response.__enter__ = Mock(return_value=response)
+        response.__exit__ = Mock(return_value=False)
+
+        def opener(_request, timeout):
+            starts.append(now[0])
+            return response
+
+        client = CurrentCbdClient(
+            opener=opener,
+            clock=lambda: now[0],
+            sleep=lambda delay: now.__setitem__(0, now[0] + delay),
+        )
+        client.request_json("/GetEdition")
+        client.request_json("/GetEdition")
+
+        self.assertGreaterEqual(starts[1] - starts[0], 1.0)
+
+    def test_rejects_oversized_response(self):
+        response = Mock()
+        response.read.return_value = b"x" * 11
+        response.__enter__ = Mock(return_value=response)
+        response.__exit__ = Mock(return_value=False)
+        with self.assertRaisesRegex(SourceError, "exceeds 10 bytes"):
+            CurrentCbdClient(opener=lambda *_args, **_kwargs: response, max_response_bytes=10).request_json("/GetEdition")
+
+    def test_get_edition_uses_exact_query_and_checks_requested_id(self):
+        response = Mock()
+        response.read.return_value = json.dumps({"id": 920292, "contentRu": "text", "contentKg": None}).encode()
+        response.__enter__ = Mock(return_value=response)
+        response.__exit__ = Mock(return_value=False)
+        requests = []
+
+        def opener(request, timeout):
+            requests.append(request)
+            return response
+
+        result = CurrentCbdClient(opener=opener, sleep=lambda _delay: None).edition(920292, "kg")
+
+        self.assertEqual(requests[0].full_url, "https://cbd.minjust.gov.kg/api/v1/GetEdition?editionId=920292&lang=kg&exact=true")
+        self.assertEqual(requests[0].method, "GET")
+        self.assertEqual(result.value["id"], 920292)
+
+    def test_rejects_response_id_that_does_not_match_exact_request(self):
+        response = Mock()
+        response.read.return_value = json.dumps({"id": 920492, "contentRu": "text", "contentKg": None}).encode()
+        response.__enter__ = Mock(return_value=response)
+        response.__exit__ = Mock(return_value=False)
+
+        with self.assertRaisesRegex(SourceChanged, "does not match requested ID"):
+            CurrentCbdClient(opener=lambda *_args, **_kwargs: response).edition(920292, "ru")
+
+    def test_stages_alias_mapping_language_quirk_and_official_edition_order(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            base = Path(temporary)
+            output = base / "generation"
+            old_raw = base / "legacy" / "documents" / "6" / "sentinel"
+            old_raw.parent.mkdir(parents=True)
+            old_raw.write_text("preserve", encoding="utf-8")
+
+            class Client:
+                def document(self, alias):
+                    self.alias = alias
+                    return document_record(alias=alias, canonical=6)
+
+                def edition(self, identifier, language):
+                    text = "<p>Russian</p>" if language == "ru" else "<p>Кыргызча</p>"
+                    name = "Редакция A" if identifier == 920492 else "Редакция B"
+                    return api_response({
+                        "id": identifier, "nameRus": name, "nameKyr": name,
+                        "contentRu": text, "contentKg": None,
+                    })
+
+            client = Client()
+            result = stage_document(output, "6", client)
+            raw = output / "documents" / "6"
+
+            self.assertEqual(result["state"], "text_complete_incomplete_attachments")
+            self.assertEqual((raw / "editions/920492/ru.html").read_text(), "<p>Russian</p>")
+            self.assertEqual((raw / "editions/920492/ky.html").read_text(), "<p>Кыргызча</p>")
+            first = json.loads((raw / "editions/920492/metadata.json").read_text())
+            second = json.loads((raw / "editions/920292/metadata.json").read_text())
+            self.assertEqual((first["SourceOrder"], second["SourceOrder"]), (0, 1))
+            language_meta = json.loads((raw / "editions/920292/source/ru.json").read_text())
+            self.assertEqual((language_meta["requested_edition_id"], language_meta["exact"]), (920292, True))
+            with sqlite3.connect(output / "current-api.sqlite3") as connection:
+                self.assertTrue(connection.execute("SELECT contract_sha256 FROM generation").fetchone()[0])
+            self.assertEqual(old_raw.read_text(), "preserve")
+            with sqlite3.connect(output / "current-api.sqlite3") as connection:
+                rows = connection.execute(
+                    "SELECT request_language, archive_language, state FROM languages ORDER BY request_language, edition_id"
+                ).fetchall()
+                self.assertEqual(rows, [("kg", "ky", "complete")] * 2 + [("ru", "ru", "complete")] * 2)
+
+    def test_resolves_official_alias_to_canonical_staging_directory(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            output = Path(temporary) / "generation"
+
+            class Client:
+                def document(self, alias):
+                    return document_record(alias=alias, canonical=205064, editions=[])
+
+            result = stage_document(output, "1-4", Client())
+
+            self.assertEqual(result["canonical_id"], 205064)
+            self.assertTrue((output / "documents/205064/metadata.json").is_file())
+            self.assertFalse((output / "documents/1-4").exists())
+
+    def test_rejects_non_exact_edition_response_id_without_publishing(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            output = Path(temporary) / "generation"
+
+            class Client:
+                def document(self, _alias):
+                    return document_record(editions=[{"id": 920292, "textRusType": "docx", "textKyrType": "docx"}])
+
+                def edition(self, _identifier, language):
+                    return api_response({"id": 920492, "contentRu": f"<{language} edition>", "contentKg": None})
+
+            with self.assertRaisesRegex(SourceChanged, "exact edition ID mismatch"):
+                stage_document(output, "6", Client())
+
+            self.assertFalse((output / "documents/6").exists())
+            with sqlite3.connect(output / "current-api.sqlite3") as connection:
+                self.assertEqual(connection.execute("SELECT state FROM languages").fetchone()[0], "error")
+
+    def test_rejects_exact_edition_metadata_contradiction(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            output = Path(temporary) / "generation"
+            client = CurrentCbdClient()
+            client.document = lambda _alias: document_record(editions=[{
+                "id": 920292, "nameRus": "04.08.1998", "nameKyr": "04.08.1998",
+                "textRusType": "docx", "textKyrType": "docx",
+            }])
+            client.request_json = lambda *_args, **_kwargs: api_response({
+                "id": 920292, "nameRus": "13.04.2017", "nameKyr": "13.04.2017",
+                "contentRu": "<wrong edition>", "contentKg": None,
+            })
+
+            with self.assertRaisesRegex(SourceChanged, "metadata mismatch"):
+                stage_document(output, "6", client)
+
+            self.assertFalse((output / "documents/6").exists())
+
+    def test_recovers_atomic_publish_before_manifest_checkpoint(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            output = Path(temporary) / "generation"
+
+            class Client:
+                def document(self, _alias):
+                    return document_record(editions=[{"id": 920492, "textRusType": "docx", "textKyrType": "docx"}])
+
+                def edition(self, identifier, language):
+                    return api_response({"id": identifier, "contentRu": f"<{language}>", "contentKg": None})
+
+            client = Client()
+            first = stage_document(output, "6", client)
+            with sqlite3.connect(output / "current-api.sqlite3") as connection:
+                connection.execute("UPDATE documents SET state='fetching' WHERE alias='6'")
+            with sqlite3.connect(output / "manifest.sqlite3") as connection:
+                connection.execute("DELETE FROM documents WHERE code=6")
+                connection.execute("DELETE FROM errors WHERE code=6")
+
+            resumed = stage_document(output, "6", client, resume=True)
+
+            self.assertEqual(resumed["source_sha256"], first["source_sha256"])
+            self.assertTrue(resumed["resumed"])
+            with sqlite3.connect(output / "manifest.sqlite3") as connection:
+                self.assertEqual(connection.execute("SELECT COUNT(*) FROM documents WHERE code=6").fetchone()[0], 1)
+                self.assertEqual(connection.execute("SELECT COUNT(*) FROM errors WHERE code=6").fetchone()[0], 1)
+
+    def test_retries_after_document_metadata_request_failed_before_checkpoint(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            output = Path(temporary) / "generation"
+
+            class Client:
+                failed = False
+
+                def document(self, _alias):
+                    if not self.failed:
+                        self.failed = True
+                        raise SourceError("temporary DNS failure")
+                    return document_record(editions=[])
+
+            client = Client()
+            with self.assertRaisesRegex(SourceError, "DNS"):
+                stage_document(output, "6", client)
+
+            result = stage_document(output, "6", client, resume=True)
+
+            self.assertEqual(result["canonical_id"], 6)
+            with sqlite3.connect(output / "current-api.sqlite3") as connection:
+                row = connection.execute(
+                    "SELECT canonical_id, response_sha256, expected_editions FROM documents WHERE alias='6'"
+                ).fetchone()
+                self.assertEqual(row, (6, document_record(editions=[]).sha256, 0))
+
+    def test_does_not_resume_generation_without_exact_request_contract(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            output = Path(temporary) / "legacy-generation"
+            output.mkdir(mode=0o700)
+            sentinel = output / "old-response.json"
+            sentinel.write_text("preserve", encoding="utf-8")
+            client = Mock()
+
+            with self.assertRaisesRegex(SourceChanged, "no exact-edition request contract"):
+                stage_document(output, "6", client, resume=True)
+
+            client.document.assert_not_called()
+            self.assertEqual(sentinel.read_text(encoding="utf-8"), "preserve")
+
+    def test_incomplete_translation_resumes_without_rewriting_successful_language(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            output = Path(temporary) / "generation"
+
+            class Client:
+                failed = False
+
+                def document(self, _alias):
+                    return document_record(editions=[{"id": 920492, "textRusType": "docx", "textKyrType": "docx"}])
+
+                def edition(self, identifier, language):
+                    if language == "kg" and not self.failed:
+                        self.failed = True
+                        raise SourceError("simulated interrupted response")
+                    return api_response({"id": identifier, "contentRu": f"<{language}>", "contentKg": None})
+
+            client = Client()
+            first = stage_document(output, "6", client)
+            self.assertIn("incomplete", first)
+            self.assertFalse((output / "documents/6").exists())
+            second = stage_document(output, "6", client, resume=True)
+            self.assertEqual(second["state"], "text_complete_incomplete_attachments")
+            self.assertEqual((output / "documents/6/editions/920492/ru.html").read_text(), "<ru>")
+            self.assertEqual((output / "documents/6/editions/920492/ky.html").read_text(), "<kg>")
+            self.assertEqual(client.failed, True)
+
+    def test_refuses_budget_overrun_without_publishing_partial_document(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            output = Path(temporary) / "generation"
+
+            class Client:
+                def document(self, _alias):
+                    return document_record(editions=[{"id": 920492, "textRusType": "docx", "textKyrType": "docx"}])
+
+                def edition(self, identifier, _language):
+                    return api_response({"id": identifier, "contentRu": "123456", "contentKg": None})
+
+            with self.assertRaisesRegex(SourceError, "budget"):
+                stage_document(output, "6", Client(), max_document_bytes=5)
+            self.assertFalse((output / "documents/6").exists())
+
+
+if __name__ == "__main__":
+    unittest.main()

backend/test_minjust_normalization.py

@@ -0,0 +1,193 @@
+import json
+import os
+import sqlite3
+import tempfile
+import unittest
+from pathlib import Path
+
+from normalization.minjust_cbd import normalize_archive
+
+
+class MinjustNormalizationTest(unittest.TestCase):
+    def write_json(self, path: Path, value: object) -> None:
+        path.parent.mkdir(parents=True, exist_ok=True)
+        path.write_text(json.dumps(value, ensure_ascii=False), encoding="utf-8")
+
+    def edition(self, root: Path, code: int, languages: dict[str, str]) -> None:
+        directory = root / "editions" / str(code)
+        self.write_json(
+            directory / "metadata.json",
+            {"Code": code, "Name": {"Rus": "Редакция", "Kyr": "Редакция"}, "Type": "edition", "Images": []},
+        )
+        for language, content in languages.items():
+            (directory / f"{language}.html").write_text(content, encoding="utf-8")
+
+    def document(self, root: Path, code: int = 1) -> Path:
+        directory = root / "documents" / str(code)
+        self.write_json(
+            directory / "metadata.json",
+            {
+                "Code": code,
+                "Class": {"Rus": "Акты", "Kyr": "Актылар"},
+                "Type": {"Rus": "Закон", "Kyr": "Мыйзам"},
+                "Title": {"Rus": " ", "Kyr": None},
+                "Name": {"Rus": "Документ", "Kyr": "Документ"},
+                "Status": {"Rus": "Действует", "Kyr": "Күчүндө"},
+                "Number": "1",
+                "DateAdopted": "2026-01-01",
+                "IsPublicInCdb": True,
+                "IsPublicInRegister": True,
+                "Authorities": [],
+                "SourcePublications": [],
+                "Keywords": [],
+                "GeneralClassifiers": [],
+                "References": [],
+            },
+        )
+        return directory
+
+    def test_languages_safety_empty_document_and_deterministic_fragments(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            base = Path(temporary)
+            source = base / "source"
+            output = base / "normalized"
+            document = self.document(source)
+            self.edition(
+                document,
+                10,
+                {
+                    "ru": '<meta charset=unicode><style>x</style><p style="color:red">Статья 1 Закон<script>bad()</script></p><a href="javascript:bad">ссылка</a><a href="http://[">сломанная ссылка</a><img src="http://[">',
+                },
+            )
+            self.edition(document, 20, {"ky": "<p>1. Кыргызча жобо</p>"})
+            self.edition(document, 30, {"ru": "<p>Русский</p>", "ky": "<p>Кыргызча</p>"})
+            self.edition(document, 40, {})
+
+            first = normalize_archive(source, output)
+            fragments_path = output / "documents/1/editions/10/ru/fragments.json"
+            fragments = fragments_path.read_bytes()
+            second = normalize_archive(source, output)
+
+            self.assertEqual((first.normalized, second.skipped), (1, 1))
+            self.assertEqual(fragments, fragments_path.read_bytes())
+            safe_html = (output / "documents/1/editions/10/ru/content.html").read_text(encoding="utf-8")
+            self.assertNotIn("script", safe_html)
+            self.assertNotIn("style=", safe_html)
+            self.assertNotIn("javascript:", safe_html)
+            self.assertNotIn("http://[", safe_html)
+            self.assertIn("Статья 1 Закон", safe_html)
+            parsed = json.loads(fragments)
+            self.assertEqual(parsed[0]["type"], "article")
+            self.assertEqual(parsed[0]["id"], "document:1:edition:10:lang:ru:fragment:1")
+            self.assertEqual(len(parsed[0]["text_sha256"]), 64)
+            canonical = json.loads((output / "documents/1/document.json").read_text(encoding="utf-8"))
+            self.assertEqual(canonical["available_languages"], ["ru", "ky"])
+            self.assertIsNone(canonical["title"]["ru"])
+            empty = json.loads((output / "documents/1/editions/40/edition.json").read_text(encoding="utf-8"))
+            self.assertFalse(empty["quality"]["has_html"])
+
+    def test_preserves_official_edition_order_instead_of_sorting_ids(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            base = Path(temporary)
+            source = base / "source"
+            output = base / "normalized"
+            document = self.document(source, 6)
+            self.edition(document, 920492, {"ru": "<p>Первая редакция</p>"})
+            self.edition(document, 920292, {"ru": "<p>Последняя редакция</p>"})
+            for code, order in ((920492, 0), (920292, 1)):
+                metadata_path = document / "editions" / str(code) / "metadata.json"
+                metadata = json.loads(metadata_path.read_text(encoding="utf-8"))
+                metadata["SourceOrder"] = order
+                metadata_path.write_text(json.dumps(metadata, ensure_ascii=False), encoding="utf-8")
+
+            normalize_archive(source, output)
+            normalized = json.loads((output / "documents/6/document.json").read_text(encoding="utf-8"))
+
+            self.assertEqual([item["source_code"] for item in normalized["editions"]], ["920492", "920292"])
+            self.assertEqual([item["source_order"] for item in normalized["editions"]], [0, 1])
+
+    def test_rejects_partial_source_edition_order(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            base = Path(temporary)
+            source = base / "source"
+            output = base / "normalized"
+            document = self.document(source, 6)
+            self.edition(document, 10, {"ru": "<p>Один</p>"})
+            self.edition(document, 20, {"ru": "<p>Два</p>"})
+            metadata_path = document / "editions/10/metadata.json"
+            metadata = json.loads(metadata_path.read_text(encoding="utf-8"))
+            metadata["SourceOrder"] = 0
+            metadata_path.write_text(json.dumps(metadata), encoding="utf-8")
+
+            with self.assertLogs("normalization.minjust_cbd", level="ERROR"):
+                result = normalize_archive(source, output)
+
+            self.assertEqual((result.failed, result.normalized), (1, 0))
+            with sqlite3.connect(output / "manifest.sqlite3") as connection:
+                error = connection.execute("SELECT error FROM documents WHERE code='6'").fetchone()[0]
+            self.assertIn("Invalid source edition order", error)
+
+    def test_continues_after_bad_document_and_clears_repaired_error(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            base = Path(temporary)
+            source = base / "source"
+            output = base / "normalized"
+            bad = source / "documents/1"
+            bad.mkdir(parents=True)
+            (bad / "metadata.json").write_text("not json", encoding="utf-8")
+            good = self.document(source, 2)
+            self.edition(good, 10, {"ky": "<p>Берене 1 Текст</p>"})
+
+            with self.assertLogs("normalization.minjust_cbd", level="ERROR"):
+                failed = normalize_archive(source, output)
+            with sqlite3.connect(output / "manifest.sqlite3") as connection:
+                state, failed_at = connection.execute(
+                    "SELECT state, failed_at FROM documents WHERE code='1'"
+                ).fetchone()
+                self.assertEqual(state, "error")
+                self.assertIsNotNone(failed_at)
+            self.write_json(bad / "metadata.json", {"Code": 1, "Name": {"Rus": "Исправлен", "Kyr": None}})
+            repaired = normalize_archive(source, output)
+
+            self.assertEqual((failed.failed, failed.normalized), (1, 1))
+            self.assertEqual((repaired.normalized, repaired.skipped, repaired.failed), (1, 1, 0))
+            with sqlite3.connect(output / "manifest.sqlite3") as connection:
+                self.assertEqual(
+                    connection.execute(
+                        "SELECT state, error, failed_at FROM documents WHERE code='1'"
+                    ).fetchone(),
+                    ("success", None, None),
+                )
+
+    def test_rejects_overlapping_input_and_output(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            source = Path(temporary) / "source"
+            metadata = self.document(source) / "metadata.json"
+            original = metadata.read_bytes()
+
+            for output in (source, source / "normalized", source.parent):
+                with self.subTest(output=output):
+                    with self.assertRaisesRegex(ValueError, "must not overlap"):
+                        normalize_archive(source, output)
+                    self.assertEqual(metadata.read_bytes(), original)
+
+    def test_recovers_interrupted_directory_publication_before_skip(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            base = Path(temporary)
+            source = base / "source"
+            output = base / "normalized"
+            self.document(source)
+            first = normalize_archive(source, output)
+            target = output / "documents/1"
+            backup = output / "documents/.1.previous"
+            os.replace(target, backup)
+
+            second = normalize_archive(source, output)
+
+            self.assertEqual((first.normalized, second.skipped), (1, 1))
+            self.assertTrue((target / "document.json").is_file())
+            self.assertFalse(backup.exists())
+
+
+if __name__ == "__main__":
+    unittest.main()

backend/test_minjust_opensearch.py

@@ -0,0 +1,610 @@
+import hashlib
+import io
+import json
+import sqlite3
+import tempfile
+import unittest
+import urllib.error
+from contextlib import closing
+from pathlib import Path
+from unittest.mock import patch
+
+from search.catalog import legal_force_code, labels, source_code
+from search.minjust_opensearch import bulk_batches, document_codes, export_bulk, load_bulk, request_json, switch_alias
+
+
+class MinjustOpenSearchTest(unittest.TestCase):
+    def test_unknown_document_type_keeps_source_label_and_has_no_inferred_force(self):
+        value = {"ru": "Решение", "ky": "Решение"}
+
+        self.assertEqual(source_code("document_type", value), "other")
+        self.assertEqual(labels("document_type", "other"), {"ru": "Прочие документы", "ky": "Башка документтер"})
+        self.assertIsNone(legal_force_code(value))
+        self.assertEqual(source_code("status", {"ru": "Не вступил в силу", "ky": "Күчүнө кире элек"}), "not_yet_effective")
+        self.assertEqual(legal_force_code({"ru": "Конституционный закон", "ky": "Конституционный закон"}), "constitutional")
+        self.assertEqual(legal_force_code({"ru": "Указ", "ky": "Жарлыгы"}), "subordinate")
+        self.assertEqual(source_code("document_type", {"ru": "устав"}), "charter")
+
+    def test_export_marks_last_official_edition_current_even_when_ids_are_out_of_order(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            root = Path(temporary)
+            input_root = root / "normalized"
+            document_root = input_root / "documents/6"
+            document_root.mkdir(parents=True)
+            with closing(sqlite3.connect(input_root / "manifest.sqlite3")) as connection:
+                with connection:
+                    connection.execute("CREATE TABLE documents (code TEXT, state TEXT)")
+                    connection.execute("INSERT INTO documents VALUES ('6', 'success')")
+            (document_root / "document.json").write_text(
+                json.dumps({"schema_version": "1", "source_code": "6", "editions": [
+                    {"source_code": "920492", "source_order": 0},
+                    {"source_code": "920292", "source_order": 1},
+                ]}),
+                encoding="utf-8",
+            )
+            for edition in ("920292", "920492"):
+                text = f"Текст {edition}"
+                fragment_path = document_root / f"editions/{edition}/ru/fragments.json"
+                fragment_path.parent.mkdir(parents=True)
+                fragment_path.write_text(json.dumps([{
+                    "id": f"document:6:edition:{edition}:lang:ru:fragment:1",
+                    "document_code": "6",
+                    "edition_code": edition,
+                    "language": "ru",
+                    "position": 1,
+                    "type": "paragraph",
+                    "text": text,
+                    "text_sha256": hashlib.sha256(text.encode()).hexdigest(),
+                    "source_path": f"documents/6/editions/{edition}/ru.html",
+                    "source_sha256": "b" * 64,
+                }]), encoding="utf-8")
+
+            output = root / "bulk.ndjson"
+            self.assertEqual(export_bulk(input_root, output, "test-index"), (1, 2))
+            lines = [json.loads(line) for line in output.read_text(encoding="utf-8").splitlines()]
+            flags = {
+                lines[index]["index"]["_id"].split(":")[3]: lines[index + 1]["is_current_edition"]
+                for index in range(0, len(lines), 2)
+            }
+
+            self.assertEqual(flags, {"920292": True, "920492": False})
+
+    def test_switches_alias_atomically_after_successful_load(self):
+        with patch("search.minjust_opensearch.request_json", side_effect=[
+            {"akyldash-fragments-v1": {"aliases": {"akyldash-fragments-current": {}}}},
+            {"acknowledged": True},
+        ]) as request:
+            switch_alias(
+                "http://127.0.0.1:9200/", "akyldash-fragments-v2",
+                "akyldash-fragments-current", "akyldash-fragments-v1",
+            )
+
+        self.assertEqual(request.call_args_list[1].args[:2], ("http://127.0.0.1:9200/_aliases", "POST"))
+        body = json.loads(request.call_args_list[1].args[2])
+        self.assertEqual(body["actions"][0], {"remove": {"index": "akyldash-fragments-v1", "alias": "akyldash-fragments-current", "must_exist": True}})
+        self.assertEqual(body["actions"][1], {"add": {"index": "akyldash-fragments-v2", "alias": "akyldash-fragments-current"}})
+
+        with self.assertRaisesRegex(ValueError, "differ"):
+            switch_alias("http://127.0.0.1:9200", "same", "same", "old")
+        with self.assertRaisesRegex(ValueError, "differ"):
+            switch_alias("http://127.0.0.1:9200", "index", "", "old")
+        with patch("search.minjust_opensearch.request_json", return_value={
+            "akyldash-fragments-v3": {"aliases": {"alias": {}}}
+        }) as request:
+            with self.assertRaisesRegex(ValueError, "currently targets"):
+                switch_alias("http://127.0.0.1:9200", "new", "alias", "akyldash-fragments-v1")
+        request.assert_called_once()
+        with patch("search.minjust_opensearch.request_json", side_effect=[
+            {"old": {"aliases": {"alias": {}}}}, {"acknowledged": False},
+            {"old": {"aliases": {"alias": {}}}},
+        ]):
+            with self.assertRaisesRegex(RuntimeError, "did not acknowledge"):
+                switch_alias("http://127.0.0.1:9200", "index", "alias", "old")
+
+    def test_switch_alias_recovers_when_post_succeeds_but_response_is_lost(self):
+        with patch("search.minjust_opensearch.request_json", side_effect=[
+            {"old": {"aliases": {"alias": {}}}},
+            RuntimeError("response lost after OpenSearch applied request"),
+            {"candidate": {"aliases": {"alias": {}}}},
+        ]) as request:
+            switch_alias("http://os:9200", "candidate", "alias", "old")
+        self.assertEqual(request.call_count, 3)
+        self.assertEqual(request.call_args_list[1].args[1], "POST")
+        self.assertEqual(request.call_args_list[2].args[1], "GET")
+
+    def test_switch_alias_is_idempotent_after_process_stops_before_checkpoint(self):
+        with patch("search.minjust_opensearch.request_json", return_value={
+            "candidate": {"aliases": {"alias": {}}}
+        }) as request:
+            switch_alias("http://os:9200", "candidate", "alias", "old")
+        request.assert_called_once()
+
+    def test_switch_alias_refuses_to_retry_after_unexpected_target(self):
+        with patch("search.minjust_opensearch.request_json", side_effect=[
+            {"old": {"aliases": {"alias": {}}}},
+            RuntimeError("response lost"),
+            {"other": {"aliases": {"alias": {}}}},
+        ]):
+            with self.assertRaisesRegex(ValueError, "unexpected index"):
+                switch_alias("http://os:9200", "candidate", "alias", "old")
+
+    def test_resume_completes_checkpoint_when_alias_switched_before_previous_process_stopped(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            root = Path(temporary)
+            input_root = root / "normalized"
+            document_root = input_root / "documents/1"
+            document_root.mkdir(parents=True)
+            with closing(sqlite3.connect(input_root / "manifest.sqlite3")) as connection:
+                with connection:
+                    connection.execute("CREATE TABLE documents (code TEXT, state TEXT)")
+                    connection.execute("INSERT INTO documents VALUES ('1', 'success')")
+            (document_root / "document.json").write_text(
+                json.dumps({"schema_version": "1", "source_code": "1", "editions": [
+                    {"source_code": "1", "source_order": 0},
+                ]}),
+                encoding="utf-8",
+            )
+            text = "текст закона"
+            fragment = document_root / "editions/1/ru/fragments.json"
+            fragment.parent.mkdir(parents=True)
+            fragment.write_text(json.dumps([{
+                "id": "document:1:edition:1:lang:ru:fragment:1",
+                "document_code": "1", "edition_code": "1", "language": "ru", "position": 1,
+                "type": "paragraph", "text": text,
+                "text_sha256": hashlib.sha256(text.encode()).hexdigest(),
+                "source_path": "documents/1/editions/1/ru.html", "source_sha256": "b" * 64,
+            }]), encoding="utf-8")
+            checkpoint = root / "checkpoint.json"
+            state = {
+                "schema_version": 2,
+                "url": "http://os:9200",
+                "cluster_uuid": "cluster",
+                "index": "candidate",
+                "index_uuid": "index-uuid",
+                "input": str(input_root.resolve()),
+                "manifest_sha256": hashlib.sha256((input_root / "manifest.sqlite3").read_bytes()).hexdigest(),
+                "limit": None,
+                "alias": "current",
+                "last_document_code": "1",
+                "complete": False,
+            }
+            checkpoint.write_text(json.dumps(state), encoding="utf-8")
+
+            with (
+                patch("search.minjust_opensearch.request_json", side_effect=[
+                    {"cluster_uuid": "cluster"},
+                    {"candidate": {"settings": {"index": {"uuid": "index-uuid"}}}},
+                    {"errors": False, "items": [{"index": {}}]},
+                    {"candidate": {"aliases": {"current": {}}}},
+                ]) as request,
+                patch("search.minjust_opensearch.validate_candidate_index") as validate_candidate,
+            ):
+                self.assertEqual(
+                    load_bulk(
+                        input_root, "http://os:9200", "candidate", resume=True, checkpoint=checkpoint,
+                        alias="current", expected_old_index="previous", canary_ru="закон", canary_ky="мыйзам",
+                    ),
+                    (1, 1),
+                )
+            self.assertTrue(json.loads(checkpoint.read_text(encoding="utf-8"))["complete"])
+            self.assertEqual(request.call_args_list[-1].args[1], "GET")
+            validate_candidate.assert_called_once_with("http://os:9200", "candidate", 1, "закон", "мыйзам")
+
+    def test_zero_fragment_candidate_never_reaches_alias_switch(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            root = Path(temporary) / "normalized"
+            document = root / "documents/1"
+            document.mkdir(parents=True)
+            with closing(sqlite3.connect(root / "manifest.sqlite3")) as connection:
+                connection.execute("CREATE TABLE documents (code TEXT, state TEXT)")
+                connection.execute("INSERT INTO documents VALUES ('1', 'success')")
+            (document / "document.json").write_text(
+                json.dumps({"source_code": "1", "editions": []}), encoding="utf-8"
+            )
+            with (
+                patch("search.minjust_opensearch.request_json", side_effect=[
+                    {}, {"cluster_uuid": "cluster"},
+                    {"test-index": {"settings": {"index": {"uuid": "index"}}}},
+                ]) as request,
+                patch("search.minjust_opensearch.validate_candidate_index") as validate_candidate,
+                patch("search.minjust_opensearch.switch_alias") as switch,
+            ):
+                with self.assertRaisesRegex(ValueError, "empty expected fragment inventory"):
+                    load_bulk(
+                        root, "http://127.0.0.1:9200", "test-index",
+                        checkpoint=Path(temporary) / "checkpoint.json", alias="current",
+                        expected_old_index="old-index", canary_ru="закон", canary_ky="мыйзам",
+                    )
+            self.assertEqual(request.call_count, 3)
+            validate_candidate.assert_not_called()
+            switch.assert_not_called()
+
+    def test_candidate_index_requires_exact_count_and_both_language_canaries(self):
+        from search.minjust_opensearch import validate_candidate_index
+
+        with patch("search.minjust_opensearch.request_json", side_effect=[
+            {"_shards": {"failed": 0}},
+            {"count": 2},
+            {"hits": {"hits": [{"_source": {"text_ru": "тест"}}]}},
+            {"hits": {"hits": [{"_source": {"text_ky": "сыноо"}}]}},
+        ]) as request:
+            validate_candidate_index("http://os:9200", "candidate", 2, "тест", "сыноо")
+        self.assertEqual(request.call_count, 4)
+        with patch("search.minjust_opensearch.request_json", side_effect=[
+            {"_shards": {"failed": 0}}, {"count": 1}
+        ]):
+            with self.assertRaisesRegex(RuntimeError, "expected 2"):
+                validate_candidate_index("http://os:9200", "candidate", 2, "тест", "сыноо")
+        with patch("search.minjust_opensearch.request_json", side_effect=[
+            {"_shards": {"failed": 0}}, {"count": 2},
+            {"hits": {"hits": [{"_source": {"text_ru": "тест"}}]}},
+            {"hits": {"hits": []}},
+        ]):
+            with self.assertRaisesRegex(RuntimeError, "ky canary"):
+                validate_candidate_index("http://os:9200", "candidate", 2, "тест", "сыноо")
+
+    def test_exports_atomic_bulk_and_rejects_mismatched_fragment(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            root = Path(temporary)
+            document_root = root / "normalized/documents/7"
+            document_root.mkdir(parents=True)
+            with closing(sqlite3.connect(root / "normalized/manifest.sqlite3")) as connection:
+                with connection:
+                    connection.execute("CREATE TABLE documents (code TEXT, state TEXT)")
+                    connection.execute("INSERT INTO documents VALUES ('7', 'success')")
+                    connection.execute("INSERT INTO documents VALUES ('8', 'success')")
+            (document_root / "document.json").write_text(
+                json.dumps(
+                    {
+                        "schema_version": "1",
+                        "source_code": "7",
+                        "name": {"ru": "Закон", "ky": "Мыйзам"},
+                        "type": {"ru": "Закон", "ky": "Мыйзам"},
+                        "status": {"ru": "Действует", "ky": "Күчүндө"},
+                        "number": "1",
+                        "dates": {"DateAdopted": "2026-01-01"},
+                        "authority_paths": [{"ru": ["Кабинет"], "ky": ["Кабинет"]}],
+                    },
+                    ensure_ascii=False,
+                ),
+                encoding="utf-8",
+            )
+            empty = root / "normalized/documents/8"
+            empty.mkdir()
+            (empty / "document.json").write_text(
+                json.dumps({"schema_version": "1", "source_code": "8"}), encoding="utf-8"
+            )
+            for language, text in (("ru", "Текст \"RU\"\nстрока"), ("ky", "Кыргызча текст")):
+                path = document_root / f"editions/10/{language}/fragments.json"
+                path.parent.mkdir(parents=True)
+                path.write_text(
+                    json.dumps(
+                        [{
+                            "id": f"document:7:edition:10:lang:{language}:fragment:1",
+                            "document_code": "7",
+                            "edition_code": "10",
+                            "language": language,
+                            "position": 1,
+                            "type": "paragraph",
+                            "text": text,
+                            "text_sha256": hashlib.sha256(text.encode()).hexdigest(),
+                            "source_path": f"documents/7/editions/10/{language}.html",
+                            "source_sha256": "b" * 64,
+                        }],
+                        ensure_ascii=False,
+                    ),
+                    encoding="utf-8",
+                )
+
+            output = root / "bulk.ndjson"
+            self.assertEqual(export_bulk(root / "normalized", output, "test-index"), (2, 2))
+            content = output.read_bytes()
+            self.assertTrue(content.endswith(b"\n"))
+            lines = [json.loads(line) for line in content.splitlines()]
+            self.assertEqual(len(lines), 4)
+            self.assertEqual(lines[0]["index"]["_id"], "document:7:edition:10:lang:ky:fragment:1")
+            self.assertIn("text_ky", lines[1])
+            self.assertTrue(lines[1]["is_current_edition"])
+            self.assertNotIn("text_ru", lines[1])
+            self.assertEqual(lines[1]["legal_force_code"], "legislative")
+            self.assertEqual(lines[3]["text_ru"], "Текст \"RU\"\nстрока")
+            self.assertEqual(
+                list(bulk_batches(iter((("7", b"a\nb\n"), ("8", b"c\nd\n"))), 4)),
+                [("7", b"a\nb\n"), ("8", b"c\nd\n")],
+            )
+            self.assertEqual(document_codes(root / "normalized", 2, "8"), ["8"])
+            with self.assertRaisesRegex(ValueError, "selected range"):
+                document_codes(root / "normalized", 1, "8")
+
+            checkpoint = root / "checkpoint.json"
+            with (
+                patch("search.minjust_opensearch.request_json") as request,
+                patch("search.minjust_opensearch.validate_candidate_index") as validate_candidate,
+                patch("search.minjust_opensearch.switch_alias") as switch,
+            ):
+                request.side_effect = [
+                    {},
+                    {"cluster_uuid": "cluster-1"},
+                    {"test-index": {"settings": {"index": {"uuid": "index-1"}}}},
+                    {"errors": False, "items": [{"index": {}}, {"index": {}}]},
+                ]
+                self.assertEqual(
+                    load_bulk(
+                        root / "normalized",
+                        "http://127.0.0.1:9200",
+                        "test-index",
+                        maximum_bytes=4096,
+                        checkpoint=checkpoint,
+                        alias="test-current",
+                        expected_old_index="test-index-old",
+                        canary_ru="закон",
+                        canary_ky="мыйзам",
+                    ),
+                    (2, 2),
+                )
+                self.assertEqual(request.call_args_list[-1].args[3], "application/x-ndjson")
+                validate_candidate.assert_called_once_with(
+                    "http://127.0.0.1:9200", "test-index", 2, "закон", "мыйзам"
+                )
+                switch.assert_called_once_with(
+                    "http://127.0.0.1:9200", "test-index", "test-current", "test-index-old"
+                )
+            state = json.loads(checkpoint.read_text(encoding="utf-8"))
+            self.assertEqual(state["last_document_code"], "7")
+            self.assertTrue(state["complete"])
+
+            legacy = state.copy()
+            legacy.pop("alias")
+            legacy["schema_version"] = 1
+            legacy["last_document_code"] = "8"
+            legacy["complete"] = False
+            checkpoint.write_text(json.dumps(legacy), encoding="utf-8")
+            with (
+                patch("search.minjust_opensearch.request_json") as request,
+                patch("search.minjust_opensearch.validate_candidate_index") as validate_candidate,
+                patch("search.minjust_opensearch.switch_alias"),
+            ):
+                request.side_effect = [
+                    {"cluster_uuid": "cluster-1"},
+                    {"test-index": {"settings": {"index": {"uuid": "index-1"}}}},
+                ]
+                self.assertEqual(
+                    load_bulk(
+                        root / "normalized",
+                        "http://127.0.0.1:9200",
+                        "test-index",
+                        maximum_bytes=4096,
+                        resume=True,
+                        checkpoint=checkpoint,
+                    ),
+                    (1, 0),
+                )
+            self.assertEqual(json.loads(checkpoint.read_text(encoding="utf-8"))["schema_version"], 2)
+
+            state["last_document_code"] = "8"
+            state["complete"] = False
+            checkpoint.write_text(json.dumps(state), encoding="utf-8")
+            with patch("search.minjust_opensearch.request_json") as request:
+                request.side_effect = [
+                    {"cluster_uuid": "cluster-2"},
+                    {"test-index": {"settings": {"index": {"uuid": "index-1"}}}},
+                ]
+                with self.assertRaisesRegex(ValueError, "does not match"):
+                    load_bulk(
+                        root / "normalized",
+                        "http://127.0.0.1:9200",
+                        "test-index",
+                        maximum_bytes=4096,
+                        resume=True,
+                        checkpoint=checkpoint,
+                        alias="test-current",
+                        expected_old_index="test-index-old",
+                        canary_ru="закон",
+                        canary_ky="мыйзам",
+                    )
+            with patch("search.minjust_opensearch.request_json") as request:
+                request.side_effect = [
+                    {"cluster_uuid": "cluster-1"},
+                    {"test-index": {"settings": {"index": {"uuid": "index-1"}}}},
+                ]
+                with self.assertRaisesRegex(ValueError, "alias"):
+                    load_bulk(
+                        root / "normalized",
+                        "http://127.0.0.1:9200",
+                        "test-index",
+                        maximum_bytes=4096,
+                        resume=True,
+                        checkpoint=checkpoint,
+                    )
+            with patch("search.minjust_opensearch.request_json") as request:
+                request.side_effect = [
+                    {"cluster_uuid": "cluster-1"},
+                    {"test-index": {"settings": {"index": {"uuid": "index-1"}}}},
+                ]
+                with self.assertRaisesRegex(ValueError, "limit"):
+                    load_bulk(
+                        root / "normalized",
+                        "http://127.0.0.1:9200",
+                        "test-index",
+                        maximum_bytes=4096,
+                        limit=1,
+                        resume=True,
+                        checkpoint=checkpoint,
+                        alias="test-current",
+                        expected_old_index="test-index-old",
+                        canary_ru="закон",
+                        canary_ky="мыйзам",
+                    )
+            with (
+                patch("search.minjust_opensearch.request_json") as request,
+                patch("search.minjust_opensearch.validate_candidate_index") as validate_candidate,
+                patch("search.minjust_opensearch.switch_alias"),
+            ):
+                request.side_effect = [
+                    {"cluster_uuid": "cluster-1"},
+                    {"test-index": {"settings": {"index": {"uuid": "index-1"}}}},
+                ]
+                self.assertEqual(
+                    load_bulk(
+                        root / "normalized",
+                        "http://127.0.0.1:9200",
+                        "test-index",
+                        maximum_bytes=4096,
+                        resume=True,
+                        checkpoint=checkpoint,
+                        alias="test-current",
+                        expected_old_index="test-index-old",
+                        canary_ru="закон",
+                        canary_ky="мыйзам",
+                    ),
+                    (1, 0),
+                )
+                self.assertTrue(all(call.args[1] == "GET" for call in request.call_args_list))
+                validate_candidate.assert_called_once_with(
+                    "http://127.0.0.1:9200", "test-index", 2, "закон", "мыйзам"
+                )
+
+            state["last_document_code"] = "9"
+            state["complete"] = False
+            checkpoint.write_text(json.dumps(state), encoding="utf-8")
+            with patch("search.minjust_opensearch.request_json") as request:
+                request.side_effect = [
+                    {"cluster_uuid": "cluster-1"},
+                    {"test-index": {"settings": {"index": {"uuid": "index-1"}}}},
+                ]
+                with self.assertRaisesRegex(ValueError, "Resume document not found"):
+                    load_bulk(
+                        root / "normalized",
+                        "http://127.0.0.1:9200",
+                        "test-index",
+                        maximum_bytes=4096,
+                        resume=True,
+                        checkpoint=checkpoint,
+                        alias="test-current",
+                        expected_old_index="test-index-old",
+                        canary_ru="закон",
+                        canary_ky="мыйзам",
+                    )
+
+            failed_checkpoint = root / "failed-checkpoint.json"
+            failure = {
+                "errors": True,
+                "items": [{"index": {"_id": "bad-id", "error": {"type": "mapper", "reason": "bad value"}}}],
+            }
+            failed_requests = [
+                {},
+                {"cluster_uuid": "cluster-1"},
+                {"failed-index": {"settings": {"index": {"uuid": "index-2"}}}},
+                failure,
+            ]
+            with patch("search.minjust_opensearch.request_json", side_effect=failed_requests):
+                with self.assertRaisesRegex(RuntimeError, "bad-id: mapper: bad value"):
+                    load_bulk(
+                        root / "normalized",
+                        "http://127.0.0.1:9200",
+                        "failed-index",
+                        maximum_bytes=4096,
+                        checkpoint=failed_checkpoint,
+                    )
+            failed_state = json.loads(failed_checkpoint.read_text(encoding="utf-8"))
+            self.assertIsNone(failed_state["last_document_code"])
+            self.assertFalse(failed_state["complete"])
+
+            state["last_document_code"] = "8"
+            state["complete"] = False
+            checkpoint.write_text(json.dumps(state), encoding="utf-8")
+            with closing(sqlite3.connect(root / "normalized/manifest.sqlite3")) as connection:
+                with connection:
+                    connection.execute("INSERT INTO documents VALUES ('9', 'success')")
+            with patch("search.minjust_opensearch.request_json") as request:
+                request.side_effect = [
+                    {"cluster_uuid": "cluster-1"},
+                    {"test-index": {"settings": {"index": {"uuid": "index-1"}}}},
+                ]
+                with self.assertRaisesRegex(ValueError, "manifest changed"):
+                    load_bulk(
+                        root / "normalized",
+                        "http://127.0.0.1:9200",
+                        "test-index",
+                        maximum_bytes=4096,
+                        resume=True,
+                        checkpoint=checkpoint,
+                        alias="test-current",
+                        expected_old_index="test-index-old",
+                        canary_ru="закон",
+                        canary_ky="мыйзам",
+                    )
+
+            http_error = urllib.error.HTTPError(
+                "http://127.0.0.1:9200/test",
+                429,
+                "busy",
+                {},
+                io.BytesIO(b"busy"),
+            )
+            with (
+                patch("search.minjust_opensearch.urllib.request.urlopen", side_effect=[http_error, io.BytesIO(b"{}")]),
+                patch("search.minjust_opensearch.time.sleep") as sleep,
+            ):
+                self.assertEqual(
+                    request_json("http://127.0.0.1:9200/test", "GET", None, "application/json", attempts=2),
+                    {},
+                )
+                sleep.assert_called_once_with(1)
+
+            with (
+                patch(
+                    "search.minjust_opensearch.urllib.request.urlopen",
+                    side_effect=[io.BytesIO(b"{"), io.BytesIO(b"{}")],
+                ),
+                patch("search.minjust_opensearch.time.sleep") as sleep,
+            ):
+                self.assertEqual(
+                    request_json(
+                        "http://127.0.0.1:9200/_bulk",
+                        "POST",
+                        b"{}\n{}\n",
+                        "application/x-ndjson",
+                        attempts=2,
+                        retry_invalid_json=True,
+                    ),
+                    {},
+                )
+                sleep.assert_called_once_with(1)
+
+            bad = document_root / "editions/10/ru/fragments.json"
+            fragments = json.loads(bad.read_text(encoding="utf-8"))
+            fragments[0]["document_code"] = "8"
+            bad.write_text(json.dumps(fragments, ensure_ascii=False), encoding="utf-8")
+            with self.assertRaisesRegex(ValueError, "identity"):
+                export_bulk(root / "normalized", output, "test-index")
+            self.assertEqual(output.read_bytes(), content)
+
+            fragments[0]["document_code"] = "7"
+            fragments[0]["text"] = "Повреждено"
+            bad.write_text(json.dumps(fragments, ensure_ascii=False), encoding="utf-8")
+            with self.assertRaisesRegex(ValueError, "checksum"):
+                export_bulk(root / "normalized", output, "test-index")
+            with self.assertRaisesRegex(ValueError, "inside --input"):
+                export_bulk(root / "normalized", root / "normalized/manifest.sqlite3", "test-index")
+            self.assertEqual(output.read_bytes(), content)
+
+            bad.write_text("", encoding="utf-8")
+            with self.assertRaisesRegex(ValueError, "fragments.json"):
+                export_bulk(root / "normalized", output, "test-index")
+            self.assertEqual(output.read_bytes(), content)
+
+            definition = json.loads(
+                (Path(__file__).parent / "search/minjust-fragments-index.json").read_text(encoding="utf-8")
+            )
+            mapping = definition["mappings"]
+            self.assertEqual(definition["settings"]["index"]["number_of_shards"], 1)
+            self.assertEqual(definition["settings"]["index"]["number_of_replicas"], 0)
+            self.assertEqual(mapping["dynamic"], "strict")
+            self.assertEqual(mapping["properties"]["position"]["type"], "integer")
+            self.assertEqual(mapping["properties"]["text_ru"]["analyzer"], "russian")
+            self.assertEqual(mapping["properties"]["text_ky"]["analyzer"], "icu_analyzer")
+
+
+if __name__ == "__main__":
+    unittest.main()

backend/test_search_api.py

@@ -0,0 +1,195 @@
+import json
+import contextlib
+import io
+import tempfile
+import unittest
+from pathlib import Path
+from unittest.mock import Mock, patch
+
+from search.api import Api, ApiError, handler
+
+
+class SearchApiTest(unittest.TestCase):
+    def make_api(self, root: Path) -> Api:
+        document = root / "documents/7"
+        edition = document / "editions/10"
+        edition.mkdir(parents=True)
+        (document / "document.json").write_text(json.dumps({
+            "source_code": "7", "available_languages": ["ru"],
+            "editions": [{"source_code": "10", "available_languages": ["ru"]},],
+        }), encoding="utf-8")
+        (edition / "edition.json").write_text(json.dumps({"source_code": "10", "available_languages": ["ru"]}), encoding="utf-8")
+        (edition / "ru").mkdir()
+        (edition / "ru/content.html").write_text("<p>Текст</p>", encoding="utf-8")
+        (edition / "ru/content.txt").write_text("Текст\n", encoding="utf-8")
+        return Api("http://opensearch:9200", "current", root)
+
+    def test_static_font_assets_are_allowlisted(self):
+        content_type, body = Api.static_asset("/static/fonts/noto-sans-cyrillic-ext.woff2")
+        self.assertEqual(content_type, "font/woff2")
+        self.assertTrue(body.startswith(b"wOF2"))
+        content_type, body = Api.static_asset("/static/favicon.svg")
+        self.assertEqual(content_type, "image/svg+xml")
+        self.assertIn(b"<svg", body)
+        content_type, body = Api.static_asset("/static/favicon-32.png")
+        self.assertEqual(content_type, "image/png")
+        self.assertTrue(body.startswith(b"\x89PNG\r\n\x1a\n"))
+        with self.assertRaisesRegex(ApiError, "static asset not found"):
+            Api.static_asset("/static/fonts/../../DESIGN.md")
+
+    def test_users_screen_is_served_without_exposing_admin_api(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            api = self.make_api(Path(temporary))
+            request_handler = handler(api)
+
+            def get(path):
+                request = request_handler.__new__(request_handler)
+                request.path = path
+                request.headers = {}
+                request.wfile = io.BytesIO()
+                request.send_response = Mock()
+                request.send_header = Mock()
+                request.end_headers = Mock()
+                request.do_GET()
+                return request
+
+            users_page = get("/users")
+            users_page.send_response.assert_called_once_with(200)
+            self.assertIn(b'id="users-page"', users_page.wfile.getvalue())
+            admin_api = get("/admin/users")
+            admin_api.send_response.assert_called_once_with(401)
+
+    def test_account_capability_matches_the_admin_users_api_guard(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            api = self.make_api(Path(temporary))
+            api.auth_store.create_admin("Fixture-only-admin-password-2026")
+            admin_token, _ = api.auth_store.login("admin", "Fixture-only-admin-password-2026")
+            api.auth_store.create_user("fixture-user", "Fixture-only-temporary-password-2026")
+            api.auth_store.change_password("fixture-user", "Fixture-only-temporary-password-2026", "Fixture-only-user-password-2026")
+            user_token, _ = api.auth_store.login("fixture-user", "Fixture-only-user-password-2026")
+            request_handler = handler(api)
+
+            def get(path, token):
+                request = request_handler.__new__(request_handler)
+                request.path = path
+                request.headers = {"Cookie": f"akyldash_session={token}"}
+                request.wfile = io.BytesIO()
+                request.send_response = Mock()
+                request.send_header = Mock()
+                request.end_headers = Mock()
+                request.do_GET()
+                return request
+
+            admin_account = json.loads(get("/auth/me", admin_token).wfile.getvalue())["account"]
+            user_account = json.loads(get("/auth/me", user_token).wfile.getvalue())["account"]
+            self.assertEqual((admin_account["role"], admin_account["can_manage_users"]), ("Администратор", True))
+            self.assertEqual((user_account["role"], user_account["can_manage_users"]), ("Пользователь", False))
+            get("/admin/users", admin_token).send_response.assert_called_once_with(200)
+            get("/admin/users", user_token).send_response.assert_called_once_with(403)
+
+    def test_search_pagination_filters_and_highlight(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            api = self.make_api(Path(temporary))
+            response = {"hits": {"hits": [{"_source": {"document_code": "7", "edition_code": "10", "document_name_ru": "Закон"}, "highlight": {"text_ru": ["<em>Закон</em>"]}}]}}
+            with patch("search.api.request_json", return_value=response) as request:
+                status, payload = api.handle("GET", "/search?q=%D0%B7%D0%B0%D0%BA%D0%BE%D0%BD&language=ru&page=2&page_size=5&status=active")
+            self.assertEqual(status, 200)
+            self.assertEqual(payload["results"][0]["snippet"], "Закон")
+            body = json.loads(request.call_args.args[2])
+            self.assertEqual((body["from"], body["size"]), (5, 6))
+            self.assertIn({"term": {"status_code": "active"}}, body["query"]["bool"]["filter"])
+            with self.assertRaisesRegex(ApiError, "within 10000 results"):
+                api.handle("GET", "/search?q=x&page=100&page_size=100")
+
+    def test_review_secret_file_is_read_without_command_line_value(self):
+        from search.api import main
+
+        with tempfile.TemporaryDirectory() as temporary:
+            secret_file = Path(temporary) / "secret"
+            secret_file.write_text("secret-value\n", encoding="utf-8")
+            with patch("sys.argv", ["search.api", "--review-secret-file", str(secret_file)]), patch("search.api.Api") as api, patch("search.api.ThreadingHTTPServer"):
+                main()
+            self.assertEqual(api.call_args.args[4], b"secret-value")
+
+    def test_review_secret_file_rejects_empty_content(self):
+        from search.api import main
+
+        with tempfile.TemporaryDirectory() as temporary:
+            secret_file = Path(temporary) / "secret"
+            secret_file.touch()
+            with patch("sys.argv", ["search.api", "--review-secret-file", str(secret_file)]), contextlib.redirect_stderr(io.StringIO()):
+                with self.assertRaises(SystemExit) as result:
+                    main()
+            self.assertEqual(result.exception.code, 2)
+
+    def test_production_api_uses_registration_intent_boosts(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            api = self.make_api(Path(temporary))
+            response = {"hits": {"hits": []}}
+            with patch("search.api.request_json", return_value=response) as request:
+                api.handle("GET", "/search?q=%D0%BA%D0%B0%D0%BA+%D0%BE%D1%82%D0%BA%D1%80%D1%8B%D1%82%D1%8C+%D0%9E%D1%81%D0%9E%D0%9E&language=ru")
+            body = json.loads(request.call_args.args[2])
+            planned = body["query"]["bool"]["must"]["bool"]
+            self.assertEqual(planned["minimum_should_match"], 1)
+            self.assertNotIn("filter", planned)
+            self.assertTrue(any("constant_score" in clause for clause in planned["should"]))
+            self.assertTrue(any("общество с ограниченной ответственностью" in clause.get("multi_match", {}).get("query", "") for clause in planned["should"]))
+
+    def test_production_api_boosts_tax_code_for_profit_tax_query(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            api = self.make_api(Path(temporary))
+            with patch("search.api.request_json", return_value={"hits": {"hits": []}}) as request:
+                api.handle("GET", "/search?q=%D0%BD%D0%B0%D0%BB%D0%BE%D0%B3+%D0%BD%D0%B0+%D0%BF%D1%80%D0%B8%D0%B1%D1%8B%D0%BB%D1%8C&language=ru")
+            body = json.loads(request.call_args.args[2])
+            planned = body["query"]["bool"]["must"]["bool"]
+            anchors = [clause["constant_score"]["filter"]["bool"]["filter"][0] for clause in planned["should"] if "constant_score" in clause]
+            self.assertIn({"term": {"document_code": "112340"}}, anchors)
+
+    def test_search_sorts_repealed_documents_after_other_statuses(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            api = self.make_api(Path(temporary))
+            with patch("search.api.request_json", return_value={"hits": {"hits": []}}) as request:
+                api.handle("GET", "/search?q=НДС+на+импорт&language=ru")
+                body = json.loads(request.call_args.args[2])
+                source = body["sort"][0]["_script"]["script"]["source"]
+                self.assertIn("'active' ? 0", source)
+                self.assertIn("'repealed' ? 2", source)
+                self.assertEqual(body["sort"][1], {"_score": "desc"})
+
+                api.handle("GET", "/search?q=НДС+на+импорт&language=ru&sort=date")
+                body = json.loads(request.call_args.args[2])
+                self.assertEqual(body["sort"][1], {"date_adopted": "desc"})
+
+    def test_document_editions_openapi_and_validation(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            api = self.make_api(Path(temporary))
+            specification = api.handle("GET", "/openapi.json")[1]
+            self.assertEqual(specification["info"]["version"], "v1")
+            self.assertEqual(specification["paths"]["/documents/{code}"]["get"]["parameters"][0]["required"], True)
+            self.assertEqual(specification["paths"]["/documents/{code}/editions/{edition}"]["get"]["parameters"][1]["name"], "edition")
+            self.assertEqual(api.handle("GET", "/documents/7")[1]["current_edition"]["source_code"], "10")
+            self.assertEqual(api.handle("GET", "/documents/7/editions/10?language=ru")[1]["content"]["ru"]["text"], "Текст\n")
+            with self.assertRaisesRegex(ApiError, "q is required"):
+                api.handle("GET", "/search")
+            with self.assertRaisesRegex(ApiError, "date_from must be an ISO date"):
+                api.handle("GET", "/search?q=x&date_from=tomorrow")
+            with self.assertRaisesRegex(ApiError, "document not found"):
+                api.handle("GET", "/documents/%2E%2E")
+
+    def test_filters_count_documents_and_return_bilingual_labels(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            api = self.make_api(Path(temporary))
+            keys = {"document_types": "law", "statuses": "active", "authorities": "parliament", "legal_forces": "legislative"}
+            response = {"aggregations": {name: {"buckets": [{"key": keys[name], "documents": {"value": 3}}]} for name in keys}}
+            with patch("search.api.request_json", return_value=response) as request:
+                payload = api.handle("GET", "/search/filters?language=ky")[1]
+            self.assertEqual(payload["document_types"][0], {"code": "law", "labels": {"ru": "Закон", "ky": "Мыйзам"}, "count": 3})
+            self.assertEqual(payload["legal_forces"][0]["labels"]["ky"], "Мыйзам деңгээли")
+            body = json.loads(request.call_args.args[2])
+            self.assertIn("terms", body["aggs"]["document_types"])
+            self.assertIn("legal_force_code", body["aggs"]["legal_forces"]["terms"]["field"])
+            self.assertEqual(body["query"], {"term": {"is_current_edition": True}})
+
+
+if __name__ == "__main__":
+    unittest.main()

backend/test_search_api_opensearch.py

@@ -0,0 +1,41 @@
+import json
+import os
+import unittest
+import uuid
+from pathlib import Path
+
+from search.api import Api
+from search.minjust_opensearch import DEFAULT_MAPPING, request_json
+
+
+@unittest.skipUnless(os.getenv("AKYLDASH_OPENSEARCH_URL"), "set AKYLDASH_OPENSEARCH_URL to run against local OpenSearch")
+class SearchApiOpenSearchTest(unittest.TestCase):
+    def test_current_editions_filters_and_catalogs(self):
+        base_url = os.environ["AKYLDASH_OPENSEARCH_URL"].rstrip("/")
+        index = f"akyldash-api-test-{uuid.uuid4().hex}"
+        request_json(f"{base_url}/{index}", "PUT", DEFAULT_MAPPING.read_bytes(), "application/json")
+        try:
+            documents = [
+                {"document_code": "1", "edition_code": "1", "is_current_edition": False, "language": "ru", "position": 1, "fragment_type": "paragraph", "text_ru": "historic", "document_name_ru": "Old law", "document_type_ru": "Закон", "document_type_ky": "Мыйзам", "document_type_code": "law", "legal_force_code": "legislative", "status_ru": "Утратил силу", "status_ky": "Күчүн жоготту", "status_code": "repealed", "date_adopted": "2020-01-01", "authority_paths_ru": ["Парламент"], "authority_paths_ky": ["Парламент"], "authority_codes": ["parliament"]},
+                {"document_code": "1", "edition_code": "2", "is_current_edition": True, "language": "ru", "position": 1, "fragment_type": "paragraph", "text_ru": "needle", "document_name_ru": "Current law", "document_type_ru": "Закон", "document_type_ky": "Мыйзам", "document_type_code": "law", "legal_force_code": "legislative", "status_ru": "Действует", "status_ky": "Күчүндө", "status_code": "active", "date_adopted": "2021-01-01", "authority_paths_ru": ["Парламент"], "authority_paths_ky": ["Парламент"], "authority_codes": ["parliament"]},
+                {"document_code": "2", "edition_code": "1", "is_current_edition": True, "language": "ru", "position": 1, "fragment_type": "paragraph", "text_ru": "needle", "document_name_ru": "Current decree", "document_type_ru": "Указ", "document_type_ky": "Жарлык", "document_type_code": "decree", "legal_force_code": "subordinate", "status_ru": "Действует", "status_ky": "Күчүндө", "status_code": "active", "date_adopted": "2022-01-01", "authority_paths_ru": ["Президент"], "authority_paths_ky": ["Президент"], "authority_codes": ["president"]},
+            ]
+            for number, document in enumerate(documents):
+                request_json(f"{base_url}/{index}/_doc/{number}", "PUT", json.dumps(document).encode(), "application/json")
+            request_json(f"{base_url}/{index}/_refresh", "POST", None, "application/json")
+            api = Api(base_url, index, Path("."))
+            self.assertEqual(api.handle("GET", "/search?q=historic")[1]["results"], [])
+            filtered = api.handle("GET", "/search?q=needle&document_type=law")[1]
+            self.assertEqual([result["code"] for result in filtered["results"]], ["1"])
+            force_filtered = api.handle("GET", "/search?q=needle&legal_force=subordinate")[1]
+            self.assertEqual([result["code"] for result in force_filtered["results"]], ["2"])
+            self.assertEqual(force_filtered["results"][0]["legal_force"], "Подзаконный уровень")
+            filters = api.handle("GET", "/search/filters")[1]
+            self.assertEqual({item["count"] for item in filters["statuses"]}, {2})
+            self.assertEqual({item["code"] for item in filters["legal_forces"]}, {"legislative", "subordinate"})
+        finally:
+            request_json(f"{base_url}/{index}", "DELETE", None, "application/json")
+
+
+if __name__ == "__main__":
+    unittest.main()

backend/test_search_relevance.py

@@ -0,0 +1,172 @@
+import json
+import tempfile
+import unittest
+from pathlib import Path
+from unittest.mock import patch
+
+from search.evaluate_relevance import evaluate, load_queries
+from search.query import COMPANY_REGISTRATION_DOCUMENTS, TAX_PROFIT_DOCUMENTS, build_search_body, query_variants
+
+
+class SearchRelevanceTest(unittest.TestCase):
+    def test_loads_queries_and_calculates_document_metrics(self):
+        queries = [
+            {
+                "id": "ru-01",
+                "language": "ru",
+                "query": "трудовой договор",
+                "relevant_document_codes": ["7", "8"],
+            },
+            {
+                "id": "ky-01",
+                "language": "ky",
+                "query": "эмгек келишими",
+                "relevant_document_codes": ["9"],
+            },
+        ]
+        with tempfile.TemporaryDirectory() as temporary:
+            path = Path(temporary) / "queries.json"
+            path.write_text(json.dumps(queries, ensure_ascii=False), encoding="utf-8")
+            loaded = load_queries(path)
+
+        with patch("search.evaluate_relevance.search_documents", side_effect=[["7", "10", "8"], ["10", "9"]]):
+            result = evaluate(loaded, "http://127.0.0.1:9200", "test", 10)
+
+        self.assertEqual(result["summary"], {"query_count": 2, "recall_at_10": 1.0, "mrr_at_10": 0.75})
+        self.assertEqual(result["queries"][0]["reciprocal_rank_at_10"], 1.0)
+        body = json.loads(build_search_body("ru", "трудовой договор", 10))
+        self.assertFalse(body["track_total_hits"])
+        self.assertEqual(body["collapse"], {"field": "document_code"})
+        self.assertIn({"term": {"is_current_edition": True}}, body["query"]["bool"]["filter"])
+        lexical_query = body["query"]["bool"]["must"]["bool"]["should"][0]["multi_match"]
+        self.assertEqual(lexical_query["type"], "cross_fields")
+        self.assertEqual(lexical_query["fields"], ["document_name_ru^4", "text_ru"])
+        self.assertEqual(lexical_query["operator"], "AND")
+        self.assertTrue(any("match_phrase" in clause for clause in body["query"]["bool"]["must"]["bool"]["should"]))
+
+    def test_legal_form_abbreviations_expand_in_both_directions(self):
+        self.assertIn("как открыть общество с ограниченной ответственностью", query_variants("ru", "как открыть ОсОО"))
+        self.assertIn("регистрация осоо", [variant.casefold() for variant in query_variants("ru", "регистрация общества с ограниченной ответственностью")])
+        self.assertIn("жчк ачуу тартиби", [variant.casefold() for variant in query_variants("ky", "жоопкерчилиги чектелген коом ачуу тартиби")])
+
+    def test_relaxed_match_drops_ru_template_prefix_and_stays_low_weight(self):
+        body = json.loads(build_search_body("ru", "правовое регулирование расторжение договора аренды", 10))
+        clauses = body["query"]["bool"]["must"]["bool"]["should"]
+        strict = [item["multi_match"] for item in clauses if "multi_match" in item and item["multi_match"].get("operator") == "AND"]
+        relaxed = [item["multi_match"] for item in clauses if "multi_match" in item and item["multi_match"].get("boost") == 0.1]
+        self.assertEqual(strict[0]["query"], "правовое регулирование расторжение договора аренды")
+        self.assertEqual(relaxed[0]["query"], "расторжение договора аренды")
+        self.assertEqual(relaxed[0]["operator"], "OR")
+        self.assertEqual(relaxed[0]["minimum_should_match"], 2)
+        self.assertNotIn("boost", strict[0])
+
+    def test_relaxed_match_supports_kyrgyz_and_avoids_short_named_acts(self):
+        ky = json.loads(build_search_body("ky", "эмгек келишимин бузуу шарттары", 10))
+        ky_clauses = ky["query"]["bool"]["must"]["bool"]["should"]
+        self.assertTrue(any(item.get("multi_match", {}).get("operator") == "OR" and item["multi_match"].get("boost") == 0.1 for item in ky_clauses))
+
+        named_act = json.loads(build_search_body("ru", "Гражданский кодекс", 10))
+        act_clauses = named_act["query"]["bool"]["must"]["bool"]["should"]
+        self.assertFalse(any(item.get("multi_match", {}).get("boost") == 0.1 for item in act_clauses))
+
+        long_named_act = json.loads(build_search_body("ru", "последние изменения Гражданского кодекса Кыргызской Республики", 10))
+        long_act_clauses = long_named_act["query"]["bool"]["must"]["bool"]["should"]
+        self.assertFalse(any(item.get("multi_match", {}).get("boost") == 0.1 for item in long_act_clauses))
+
+        short_template = json.loads(build_search_body("ru", "как регулируется взыскание алиментов", 10))
+        short_clauses = short_template["query"]["bool"]["must"]["bool"]["should"]
+        short_fallback = next(item["multi_match"] for item in short_clauses if item.get("multi_match", {}).get("boost") == 0.1)
+        self.assertEqual(short_fallback["query"], "взыскание алиментов")
+        self.assertEqual(short_fallback["minimum_should_match"], 2)
+
+        stopword_query = json.loads(build_search_body("ru", "правовое регулирование права и обязанности", 10))
+        stopword_clauses = stopword_query["query"]["bool"]["must"]["bool"]["should"]
+        stopword_fallback = next(item["multi_match"] for item in stopword_clauses if item.get("multi_match", {}).get("boost") == 0.1)
+        self.assertEqual(stopword_fallback["minimum_should_match"], 2)
+
+        for language, query in (("ru", "последние изменения ГК КР"), ("ky", "Кыргыз Республикасынын Конституциясы")):
+            act_body = json.loads(build_search_body(language, query, 10))
+            act_clauses = act_body["query"]["bool"]["must"]["bool"]["should"]
+            self.assertFalse(any(item.get("multi_match", {}).get("boost") == 0.1 for item in act_clauses))
+
+        for language, query, expected in (
+            ("ru", "Налоговый кодекс ответственность за неуплату налога", "ответственность за неуплату налога"),
+            ("ru", "Налоговый кодекс налоговая ставка", "налоговая ставка"),
+            ("ru", "Налоговый кодекс: налоговая ставка", "налоговая ставка"),
+            ("ru", "закон о труде порядок выплаты зарплаты", "порядок выплаты зарплаты"),
+            ("ky", "Кыргыз Республикасынын Конституциясы укуктарды чектөө тартиби", "укуктарды чектөө тартиби"),
+        ):
+            body = json.loads(build_search_body(language, query, 10))
+            clauses = body["query"]["bool"]["must"]["bool"]["should"]
+            fallback = next(item["multi_match"] for item in clauses if item.get("multi_match", {}).get("boost") == 0.1)
+            self.assertEqual(fallback["query"], expected)
+
+        for query in (
+            "Закон о защите прав потребителей",
+            "Закон Кыргызской Республики о защите прав потребителей",
+            "Закон Кыргызской Республики о государственной регистрации юридических лиц",
+        ):
+            body = json.loads(build_search_body("ru", query, 10))
+            clauses = body["query"]["bool"]["must"]["bool"]["should"]
+            self.assertFalse(any(item.get("multi_match", {}).get("boost") == 0.1 for item in clauses))
+
+        consumer_rights = json.loads(build_search_body("ru", "Закон о защите прав потребителей возврат денег", 10))
+        consumer_clauses = consumer_rights["query"]["bool"]["must"]["bool"]["should"]
+        consumer_fallback = next(item["multi_match"] for item in consumer_clauses if item.get("multi_match", {}).get("boost") == 0.1)
+        self.assertEqual(consumer_fallback["query"], "возврат денег")
+
+    def test_company_registration_intent_boosts_current_documents(self):
+        for language, query, status in (
+            ("ru", "как открыть ОсОО", "Действует"),
+            ("ky", "ЖЧК ачуу тартиби", "Күчүндө"),
+        ):
+            body = json.loads(build_search_body(language, query, 10))
+            search_query = body["query"]["bool"]["must"]["bool"]
+            self.assertEqual(search_query["minimum_should_match"], 1)
+            self.assertNotIn("filter", search_query)
+            lexical = [clause["multi_match"] for clause in search_query["should"] if "multi_match" in clause]
+            self.assertTrue(all(clause["type"] == "cross_fields" and clause["operator"] == "OR" for clause in lexical))
+            boosts = [clause["constant_score"] for clause in search_query["should"] if "constant_score" in clause]
+            self.assertEqual([item["boost"] for item in boosts], [boost for _, boost in COMPANY_REGISTRATION_DOCUMENTS])
+            self.assertEqual(
+                [item["filter"]["bool"]["filter"][0]["term"]["document_code"] for item in boosts],
+                [code for code, _ in COMPANY_REGISTRATION_DOCUMENTS],
+            )
+            self.assertTrue(all(item["filter"]["bool"]["filter"][1] == {"term": {f"status_{language}": status}} for item in boosts))
+
+    def test_profit_tax_intent_prioritizes_the_current_tax_code(self):
+        for query in ("налог на прибыль", "налога на прибыль организаций", "налогообложение прибыли"):
+            body = json.loads(build_search_body("ru", query, 10))
+            clauses = body["query"]["bool"]["must"]["bool"]["should"]
+            boosts = [clause["constant_score"] for clause in clauses if "constant_score" in clause]
+            self.assertEqual([item["boost"] for item in boosts], [boost for _, boost in TAX_PROFIT_DOCUMENTS])
+            self.assertEqual([item["filter"]["bool"]["filter"][0]["term"]["document_code"] for item in boosts], ["112340"])
+            self.assertTrue(all(item["filter"]["bool"]["filter"][1] == {"term": {"status_ru": "Действует"}} for item in boosts))
+
+        for query in ("прибыль организации", "налог на доходы", "налог на имущество"):
+            body = json.loads(build_search_body("ru", query, 10))
+            clauses = body["query"]["bool"]["must"]["bool"]["should"]
+            self.assertFalse(any("constant_score" in clause for clause in clauses))
+
+    def test_company_registration_intent_ignores_non_procedural_queries(self):
+        for language, query in (
+            ("ru", "ОсОО зарегистрирован?"),
+            ("ru", "кто зарегистрировал ОсОО"),
+            ("ru", "как открыть счет ОсОО"),
+            ("ru", "как открыть ОсОО банковский счет"),
+            ("ru", "как открыть ОсОО банковский счёт"),
+            ("ru", "как открыть филиал ОсОО"),
+            ("ru", "как создать договор для ОсОО"),
+            ("ru", "порядок создания логотипа ОсОО"),
+            ("ky", "ЖЧК ачык маалымат"),
+            ("ky", "ЖЧК кантип банк эсебин ачуу"),
+            ("ky", "ЖЧК кантип келишим түзүү"),
+            ("ky", "ЖЧК кантип логотип түзүү"),
+        ):
+            body = json.loads(build_search_body(language, query, 10))
+            clauses = body["query"]["bool"]["must"]["bool"]["should"]
+            self.assertFalse(any("constant_score" in clause for clause in clauses))
+
+
+if __name__ == "__main__":
+    unittest.main()

backend/test_search_reviews.py

@@ -0,0 +1,46 @@
+import tempfile
+import unittest
+from pathlib import Path
+from unittest.mock import patch
+
+from search.api import Api, ApiError
+
+
+class SearchReviewTest(unittest.TestCase):
+    def test_review_must_cover_each_snapshot_rank_once(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            api = Api("http://opensearch:9200", "current", Path(temporary), Path(temporary) / "reviews.sqlite3", b"test-secret")
+            response = {"hits": {"hits": [{"_index": "search-20260827", "_source": {"document_code": "7", "edition_code": "10", "document_name_ru": "Закон"}}, {"_index": "search-20260827", "_source": {"document_code": "8", "edition_code": "11", "document_name_ru": "Кодекс"}}]}}
+            with patch("search.api.request_json", return_value=response):
+                result = api.handle("GET", "/search?q=test&language=ru&page_size=2")[1]
+            with self.assertRaisesRegex(ApiError, "exactly once"):
+                api.handle("POST", "/search-reviews", {"review_token": result["review_token"], "reviewer": "Юрист", "results": [{"rank": 1, "code": "7", "rating": 3}]})
+
+    def test_saves_signed_search_snapshot_and_rejects_tampering(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            api = Api("http://opensearch:9200", "current", Path(temporary), Path(temporary) / "reviews.sqlite3", b"test-secret")
+            response = {"hits": {"hits": [{"_source": {"document_code": "7", "edition_code": "10", "document_name_ru": "Закон"}}]}}
+            with patch("search.api.request_json", return_value=response):
+                result = api.handle("GET", "/search?q=%D0%B7%D0%B0%D0%BA%D0%BE%D0%BD&language=ru")[1]
+            saved = api.handle("POST", "/search-reviews", {"review_token": result["review_token"], "reviewer": "Юрист", "results": [{"rank": 1, "code": "7", "rating": 3, "comment": "Прямой ответ"}]})
+            self.assertEqual(saved[0], 201)
+            exported = api.handle("GET", "/search-reviews/export")[1]["reviews"]
+            self.assertEqual(exported[0]["top_result_code"], "7")
+            self.assertEqual(exported[0]["results"][0]["rating"], 3)
+            with self.assertRaisesRegex(ApiError, "does not match"):
+                api.handle("POST", "/search-reviews", {"review_token": result["review_token"], "reviewer": "Юрист", "results": [{"rank": 1, "code": "8", "rating": 3}]})
+
+    def test_snapshot_and_review_page_are_available(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            api = Api("http://opensearch:9200", "current", Path(temporary))
+            page = api.review_page()
+            self.assertIn("Оценка поисковой выдачи", page)
+            self.assertIn("akyldash-search-review-draft", page)
+            self.assertIn("tutorial-dialog", page)
+            self.assertIn("Как это работает", page)
+            self.assertNotIn('id="error"', page)
+            self.assertIn("localStorage", page)
+
+
+if __name__ == "__main__":
+    unittest.main()

backend/test_search_topic_taxonomy.py

@@ -0,0 +1,102 @@
+import json
+import sqlite3
+import tempfile
+import unittest
+from contextlib import closing
+from pathlib import Path
+
+from tools.build_search_topic_taxonomy import build, group_for
+
+
+class SearchTopicTaxonomyTest(unittest.TestCase):
+    def test_ambiguous_roots_are_left_for_manual_review(self):
+        self.assertEqual(group_for("Иностранные инвестиции"), "review_required")
+
+    def test_preserves_source_tree_counts_and_marks_unclassified_roots(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            root = Path(temporary)
+            (root / "documents/1").mkdir(parents=True)
+            (root / "documents/2").mkdir(parents=True)
+            with closing(sqlite3.connect(root / "manifest.sqlite3")) as db:
+                db.execute("CREATE TABLE documents (code TEXT, state TEXT)")
+                db.executemany("INSERT INTO documents VALUES (?, 'success')", [("1",), ("2",)])
+                db.commit()
+            classifier = {
+                "Code": None,
+                "Name": {"Rus": "ЗАКОНОДАТЕЛЬСТВО О ТРУДЕ", "Kyr": None},
+                "GeneralClassifiers": [{
+                    "Code": "child-1",
+                    "Name": {"Rus": "Рабочее время", "Kyr": "Иш убактысы"},
+                    "GeneralClassifiers": [],
+                }],
+            }
+            unknown = {
+                "Code": None,
+                "Name": {"Rus": "НЕИЗВЕСТНАЯ РУБРИКА", "Kyr": None},
+                "GeneralClassifiers": [],
+            }
+            (root / "documents/1/document.json").write_text(
+                json.dumps({"general_classifiers": [classifier]}, ensure_ascii=False),
+                encoding="utf-8",
+            )
+            (root / "documents/2/document.json").write_text(
+                json.dumps({"general_classifiers": [classifier, unknown]}, ensure_ascii=False),
+                encoding="utf-8",
+            )
+
+            catalog = build(root)
+            groups = {group["code"]: group for group in catalog["groups"]}
+            labor_root = groups["labor_social"]["children"][0]
+
+            self.assertEqual((catalog["source_document_count"], catalog["source_node_count"], catalog["source_root_count"]), (2, 3, 2))
+            self.assertEqual(labor_root["document_count"], 2)
+            self.assertEqual(labor_root["children"][0]["document_count"], 2)
+            self.assertEqual(groups["review_required"]["children"][0]["grouping_status"], "manual_review")
+            self.assertEqual(catalog["nodes_missing_kyrgyz_label"], 2)
+
+    def test_rebuild_fails_instead_of_omitting_successful_manifest_document(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            root = Path(temporary)
+            (root / "documents/1").mkdir(parents=True)
+            with closing(sqlite3.connect(root / "manifest.sqlite3")) as db:
+                db.execute("CREATE TABLE documents (code TEXT, state TEXT)")
+                db.execute("INSERT INTO documents VALUES ('1', 'success')")
+                db.commit()
+
+            with self.assertRaisesRegex(RuntimeError, "normalized document 1"):
+                build(root)
+
+    def test_rebuild_rejects_normalized_document_without_classifier_list(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            root = Path(temporary)
+            document = root / "documents/1"
+            document.mkdir(parents=True)
+            with closing(sqlite3.connect(root / "manifest.sqlite3")) as db:
+                db.execute("CREATE TABLE documents (code TEXT, state TEXT)")
+                db.execute("INSERT INTO documents VALUES ('1', 'success')")
+                db.commit()
+            (document / "document.json").write_text("{}", encoding="utf-8")
+
+            with self.assertRaisesRegex(RuntimeError, "general_classifiers list"):
+                build(root)
+
+    def test_rebuild_rejects_invalid_nested_classifier_branch(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            root = Path(temporary)
+            document = root / "documents/1"
+            document.mkdir(parents=True)
+            with closing(sqlite3.connect(root / "manifest.sqlite3")) as db:
+                db.execute("CREATE TABLE documents (code TEXT, state TEXT)")
+                db.execute("INSERT INTO documents VALUES ('1', 'success')")
+                db.commit()
+            (document / "document.json").write_text(
+                json.dumps({"general_classifiers": [{"Name": {"Rus": "Корень"}, "GeneralClassifiers": "bad"}]}),
+                encoding="utf-8",
+            )
+
+            with self.assertRaisesRegex(RuntimeError, "non-list GeneralClassifiers branch"):
+                build(root)
+
+
+if __name__ == "__main__":
+    unittest.main()

deploy/local-opensearch/Dockerfile

@@ -0,0 +1,3 @@
+FROM opensearchproject/opensearch:3.7.0
+
+RUN /usr/share/opensearch/bin/opensearch-plugin install --batch analysis-icu

deploy/local-opensearch/compose.yaml

@@ -0,0 +1,21 @@
+services:
+  opensearch:
+    build: .
+    container_name: akyldash-opensearch
+    environment:
+      discovery.type: single-node
+      bootstrap.memory_lock: "true"
+      DISABLE_SECURITY_PLUGIN: "true"
+      OPENSEARCH_JAVA_OPTS: -Xms8g -Xmx8g
+    mem_limit: 12g
+    ports:
+      - 127.0.0.1:9200:9200
+    ulimits:
+      memlock:
+        soft: -1
+        hard: -1
+      nofile:
+        soft: 65536
+        hard: 65536
+    volumes:
+      - ../../data/opensearch-node:/usr/share/opensearch/data

deploy/production/.env.example

@@ -0,0 +1,9 @@
+# Absolute path on the production host containing minjust-normalized/.
+DATA_ROOT=/var/lib/akyldash/data
+REVIEW_SECRET_FILE=/etc/akyldash/review_secret
+BACKEND_IMAGE=akyldash/backend:local
+OPENSEARCH_IMAGE=akyldash/opensearch:local
+SEARCH_INDEX=akyldash-fragments-current
+OPENSEARCH_MEM_LIMIT=4g
+OPENSEARCH_JAVA_OPTS=-Xms2g -Xmx2g
+COOKIE_SECURE=true

deploy/production/Caddyfile

@@ -0,0 +1,4 @@
+akyldash.kg {
+	encode zstd gzip
+	reverse_proxy backend:8080
+}

deploy/production/Dockerfile.backend

@@ -0,0 +1,11 @@
+FROM python:3.12-slim
+
+WORKDIR /app
+COPY backend /app/backend
+
+ENV PYTHONPATH=/app/backend
+EXPOSE 8080
+
+CMD ["python", "-m", "search.api", "--host", "0.0.0.0", "--port", "8080", "--url", "http://opensearch:9200", "--index", "akyldash-fragments-current", "--data", "/app/data/minjust-normalized", "--reviews-db", "/app/data/search-reviews.sqlite3"]
+
+HEALTHCHECK --interval=30s --timeout=5s --start-period=20s CMD ["python", "-c", "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/review', timeout=3)"]

deploy/production/Dockerfile.opensearch

@@ -0,0 +1,3 @@
+FROM opensearchproject/opensearch:3.7.0
+
+RUN /usr/share/opensearch/bin/opensearch-plugin install --batch analysis-icu

deploy/production/README.md

@@ -0,0 +1,164 @@
+# Production deployment
+
+Compose runs Caddy, the Search API, and a private OpenSearch node. Only Caddy
+publishes ports `80` and `443`; backend and OpenSearch have no host ports. The
+OpenSearch security plugin is disabled to match the current API client, so keep
+it on the private network.
+
+## Host access and configuration
+
+The production environment file is `/etc/akyldash/production.env`; the review
+secret is `/etc/akyldash/review_secret`. Both must stay outside the checkout,
+root-owned, and mode `0600`. `DATA_ROOT` must be an absolute path. The `codex`
+account is intentionally outside the `sudo` and `docker` groups because access
+to the Docker socket grants root-equivalent control. Run host operations with
+the narrowly required `sudo` command; do not use `docker` as `codex` directly.
+
+After reviewing the host audit and confirming these files do not already exist,
+the owner can create them from the approved checkout with
+`sudo bash infra/deploy/prepare-production-config.sh`. The script refuses to
+overwrite existing configuration, installs the tracked env example with mode
+`0600`, and generates a random review secret with mode `0600`. It does not
+start Compose or create volumes. Review and set `DATA_ROOT` in the protected
+env file before deployment.
+
+Set `DATA_ROOT` to the approved data directory and ensure the normalized corpus
+is at `$DATA_ROOT/minjust-normalized/`. The first host setup is documented in
+[`docs/operations/DEPLOYMENT.md`](../../docs/operations/DEPLOYMENT.md); the
+root bootstrap installs packages and creates directories, but does not deploy
+the application or alter SSH, firewall, user groups, or sudoers. The restricted
+`akyldash-compose` helper allows only root-owned Compose `config` and `status`;
+service start/stop remains an owner-run root operation.
+
+The repository Gitea Actions runner is an isolated CI worker described in
+[`docs/operations/CI_RUNNER.md`](../../docs/operations/CI_RUNNER.md). It has no
+production Docker socket, production env files, or application checkout. CI
+does not deploy or change production; all deployment remains owner-run.
+
+## First deployment and upgrades
+
+Run commands from the root-owned checkout at `/opt/akyldash/current`. Render
+and review Compose before changing services:
+
+```bash
+cd /opt/akyldash/current
+sudo docker compose --env-file /etc/akyldash/production.env -f deploy/production/compose.yaml config --quiet
+```
+
+On a clean first deployment, `infra/backup/archive.py create` reports that no
+backup is required when all persistent mounts are empty and no Compose
+containers exist. Continue without a backup in that case. If any persistent
+data exists, create and verify a backup before changing schema, images, or
+starting a new application version. This also applies when containers are
+absent, including an initial installation where the normalized corpus was
+preloaded under `DATA_ROOT`; create the archive before the first `up`. When
+named volumes do not exist, pass `--initial-deployment`; this is accepted only
+without Compose containers and when `DATA_ROOT` contains only
+`minjust-normalized/`. During upgrades, missing volumes are an error because
+they can indicate lost production data. The archive tool also refuses
+ambiguous storage state, running containers, and incomplete Compose service
+containers. See
+[`docs/operations/BACKUP.md`](../../docs/operations/BACKUP.md) for the exact
+commands. Do not remove an older usable backup to make room; retain the
+pre-change archive until the new deployment and a newer verified backup are
+confirmed.
+
+For an initial clean installation, start the stack only after config review:
+
+```bash
+sudo docker compose --env-file /etc/akyldash/production.env -f deploy/production/compose.yaml up -d --build
+sudo docker compose --env-file /etc/akyldash/production.env -f deploy/production/compose.yaml ps
+curl -fsS https://akyldash.kg/review >/dev/null
+```
+
+Before this step, confirm DNS and have the owner review firewall rules for TCP
+`80` and `443`. Caddy manages the origin certificate; confirm HTTPS before
+setting Cloudflare to Full (strict). On the initial start, create the `admin`
+account interactively:
+
+```bash
+sudo docker compose --env-file /etc/akyldash/production.env -f deploy/production/compose.yaml exec backend python -m search.api --create-admin
+```
+
+The account database is `$DATA_ROOT/search-users.sqlite3` and is included in
+the `data` backup. Admin password reset is also interactive:
+
+```bash
+sudo docker compose --env-file /etc/akyldash/production.env -f deploy/production/compose.yaml exec backend python -m search.api --reset-admin-password
+```
+
+After the initial OpenSearch index is loaded and validated, the `admin` account
+is created, and `/review` works over HTTPS, create and verify the required
+post-setup baseline backup before treating deployment as complete. It captures
+the initialized index, account database, and Caddy certificate data. Follow
+the exact stop/create/verify/start sequence in
+[`docs/operations/BACKUP.md`](../../docs/operations/BACKUP.md#initial-post-setup-baseline).
+
+## Backup, restore, and rollback
+
+Backups are cold and require downtime. Stop services, create the archive, then
+verify both its checksum and contents before proceeding. Do not run an upgrade
+or schema change until verification succeeds. Keep archives root-only under
+`/var/backups/akyldash` and copy them to separately managed encrypted storage.
+
+Restore is a staged operation on a marked replacement host; it does not
+overwrite production. For application-only rollback, use the guarded helper
+with a verified pre-release backup and explicit data-compatibility review.
+Follow the procedures in [`BACKUP.md`](../../docs/operations/BACKUP.md),
+[`ROLLBACK.md`](../../docs/operations/ROLLBACK.md), and
+[`RECOVERY.md`](../../docs/operations/RECOVERY.md).
+
+Automated production deployment is not enabled. Deployments remain owner-run;
+record the release and verify service health before considering it complete.
+
+## Image release and owner-run cutover
+
+PR CI still builds both production images with Kaniko `--no-push`. The separate
+`Release production images` workflow is manual and runs only when dispatched
+from protected `main`. It requires repository secrets named
+`REGISTRY_USERNAME` and `REGISTRY_PASSWORD`; without them it fails before any
+build. Configure those secrets only after the owner confirms a dedicated
+Gitea account/token with write access to the two repository packages and no
+unneeded administration rights. Do not reuse a runner or production host
+credential. The workflow uses the Gitea host and fixed package namespace
+`git.vakanaut.ru/admin/akyldash/{backend,opensearch}`, pushes unique
+commit/run-ID tags, captures registry digests, validates the release
+descriptor, and uploads the JSON plus SHA-256 sidecar as a Gitea Actions
+artifact using a full-SHA-pinned Gitea-compatible v3 action. PR CI also uploads
+a tiny synthetic marker with one-day retention to verify the runner's runtime
+artifact path without registry credentials. The runner cache stays disabled;
+artifact compatibility is based on the runtime API supported by act_runner
+0.2.13/Gitea 1.25.5 and will be empirically checked by PR CI. Registry and
+artifact retention must preserve release digests and descriptors for the full
+rollback window; the owner must confirm both policies.
+
+The schema-v3 descriptor records source repository/ref/commit, workflow run ID,
+pinned Kaniko builder and both image digests. It is an unsigned trace record,
+not a cryptographic attestation; deployment relies on retrieving it from the
+authenticated Gitea run artifact and verifying its checksum and repository
+allowlist. Do not treat the sidecar alone as proof of authenticity.
+
+For a future owner-approved cutover, use the root-owned checkout and run
+`infra/deploy/deploy_release.py` as root with the downloaded manifest, its
+matching verified cold backup, and `infra/deploy/release-policy.json`, plus
+owner-verified non-empty Russian and Kyrgyz canary queries, for example
+`--canary-ru '<known Russian query>' --canary-ky '<known Kyrgyz query>'`.
+The helper checks both queries against the public Search API through local
+HTTPS after Compose reports healthy, and requires at least one result with a
+document code before recording the new release state. Select queries only
+after corpus/index canaries have been verified; do not use generic terms that
+can match unrelated test data. The helper requires the backup image references and image IDs to match the live
+stack, serializes deploy and rollback with `/run/akyldash-deploy.lock`,
+atomically switches both protected env image refs, and always runs Compose with
+`--no-build`. It records recovery state before changing references. If ref
+replacement reports an error after an atomic rename, recovery rereads the
+actual file and restores the prior pair before restarting; an unexpected or
+unverifiable pair stops recovery and leaves a secret-free journal. A failed
+cutover refuses a subsequent release until an owner resolves the journal.
+Rollback accepts a digest-pinned previous release
+only when that backup matches the separately recorded previous refs and image
+IDs. Legacy tag rollback remains supported. Neither the helper nor registry
+secrets are installed on the VPS by this PR; deployment remains an owner-only
+operation and must wait for host/data/backup review. The exact sanitized
+evidence required from the owner is listed in
+[`DEPLOYMENT_OWNER_PACKET.md`](../../docs/operations/DEPLOYMENT_OWNER_PACKET.md).

deploy/production/compose.yaml

@@ -0,0 +1,124 @@
+name: akyldash
+
+services:
+  caddy:
+    image: caddy:2.11.6-alpine@sha256:881bbc60f9986d5ab8e7cfd6cf7e4ef3c9c0439fef2429d035d065577882f028
+    restart: unless-stopped
+    logging:
+      driver: local
+      options:
+        max-size: 10m
+        max-file: "3"
+    ports:
+      - "80:80"
+      - "443:443"
+    volumes:
+      - ./Caddyfile:/etc/caddy/Caddyfile:ro
+      - caddy-data:/data
+      - caddy-config:/config
+    networks:
+      - proxy
+    depends_on:
+      backend:
+        condition: service_healthy
+    healthcheck:
+      test: ["CMD", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:2019/config/"]
+      interval: 30s
+      timeout: 5s
+      retries: 3
+
+  opensearch:
+    image: ${OPENSEARCH_IMAGE:-akyldash/opensearch:local}
+    build:
+      context: ../..
+      dockerfile: deploy/production/Dockerfile.opensearch
+    restart: unless-stopped
+    logging:
+      driver: local
+      options:
+        max-size: 10m
+        max-file: "3"
+    environment:
+      discovery.type: single-node
+      bootstrap.memory_lock: "true"
+      DISABLE_SECURITY_PLUGIN: "true"
+      OPENSEARCH_JAVA_OPTS: ${OPENSEARCH_JAVA_OPTS:--Xms2g -Xmx2g}
+    mem_limit: ${OPENSEARCH_MEM_LIMIT:-4g}
+    expose:
+      - "9200"
+    ulimits:
+      memlock:
+        soft: -1
+        hard: -1
+      nofile:
+        soft: 65536
+        hard: 65536
+    volumes:
+      - opensearch-data:/usr/share/opensearch/data
+    networks:
+      - search
+    healthcheck:
+      test: ["CMD-SHELL", "curl -fsS http://127.0.0.1:9200/_cluster/health || exit 1"]
+      interval: 30s
+      timeout: 10s
+      retries: 10
+
+  backend:
+    image: ${BACKEND_IMAGE:-akyldash/backend:local}
+    build:
+      context: ../..
+      dockerfile: deploy/production/Dockerfile.backend
+    restart: unless-stopped
+    logging:
+      driver: local
+      options:
+        max-size: 10m
+        max-file: "3"
+    environment:
+      COOKIE_SECURE: ${COOKIE_SECURE:-true}
+    command:
+      - python
+      - -m
+      - search.api
+      - --host
+      - 0.0.0.0
+      - --port
+      - "8080"
+      - --url
+      - http://opensearch:9200
+      - --index
+      - ${SEARCH_INDEX:-akyldash-fragments-current}
+      - --data
+      - /app/data/minjust-normalized
+      - --reviews-db
+      - /app/data/search-reviews.sqlite3
+      - --users-db
+      - /app/data/search-users.sqlite3
+      - --review-secret-file
+      - /run/secrets/review_secret
+    secrets:
+      - review_secret
+    expose:
+      - "8080"
+    depends_on:
+      opensearch:
+        condition: service_healthy
+    volumes:
+      - ${DATA_ROOT:?set DATA_ROOT in .env}:/app/data
+    networks:
+      - proxy
+      - search
+
+volumes:
+  caddy-data:
+  caddy-config:
+  opensearch-data:
+
+networks:
+  proxy:
+  search:
+    internal: true
+
+secrets:
+  review_secret:
+    file: ${REVIEW_SECRET_FILE:?set REVIEW_SECRET_FILE in .env}

docs/README.md

@@ -2,8 +2,20 @@
 
 ## Продукт
 
+- [Дизайн-система «Түндүк»](../DESIGN.md) — утверждённые палитра,
+  типографика, компоненты и правила адаптивности портала и лаборатории.
 - [Обзор проекта](product/project-overview.md) — назначение, основные области и
   правила работы с данными.
+- [План frontend поисковой СПС](product/frontend-search-sps-plan.md) — границы
+  MVP, зависимости и спринты.
+- [Готовность к проектированию frontend](product/frontend-design-readiness-plan.md) —
+  обязательные работы и критерии перехода к frontend.
+- [План интерфейса оценки поисковой выдачи](product/search-relevance-review-interface-plan.md) —
+  внутренняя лаборатория сбора оценок юристов для настройки OpenSearch.
+- [Разметка relevance set](../backend/search/RELEVANCE_ANNOTATION.md) — подготовка
+  эталонных документов и воспроизводимая оценка собственного поиска.
+- [Задание по нормализации документов](product/minjust-document-normalization-agent-task.md) —
+  требования и критерии приёмки нормализатора ЦБД Минюста КР.
 
 ## Решения
 
@@ -14,9 +26,18 @@
 
 - [Текущий статус](operations/project-status.md) — выполненные шаги, риски и
   ближайшие действия.
+- [Состояние инфраструктуры](operations/CURRENT_STATE.md) — подтверждённое
+  состояние production и оставшиеся проверки.
+- [Инфраструктура и эксплуатация](operations/INFRASTRUCTURE.md) — схема,
+  доступы, deployment, backup, rollback и recovery.
 - [План Telegram-пространства](operations/telegram-workspace-plan.md) — темы,
   роли и этапы развития командного окружения.
 
+## Backend
+
+- [Выгрузка и нормализация ЦБД Минюста КР](../backend/README.md) — запуск,
+  хранение и проверка конвейера правовых документов.
+
 ## Команда
 
 - [Навыки работы с ИИ](team/ai-skills-for-beginners.md) — короткие практики для
@@ -24,4 +45,4 @@
 
 ---
 
-Акылдаш · Telegram-бот v0.2.2 · Backend — не создан · Frontend — не создан
+Акылдаш · Telegram-бот v0.2.2 · Backend v0.13.0 · Frontend v0.2.3

docs/decisions/001-telegram-workspace-mvp.md

@@ -78,4 +78,4 @@ Telegram позволяет запретить пользователям отп
 
 ---
 
-Акылдаш · Telegram-бот v0.2.2
+Акылдаш · Telegram-бот v0.2.2 · Backend v0.7.1 · Frontend — не создан

docs/development/DELIVERY_POLICY.md

@@ -0,0 +1,177 @@
+# Delivery First: проверка изменений по риску
+
+Эта политика помогает быстро принимать небольшие изменения и добавляет
+проверки там, где ошибка затрагивает пользователей, данные или границы
+безопасности. Класс риска выбирает глубину проверки; он не позволяет снять
+обязательную проверку, одобрение или защиту `main`.
+
+## Порядок работы
+
+1. До реализации укажи в PR `LOW`, `MEDIUM` или `HIGH` и коротко объясни
+   причину. Если изменение пересекает несколько областей, выбери самый высокий
+   класс. При неопределённости используй более высокий класс.
+2. Сначала проследи путь изменения от пользовательского/API входа до данных,
+   внешних систем и отката. Для изменения поведения добавь регрессионный тест,
+   который подтверждает конкретный контракт или прежний дефект.
+3. Запусти проверку именно затронутого поведения и обычный Gitea CI. Для UI
+   дополнительно выполни `cd tools/frontend-visual-review && npm ci && npm test`;
+   этот браузерный набор сейчас не входит в Gitea CI.
+4. В PR перечисли класс риска, команды и результаты, остаточные ограничения,
+   а для high-risk — совместимость, угрозы и безопасный rollback. Не заявляй
+   проверку, которой фактически не было.
+5. Ревьюер отделяет блокирующие дефекты от улучшений. Блокер должен указывать
+   конкретное место, условие воспроизведения и последствие. Стилистические
+   предпочтения и предложения на будущее фиксируются отдельно и не задерживают
+   PR.
+
+## Классы риска
+
+| Класс | Когда применять | Требуемое подтверждение |
+|---|---|---|
+| `LOW` | Документация, комментарии, переименование без изменения поведения, форматирование без изменения конфигурационной семантики. Нет изменения контракта, доступа, данных или исполнения. | Проверить diff и сверить утверждения/команды с исходным кодом и действующей процедурой. Выполнить обычный CI. Если документация меняет операторский шаг, проверить его в безопасном локальном или synthetic окружении. |
+| `MEDIUM` | Ограниченное изменение поведения одного компонента, внутреннего API, UI или локального скрипта без изменения модели доверия и формата хранимых данных. | Целевые тесты затронутого компонента и регрессионная проверка, если меняется поведение; обычный CI. Для UI приложить результаты браузерного набора и synthetic визуальной проверки, если они относятся к изменённому экрану/потоку. Проверить обратную совместимость публичных запросов и ответов. |
+| `HIGH` | Авторизация и роли; secrets и credential flow; ingestion и происхождение данных; формат/миграция хранилища; backup/restore/recovery; production config; runner, CI и supply chain; безопасность; сетевые/host-границы; deploy и rollback. | Обычный CI плюс целевые проверки каждого затронутого trust/data boundary; regression-тест; проверка негативного пути и совместимости; независимое ревью конкретных угроз и последствий. Для операций с данными использовать synthetic/staging данные и план отката. Изменение production допускается только владельцем после отдельного согласования, проверки backup и готового rollback. |
+
+Нельзя понижать класс из-за малого diff, срочности или простоты реализации:
+маленькое изменение правила доступа или восстановления всё равно `HIGH`.
+Нельзя считать отсутствие найденных тестов доказательством отсутствия риска.
+
+## CI и ограничения Gitea
+
+Проверенная конфигурация проекта:
+
+- Репозиторий `admin/akyldash`, Gitea API вернул `1.25.5` 2026-10-24.
+- Workflow `.gitea/workflows/ci.yaml` запускается на `pull_request` и `push` в
+  `main`; job ID, который следует сохранять для совместимости статусов, —
+  `tests-and-images`.
+  Он последовательно выполняет backend, Telegram, backup/restore, shell guards,
+  deployment tests, Compose/Caddy validation и две production image builds.
+- `.gitea/workflows/runner-smoke.yaml` сохраняет отдельный job ID `runner-smoke`
+  и проверяет runtime-изоляцию job-контейнера: отсутствие системного и
+  rootless Docker socket, production env/secrets и host checkout. Smoke дополняет
+  статические проверки runner/CI и не дублирует их.
+- Инфраструктурная конфигурация репозитория закрепляет официальный
+  `act_runner 0.2.13`, label `akyldash-ci`, capacity 1 и ограничения job 2 CPU,
+  3 GiB RAM, 512 процессов, 15 GiB store. Версия runner и лимиты приведены по
+  IaC; в рамках этой задачи VPS не проверялся. Job-контейнеры не должны получать
+  ни один Docker socket.
+- Текущая политика `main` из branch API: ветка защищена и требует одного
+  одобрения. На момент проверки API также сообщил `enable_status_check=false`
+  и пустой список status contexts. Это PR не меняет branch protection.
+  Если владелец отдельно включит обязательные статусы, сначала проверьте их
+  точные контексты: `CI / tests-and-images (pull_request)` и
+  `Runner smoke test / runner-smoke (pull_request)`. Не переименовывайте job IDs.
+
+Функции и границы текущих проверок:
+
+| Блок workflow | Назначение и риск пропуска | Перекрытие |
+|---|---|---|
+| Checkout и Python setup | Подготовка повторяемой среды; пропуск может дать ложный успех на неподходящем образе. | Инфраструктурный шаг, не покрывается тестами приложения. |
+| Backend и Telegram tests | Регрессии API, логики поиска/аккаунтов и Telegram bot. Риск продуктовый; для auth/data изменений — `HIGH`. | Разные пакеты и контракты; отдельная ветка тестов. |
+| Backup/restore tests | Целостность backup, восстановление и отказные сценарии; риск потери данных — `HIGH`. | Не дублируется тестами backend. |
+| Bootstrap/recovery/verifier/host-audit/production-config guards | Отказ от root и защиты host identity, аргументов и production paths; обход может дать административное действие или затронуть host — `HIGH`. | Несколько guard-тестов проверяют разные скрипты и условия; считать их дублями без анализа каждого контракта нельзя. |
+| Runner config, installer guards и CI container isolation | Ограничения runner, repeatability установки и запрет socket/privileged/host mounts; риск — доступ к host/production — `HIGH`. | Статические/синтетические проверки дополняются реальным runtime smoke, это разные уровни. |
+| Shell syntax и Python AST parse | Раннее обнаружение ошибок парсинга; риск пропуска — поломка запуска скрипта/проверки. | Это синтаксис, а не функциональные тесты. |
+| Deployment contract/rollback tests, Compose config и Caddy validation | Совместимость deploy contract/rollback и конфигурации production stack/proxy; риск — deploy outage/data impact — `HIGH`. | Compose проверяет интерпретацию конфигурации, Caddy — синтаксис proxy, Python suite — contract/rollback logic. Функции отличаются. |
+| Две Kaniko image builds | Проверка Dockerfile и воспроизводимости backend/OpenSearch production images; риск — сломанная сборка/небезопасный путь supply chain — `HIGH`. | Два Dockerfile — две разные целевые images; build-only, оба `--no-push`. |
+| Runner smoke (отдельный workflow) | Runtime-проверка известного системного socket path, production paths/secrets и host checkout отсутствия в job; риск — нарушение изоляции — `HIGH`. | Дополняет статические runner/CI guards; не повторяет их. |
+
+Gitea API не предоставляет пригодный список steps для завершённого run в этой
+версии; длительность каждой строки таблицы поэтому `N/A`. Не распределяй общий
+CI runtime между блоками пропорционально числу тестов или строк кода.
+
+Gitea 1.25 документация подтверждает используемые события `push`,
+`pull_request` и `workflow_dispatch`. Она также документирует ограничения,
+которые запрещают строить безопасное ускорение на привычных GitHub Actions
+предположениях:
+
+- `runs-on` поддерживает статическую метку или список меток; текущая
+  `akyldash-ci` — статическая метка.
+- Выражения доступны ограниченно; в сравнении с GitHub Actions Gitea 1.25
+  обещает функцию `always()`, поэтому workflow не должен зависеть от
+  `if:`-выражений для динамического выбора набора тестов по diff или уровню
+  риска.
+- `jobs.<job_id>.timeout-minutes`, `permissions`, `concurrency` и
+  `jobs.<job_id>.environment` в Gitea 1.25 игнорируются. Не используйте их как
+  защиту, срок исполнения, обязательный approval или средство экономии.
+- У runner capacity 1. Разделение текущей последовательной работы на
+  параллельные jobs не даёт измеримого параллельного исполнения на этом runner
+  и может добавить запуск/очередь. Сохраняйте проверку сборки обеих production
+  images: она подтверждает Dockerfiles, но использует Kaniko с `--no-push` и не
+  публикует образы.
+
+Источники семантики: [Gitea 1.25 Actions comparison](https://docs.gitea.com/1.25/usage/actions/comparison/),
+[Gitea 1.25 Actions FAQ](https://docs.gitea.com/1.25/usage/actions/faq/) и
+[act_runner guide](https://docs.gitea.com/1.25/usage/actions/act-runner/).
+Перед использованием новой workflow-семантики сверяй её с документацией
+установленной версии и проверяй фактическим run. Не добавляй проверки самой
+этой политики или статические тесты, утверждающие её текст.
+
+## Временные ориентиры и фактические измерения
+
+Ориентиры — цель для поиска затрат, а не разрешение убрать тесты:
+
+- Обычный полный CI: до 5 минут от старта job до завершения. При превышении
+  сначала измерить и оптимизировать узкий участок, сохраняя тесты и изоляцию.
+- Расширенный путь для `HIGH` (обычный CI плюс целевые проверки): целевой
+  суммарный интервал 10–15 минут. Это пока ориентир, а не отдельный
+  автоматический workflow или установленный timeout.
+
+Срез 2026-10-24 получен из документированного [Gitea Actions task API](https://docs.gitea.com/api/1.25/operations/list-action-tasks/)
+`/repos/admin/akyldash/actions/tasks?limit=50`. Взяты 20 последних завершённых
+`tests-and-images`; длительность оценена как `updated_at - run_started_at`:
+
+| Метрика | Измерение |
+|---|---:|
+| CI completed sample | 20 прогонов, 20 success |
+| CI median | 147.5 s (2:27.5) |
+| CI p90 | 172 s (2:52) |
+| CI max | 192 s (3:12) |
+| Runner smoke median / max | 2 s / 3 s, последние 20 прогонов |
+
+Прежней reconciliation или оценок длительности в доступной документации
+репозитория, workflows, PR и issues не найдено; этот срез является первой
+подтверждённой базой, и сравнить его с прежней оценкой нельзя.
+Все 20 измеренных полных CI прогонов ниже пяти минут; текущая конфигурация уже
+достигает обычного ориентира. Отдельного extended workflow нет, поэтому
+10–15-минутная цель пока не имеет фактической базы. В выборке нет breakdown по
+steps: документированный endpoint для jobs завершённого run возвратил пустой
+список; это известное ограничение Gitea 1.25.5 ([upstream issue #38286](https://github.com/go-gitea/gitea/issues/38286)).
+Не распределяй время между тестами и image builds по предположению. При будущих
+изменениях workflow записывай доступные timestamps и точный размер выборки;
+после изменения Gitea/runner перепроверь, стал ли доступен надёжный step timing.
+
+## Метрики потока поставки
+
+Для каждого релиза/месячного обзора отдельно собирать:
+
+| Метрика | Определение и источник |
+|---|---|
+| Ready → merge | Время с момента, когда PR реально готов к ревью, до merge. Не подменять датой создания draft PR; при отсутствии точного ready timestamp записывать `N/A`. |
+| Merge → deploy | Merge timestamp до фактического production deploy timestamp. Deploy пока не автоматизирован; пока нет подтверждённого deploy evidence, записывать `N/A`, не ноль. |
+| CI duration | `run_started_at` → task completion (`updated_at`) по Actions API; отдельно указывать медиану, p90, максимум, период и число прогонов. |
+| Повторные прогоны | Число неуспешных/повторных прогонов на commit до первого успеха; отличать rerun от нового commit/push. |
+| Блокирующие замечания | Число ревью-находок, удовлетворяющих критериям blockers выше; неблокирующие считать отдельно. |
+| Вышедшие регрессии | Подтверждённые после merge дефекты, связанные с изменением; фиксировать компонент, тяжесть и пропущенный сигнал. |
+| Rollback | Количество фактически выполненных rollback, причина и результат проверки данных/сервиса. Не считать написанный план фактическим rollback. |
+
+На момент этого аудита PR/API не дают надёжного ready timestamp для старых
+изменений; production deployment не автоматизирован, а задачи этого PR не
+содержат deploy telemetry. Поэтому ready→merge, merge→deploy, escaped
+regressions и rollback baseline остаются `N/A`, пока не появится проверяемая
+запись. Не придумывай значения из `created_at` или даты последнего update.
+
+## Критерий блокирующего ревью
+
+Блокирующие замечания ограничены случаями:
+
+- воспроизводимый дефект с конкретным условием и последствием;
+- расширение доступа, утечка секрета или обход границы runner/production;
+- потеря/искажение данных или несовместимость API/storage без безопасного пути;
+- обязательный тест или подтверждение из таблицы риска отсутствует/не проходит;
+- опасная операция не имеет проверяемого backup/rollback плана.
+
+Каждый блокер содержит файл/участок, шаги воспроизведения или точное условие,
+последствие и минимальный безопасный fix. Остальные замечания — отдельный
+неблокирующий список. Review и approval остаются за людьми; агент не начинает
+review сам и не сливает PR.

docs/operations/ACCESS.md

@@ -0,0 +1,84 @@
+# Infrastructure access
+
+## Discover existing access first
+
+In a new Codex session, inspect the SSH alias and key file metadata without
+printing key contents, then check the connection:
+
+```bash
+ssh -F ~/.ssh/config -G akyldash_vps | awk '$1 == "hostname" || $1 == "user" || $1 == "port" || $1 == "identityfile" { print }'
+test -r ~/.ssh/akyldash_codex && echo 'SSH key is available'
+ssh -F ~/.ssh/config -o BatchMode=yes akyldash_vps id
+ssh -F ~/.ssh/config -o BatchMode=yes akyldash_vps hostname -f
+gitea-api GET /version
+gitea-api GET /repos/admin/akyldash
+```
+
+Do not ask for the host, login, password, token, or key again before these
+checks. Never print a private key, token, or complete environment file.
+
+## VPS
+
+- SSH alias: `akyldash_vps`, user `codex`, host `206.223.249.118`, port `22`.
+- SSH configuration: `~/.ssh/config`.
+- Identity file: `~/.ssh/akyldash_codex` (path only; never copy its contents).
+- `codex` can run unprivileged read-only diagnostics. It has no sudo or Docker
+  group membership; Docker CLI access to the daemon is denied. Do not add it to
+  either group.
+- Bootstrap is complete. Docker and Compose are active, but no root-owned
+  repository checkout or restricted helper is installed yet. The owner can run
+  `infra/bootstrap/audit-host.sh` from the reviewed root-owned checkout to
+  report Docker containers/volumes, protected-file metadata, UFW rules, ports,
+  and ISPmanager status without showing secret contents or changing state.
+- Host package/service configuration, firewall changes, protected env/secret
+  creation, backup creation, recovery apply, and production deployment require
+  a reviewed owner/root command. `infra/deploy/install-helper.sh` grants the
+  fixed verifier, read-only Compose `config`/`status`, and guarded rollback
+  commands. It does not grant general sudo or Docker access; it is not
+  installed on the VPS.
+- `infra/deploy/prepare-production-config.sh` is an owner-run root operation.
+  It refuses to overwrite existing files, copies only the tracked env example,
+  generates a random review secret, and writes both files with mode `0600`.
+  It does not start Compose or create volumes.
+- Never connect to other VPS hosts or Synology as part of this deployment.
+
+This execution environment is WSL2. The repository is on the Windows-mounted
+`/mnt/d` filesystem, while SSH config and the identity file are in the Linux
+home directory. Do not assume Windows SSH credentials are available or copy
+keys between environments. Plain `ssh akyldash_vps` failed because the system
+SSH config include had unsafe permissions. Use `ssh -F ~/.ssh/config ...`; in a
+network-restricted session this read-only command may also require approved
+execution. If the key is missing in a future environment, report that
+limitation and do not retrieve it elsewhere.
+
+## Gitea
+
+- Repository: `https://git.vakanaut.ru/admin/akyldash`.
+- Use the installed `gitea-api` helper; it reads credentials from the
+  environment. Never inspect local credential files, print environment values,
+  or construct HTTP authorization headers.
+- The audited API token can read/write this repository and create issues, but
+  does not have `read:user` or `read:package`. Listing repository Actions
+  runners returns `403` because the API principal is not the repository owner.
+  An API `403` caused by missing scope/ownership is not evidence that no runner
+  exists.
+- Protected `main` requires one approval. Do not push directly to `main`, merge
+  automatically, or start a review. Work on a feature branch and use a PR.
+- Gitea Actions and package features are enabled for the repository. The Actions
+  task API currently returns no runs, but runner availability and package
+  publishing permissions have not been confirmed. The repository-level runner
+  is prepared by `infra/runner/install-runner.sh`, but is not installed or
+  registered yet. Only a repository owner may obtain its registration token in
+  `admin/akyldash` Settings → Actions → Runners; do not use organization or
+  instance tokens and never put the token in Git, a command argument, or a
+  report. See [CI_RUNNER.md](CI_RUNNER.md).
+
+## Who can do what
+
+| Role | Operations |
+|---|---|
+| `codex` over SSH | Unprivileged diagnostics; Docker daemon, UFW rules, and protected paths require the root audit script |
+| Restricted helpers | Read-only drift check and Compose `config`/`status`, plus guarded rollback; not installed on the audited VPS |
+| Restricted rollback helper | Can restore prior local backend/OpenSearch images from a verified backup after an explicit data-compatibility confirmation; not installed on the audited VPS |
+| VPS owner/root | Bootstrap, package installation, SSH/firewall, secret setup, recovery, and approval of production changes |
+| Gitea repository writer | Feature branch push and PR creation; protected-main merge needs an approval |

docs/operations/BACKUP.md

@@ -0,0 +1,80 @@
+# Backup and restore
+
+## Current status
+
+The owner requires that a complete production archive never be written to the
+VPS, even temporarily. The reviewed implementation in PR #59 streams stopped
+Compose state directly from the root receiver to the owner's Windows client;
+the client stores it only under `D:\Dev\akyldash\.backups`. The VPS retains
+only a secret-free identity (backup ID, size, archive and manifest hashes,
+manifest) in root-owned release state. The Windows rerun passed 12 synthetic
+client checks, 8 protocol checks, and a disposable real-NTFS private owner-ACL
+fixture. The production D: path, SSH connection, VPS installation, and
+full production backup remain unverified. There is no verified production
+backup, so production deployment remains blocked.
+
+## External backup flow
+
+- The release receiver takes the shared deployment lock and stops the stack.
+- It streams a tar/gzip archive through a bounded binary SSH session. It does
+  not create a local archive or temporary full-size copy on the VPS.
+- The Windows receiver requires the exact D: repository, a real NTFS path,
+  restrictive ACLs, and the exact `/.backups/` rule in that checkout's local
+  `.git/info/exclude`. Before SSH connects, it also requires at least 100 GiB
+  plus 1 MiB of free D: space, matching the protocol's maximum archive size.
+  The ACL owner and every allowed full-control entry must be the current user,
+  SYSTEM, or local Administrators; other and deny entries fail closed.
+  It writes into a private staging directory, checks the
+  stream size and SHA-256, verifies the archive and manifest, then publishes
+  the complete backup directory without overwriting an existing ID. It checks
+  the published ACL before acknowledging; on failure it removes only the same
+  verified staging directory, and refuses cleanup if its identity or contents
+  have changed.
+- Only after Windows confirms the stored archive identity does the VPS proceed
+  with image cutover. If backup transport or verification fails, it attempts
+  to restart the previous services and records a recovery journal if restart
+  fails.
+- Rollback first challenges Windows with the root-pinned previous backup
+  identity. Windows verifies the local archive and streams it back; the VPS
+  compares its exact size and SHA-256 before stopping services. Rollback then
+  creates a fresh external backup of the current state before changing image
+  references. It restores images only, never application data or OpenSearch
+  state.
+
+Windows PowerShell is the intended client. The Windows checks exercised the
+destination and ACL rules, including a disposable real-NTFS private owner-ACL
+fixture. The actual production D: destination and SSH path remain unverified.
+An owner must separately test archive restore on an isolated target before
+relying on this path. Do not restore over production as a test.
+
+## Backup contents and limits
+
+The existing `infra/backup/archive.py` manifest records the Git revision,
+deployment-file hashes, image references and IDs, and the components included
+in the archive: application data, OpenSearch, Caddy data/configuration,
+`production.env`, and the review secret. Secret-bearing files and SQLite files
+are archived with restrictive modes. The archive verifier rejects unsafe
+members and checks SQLite integrity. SSH encrypts archive bytes in transit.
+The destination contains secrets and private keys; D: encryption at rest (for
+example, BitLocker) has not been verified. This PR adds no client-side
+encryption or signing, so the owner must verify storage encryption and retain
+the restrictive ACLs before using it.
+
+The external protocol caps control frames at 64 KiB, chunks at 1 MiB, and the
+archive at 100 GiB. SSH provides transport encryption and server host-key
+verification. The receiver uses a fixed SSH command and does not accept a
+caller-supplied path or shell command. It relies on the existing owner SSH
+configuration; no key, host entry, sudo rule, or VPS setting is added here.
+
+## Restore
+
+Use `infra/backup/archive.py restore` only with an archive already present in a
+protected owner-controlled location, and target a new staging directory on an
+isolated recovery host. Review [recovery](RECOVERY.md) and
+[deployment](DEPLOYMENT.md) first. This PR does not perform or authorize a
+production restore, data migration, or VPS operation. Keep the previous
+external archive until the owner has verified the replacement and explicitly
+approved its retention period.
+
+The former `/var/backups/akyldash` create/verify procedure is superseded and
+must not be used for a full production archive on the VPS.

docs/operations/CI_RUNNER.md

@@ -0,0 +1,256 @@
+# AkylDash Gitea Actions runner
+
+## Scope and isolation
+
+The deployment follows the official [Gitea 1.25 act_runner guide](https://docs.gitea.com/1.25/usage/actions/act-runner/)
+for repository-scoped registration. Gitea warns that access to a Docker daemon
+is root-equivalent; the dedicated rootless daemon is used instead of the
+production daemon. The pinned binary and checksum are published in the
+[official Gitea download directory](https://dl.gitea.com/gitea-runner/0.2.13/).
+
+The runner is reserved to repository `admin/akyldash`, using the token under
+`https://git.vakanaut.ru/admin/akyldash/settings/actions/runners`. Do not use
+organization or instance runner settings. Pin the official `act_runner`
+`0.2.13` x86_64 binary from `dl.gitea.com`; the installer verifies its SHA-256
+before placing it on the host.
+
+CI jobs run in `docker.gitea.com/runner-images:ubuntu-24.04` containers with
+capacity 1, per-job limits of 2 CPU, 3 GiB RAM and 512 processes, and a 15 GiB
+dedicated ext4 loop-backed Docker data filesystem. The runner account's home
+directory is root-owned mode `0711`, so CI cannot rename the image or mountpoint
+entries. Docker config remains under `.config`; registration state and the
+runner workspace live in `.config/act-runner`, which is runner-owned. The
+rootless Docker setup and user service use `.config/act-runner` as writable
+`HOME`, `.config` as `XDG_CONFIG_HOME`, and
+`.config/act-runner/.local/share` as `XDG_DATA_HOME`. This keeps Docker config
+and its systemd user unit in the existing `.config` tree without granting
+write access to the protected home.
+The runner systemd unit uses `ProtectHome=read-only` so `/run/user` remains
+visible; `ReadWritePaths` retains the existing `/run/user/$uid` writable
+carve-out for the runner's rootless runtime. `ProtectHome=yes` would hide
+`/run/user` and break the configured runtime and Docker socket paths. See the
+[systemd.exec documentation](https://www.freedesktop.org/software/systemd/man/255/systemd.exec.html#ProtectHome=).
+The rootless Docker daemon and runner user are separate from production Docker;
+`codex` is not added to
+sudo or Docker groups. Jobs do not receive the rootless Docker socket, the
+production Docker socket, production environment/secrets, or arbitrary host
+bind mounts. The runner account has no access to `/etc/akyldash` or the
+root-owned application checkout. These are host permission boundaries, not a
+claim that untrusted project code is safe; review workflow changes and actions
+before merging them.
+
+The runner service restarts on failure and boot. Systemd caps the runner
+account's shared slice to 2.5 CPU, 4 GiB RAM and 2048 tasks; the rootless
+daemon is separately capped to 2 CPU, 4 GiB and 1024 tasks, while each job has
+the limits above. Runner logs go to a rotated file (10 MiB, 7 copies). A
+systemd timer checks the runner service and the rootless Docker API each minute;
+on failure it restarts the fixed runner service. No UFW changes or public
+metrics ports are needed. Runner cache is disabled.
+
+The CI workflow and `runner-smoke.yaml` target the repository runner label
+`akyldash-ci`. CI keeps the backend, Telegram, backup/restore, deployment,
+bootstrap, runner, Compose, and Caddy checks. Caddy validation runs in a pinned
+container action with explicit `/usr/bin/caddy` entrypoint. The workflow passes
+Gitea's `${{ github.workspace }}` value into each container action; Caddy and
+Kaniko use that supplied path for repository files instead of assuming a
+container workspace location. Both production
+Dockerfiles are built in a separate pinned Kaniko container action with explicit
+`/kaniko/executor` entrypoint using the runner's rootless container engine; the
+job container receives no Docker socket. Kaniko uses `--no-push` and
+`--no-push-cache`, so CI validates the full backend and OpenSearch builds but
+does not publish images or export build output. The two builds run sequentially
+within one job. CI run 69 completed both builds historically; the latest
+verified main CI run 175 and smoke run 176 succeeded on `b5adc092`. Actual per-action
+resource-limit enforcement and peak memory or disk usage were not independently
+measured or verified. No registry credentials, production service secrets,
+elevated container options, or arbitrary host mounts are configured in PR CI.
+
+The Kaniko action uses the `linux/amd64` v1.28.5-debug manifest
+`sha256:c73ca67a3b494bce79a8fb6090c4f73c18997ab272d80bffc460a62343aeb412`,
+listed in the [official GitHub Packages entry](https://github.com/osscontainertools/kaniko/pkgs/container/kaniko/1271366984?tag=v1.28.5-debug).
+The pinned Caddy image digest remains the same as the former `docker run`
+validation. act_runner starts these container actions; they do not expose its
+rootless Docker socket to workflow steps.
+Production deployment is not enabled. `release-images.yaml` now starts only
+after a successful `CI` workflow run for a push to `main`; it checks the source
+workflow, event, branch, conclusion, and SHA and checks that the SHA is still
+the current `main` before exposing Registry credentials. It checks out that
+exact source SHA and uses the release workflow's own run ID for image tags and
+the schema-v3 descriptor. PR CI remains no-push and receives no Registry or
+production credentials.
+
+Image publication still requires the existing `REGISTRY_USERNAME` and
+`REGISTRY_PASSWORD` Actions secrets, which are not configured or verified.
+When configured, they must be package-write-only for the two approved image
+names. The release descriptor is unsigned. The SHA-256 is included in the
+artifact name so a later workflow can identify the expected digest from
+artifact metadata without treating job output as trusted input. The existing
+SHA-256 sidecar remains inside the artifact. The workflow has not yet run with
+Registry credentials, and the sequential Kaniko build's peak resources have not
+been measured beyond the configured 2 CPU, 3 GiB RAM, 512-process job limits.
+
+`deploy-handoff.yaml` runs after a successful release on `main`. It rechecks the
+source run and stale-SHA guard. Its current mode is explicitly dry-run: it may
+read JSON artifact metadata using the installed `gitea-api` helper when present,
+but it never downloads the ZIP or opens an SSH connection. If the helper is not
+present in the job image, it reports that artifact metadata and host handoff
+remain unverified. No SSH, sudo, production secret, or Docker socket is passed
+to the runner.
+
+Gitea 1.25.5 documents a run-artifact metadata endpoint and a ZIP endpoint that
+redirects to a blob URL. The currently audited `gitea-api` helper supports JSON
+GET requests but has no binary output option and does not follow redirects, so
+it cannot yet fetch and independently verify the host-side artifact. Do not
+enable a live handoff until an owner-approved binary-safe retrieval capability
+validates HTTPS redirects and never forwards the API token across origins. The
+host must independently validate the successful `main` release run, artifact
+name and ZIP sidecar before any guarded deployment. The owner must also verify
+artifact and Registry retention covers the rollback window.
+
+## Installation and registration
+
+Review the root script and host audit output before running it. It installs
+`uidmap`, `dbus-user-session`, `curl`, `logrotate`, and Docker's rootless extras;
+creates the dedicated system user and selects the first free, shared 65536-ID
+range from `/etc/subuid` and `/etc/subgid`; reserves 15 GiB
+for runner images/workspaces; and configures systemd services. It starts only
+the separate rootless Docker daemon; the runner and health timer stay disabled
+until repository registration. It does not change
+SSH/UFW, production Docker configuration, application data, or production
+secrets. It can be rerun after partial setup: it validates and reuses an
+existing runner account, subordinate ID mappings, image, and mount unit. An
+existing image must be exactly 15 GiB and contain ext4; a mismatch stops the
+installer without resizing or formatting it. The runner account must retain
+a non-root system UID below `UID_MIN`, its expected home, primary group, and
+sole supplementary group. After validating the account, the installer locks
+its home directory to root ownership and mode `0711`; it refuses to rerun while
+the runner service is active, so it cannot interrupt a job. The mount
+is started only when it is not already active, and an active mount must be the
+expected ext4 loop device backed by the runner image with both `nosuid` and
+`nodev` active. Runner-home directories and user configuration files are
+created in runner-owned subdirectories. Root creates only the first `.config`
+entry beneath the already locked home; subsequent directory and config writes
+run as `akyldash-runner`. The installer rejects static symlinks and validates
+ownership and mode after setup. This also normalizes the `0755` intermediate
+directories left by the first installer version. Conflicting files or state
+stop the installer for manual inspection. A new image requires at least 25 GiB
+free on `/`. Image creation opens each parent component without following
+symlinks, creates the image exclusively relative to the opened directory, and
+passes the open file descriptor to `mkfs.ext4`; validation checks the same inode
+and rejects path replacement. Systemd mounts the image under the root-owned home
+entry, which the runner cannot replace after validation.
+
+If the reviewed checkout is not present at the inventoried path, first verify
+that the target is absent and clone the reviewed `main` there. Do not overwrite
+an existing checkout.
+
+```bash
+sudo test ! -e /opt/akyldash/current
+sudo git clone --branch main \
+  --single-branch https://git.vakanaut.ru/admin/akyldash.git \
+  /opt/akyldash/current
+```
+
+From that root-owned reviewed checkout on the VPS:
+
+```bash
+sudo bash /opt/akyldash/current/infra/runner/install-runner.sh
+```
+
+Then, as a repository owner, open repository **Settings → Actions → Runners**,
+create a repository-level runner, and copy its registration token locally. Do
+not send the token in chat or save it in the checkout. Register interactively
+in a terminal so it is not placed in shell history or process arguments:
+
+```bash
+sudo -u akyldash-runner env HOME=/var/lib/akyldash-runner/.config/act-runner \
+  /usr/local/bin/act_runner \
+  --config /etc/akyldash-runner/config.yaml register
+```
+
+Enter `https://git.vakanaut.ru/`, the token, runner name `akyldash-ci-vps-01`,
+and label `akyldash-ci:docker://docker.gitea.com/runner-images:ubuntu-24.04`
+when prompted. The config sets the label and capacity; verify them in the
+repository runner settings. The token is saved only in the mode-0700 runner
+runtime directory, outside Git. Start/enable the runner after registration:
+
+```bash
+sudo systemctl enable --now akyldash-act-runner.service
+sudo systemctl enable --now akyldash-runner-healthcheck.timer
+sudo systemctl status akyldash-act-runner.service
+sudo systemctl status akyldash-runner-healthcheck.timer
+```
+
+The interactive command's terminal behavior should be confirmed before pasting
+the token. If it echoes input, stop and use the repository settings to revoke
+that token; do not put it in command-line arguments or environment variables.
+
+## Validation
+
+1. Confirm the runner is **Online** in the repository runner settings, with the
+   expected name and `akyldash-ci` label.
+2. Confirm **Runner smoke test** runs for the open PR (or dispatch it manually).
+   It checks that production
+   sockets, files, environment secrets, and writable application paths are not
+   present in the job container.
+3. Confirm the run reports the expected runner, succeeds, and the runner
+   service and health timer remain active.
+4. Inspect the `CI` workflow run and confirm Caddy plus both no-push Kaniko
+   actions pass on `akyldash-ci`. Image publication is a distinct manual
+   main-only workflow with package-only credentials; it does not deploy.
+   Never add production service secrets, Docker socket access, or host mounts
+   to this runner.
+
+## Upgrade
+
+Update `runner_version` and its expected official SHA-256 together in
+`infra/runner/install-runner.sh`, review upstream release compatibility with
+the installed Gitea, and open a PR. Do not replace the binary while a job is
+active. Stop the runner, install/verify the new binary, then start it and
+confirm Online plus a smoke run. Preserve
+`/var/lib/akyldash-runner/.config/act-runner/.runner`.
+
+## Recovery and rollback
+
+The runner is disposable: production data and secrets are not on its filesystem.
+For a runner process failure, inspect `systemctl status` and
+`journalctl -u akyldash-act-runner.service`; restart the fixed runner service.
+If installation stops after creating or enabling the mount unit, inspect the
+image and mount with `stat`, `blkid`, `findmnt`, and `losetup`, then rerun the
+reviewed installer only when the image is 15 GiB ext4 and the active mount is
+backed by it. The installer recognizes that state and does not format or
+restart the mounted filesystem. If size, filesystem, unit contents, or backing
+device differ, stop and resolve the state manually; never format the existing
+image as a retry.
+For lost/corrupt registration state, stop the service and obtain a fresh
+repository-level token from Settings → Actions → Runners. Preserve the 15 GiB
+data image and state for diagnosis; re-register only after the repository
+owner confirms/revokes the old runner in Gitea. The images/cache can be rebuilt
+from the workflow. Never format or remove an existing runner store as an
+automatic recovery step.
+
+## Status
+
+The owner reports that the repository-scoped runner is registered, appears
+Idle in Gitea, and its rootless Docker daemon works; the report date was not
+recorded. Gitea status checked 2026-10-18 showed smoke run 62 successful and CI
+run 61 pending on head `69c62466`. That workflow requested `ubuntu-latest`,
+while the smoke workflow used `akyldash-ci`; the label difference is a
+plausible explanation for the pending status, but the runner inventory API
+returned 403 and the scheduler's reason was not independently confirmed.
+
+On head `3a89dc21`, CI run 63 failed at the host audit root guard and smoke run
+64 succeeded. On head `436806a8`, CI run 65 failed in the Caddy container action
+with `exec: "validate": executable file not found`; Kaniko was skipped and smoke
+run 66 succeeded. On head `d96fc4d3`, CI run 67 failed because the Caddy action
+looked for `/github/workspace/deploy/production/Caddyfile`, which was not
+mounted at that fixed path; Kaniko was skipped and smoke run 68 succeeded. On
+head `5d72bb09`, CI run 69 and smoke run 70 succeeded. CI validated the Caddyfile
+and built the backend and OpenSearch images using `${{ github.workspace }}`.
+Actual per-action resource-limit enforcement and peak usage were not
+independently measured or verified. Image publishing, host-wide resource
+metrics, and production deployment remain unverified. Root-guard tests
+use `setpriv` for negative cases when jobs start as UID 0 and separately test
+the host-audit guard with simulated UID 0 and UID 65534; the real host audit,
+production config setup, and runner installer are never executed as root by
+those tests. No VPS changes are part of this PR.

docs/operations/CORPUS_HANDOFF.md

@@ -0,0 +1,184 @@
+# Corpus inventory and production handoff
+
+The repository contains a read-only verifier for the ignored local corpus at
+`data/minjust-cbd/` and `data/minjust-normalized/`. It does not download,
+normalize, copy, index, or modify source files. Keep inventory artifacts outside
+the repository and both source trees.
+
+## Run the inventory
+
+From the repository root, create a private artifact directory and run:
+
+```bash
+artifact_dir=$(mktemp -d /tmp/akyldash-corpus-audit.XXXXXXXX)
+python3 infra/deploy/verify_corpus.py \
+  --raw-root data/minjust-cbd \
+  --normalized-root data/minjust-normalized \
+  --output-dir "$artifact_dir"
+```
+
+The tool writes `result.json`, `inventory.sqlite3`, and a persistent lock file
+into that directory. Keep the directory private: the inventory contains source
+paths and checksums. A second run against the same artifact directory is
+rejected while a scan is active. Exit
+status `0` means the scan and structural checks completed without errors; `1`
+means findings were recorded or the run is incomplete; `2` means the arguments
+or artifact path were invalid. Read `result.json` to distinguish those states.
+Warnings, including documents with zero text fragments, are reported
+separately and do not turn the scan into a failure.
+
+For an interrupted run, use the same artifact directory and add `--resume`.
+Resume rehashes every source file instead of trusting cached timestamps, then
+reports added, changed, and removed paths relative to entries already stored
+in the inventory. After resuming an interrupted first pass, those counters are
+relative to the partial saved inventory; the full rehash and final checks still
+cover every path. A successful result therefore describes the latest complete
+pass. Run against a quiescent corpus; do not normalize, fetch, or copy files
+into either source tree during the scan. Do not point `--output-dir` inside
+either source tree or through a symlink. The verifier rejects such paths before
+creating or changing them; it also flags symlinks, reparse points, hard links,
+unsupported file types, and files that change while being read.
+
+The inventory database schema is versioned. Resume requires the same root
+metadata and verifier SHA-256 recorded in `result.json`; start a new artifact
+directory after changing the verifier. `entries` counts files plus directories;
+`files` and `directories` are separate counts. Document-prefix checks use
+indexed path ranges, and stale-path reporting streams rows from SQLite.
+
+The audit checks SQLite integrity, manifest/document directory agreement,
+normalized schema and normalizer versions, source inventory checksums,
+fragment identities and text hashes, required output files, and text assembled
+from fragments. It does not establish the legal authority, completeness, or
+semantic correctness of MinJust content.
+
+## Compare source and staging before transfer
+
+Run a complete inventory of the approved normalized source and the copied
+staging tree into separate private artifact directories, using
+`--normalized-root` for each. Require `status: complete` and
+`verification_status: passed` in both results. The comparison command also
+requires each manifest to contain at least one document and each normalized
+tree to contain at least one fragment; an empty source or staging tree is a
+failure.
+
+```bash
+python3 infra/deploy/compare_corpus_inventories.py \
+  "$source_artifacts/result.json" "$staging_artifacts/result.json"
+```
+
+The checker streams every relative path, size, and SHA-256 from both SQLite
+inventories, and requires the same verifier/schema version and different
+normalized roots. It opens both existing private `.inventory.lock` files
+read-only and holds shared nonblocking locks through comparison; a missing,
+unsafe, or busy lock fails closed. A zero exit status confirms a non-empty
+staging tree matches the source. Keep both trees quiescent during their scans
+and comparison. This is an equality check only; the owner still reviews the
+code `6` disposition and approves the transfer destination.
+
+## Current data disposition
+
+As measured on 2026-10-18, both local manifests contain 209,958 documents and
+pass SQLite `quick_check`. All normalized manifest entries are `success` at
+schema `1` and normalizer `1.0.0`. The raw manifest records one fetch error for
+code `6`, which is absent from its `documents` table; this does not prove that
+the source document is absent. On 2026-10-18, bounded calls through the
+repository's rate-limited MinJust client received HTTP `404` for
+`GetDocumentListByQuery`, `GetDocument(6)`, control `GetDocument(1096)`, and
+`CheckAvailable`. The listing call failed before returning a code list, and
+both document calls failed identically. The repeated `404` is consistent with
+the OpenData endpoint being unavailable or its route having changed, but does
+not identify which. It is not evidence that code `6` is absent. The [public
+document listing page](https://cbd.minjust.gov.kg/list-docs/kg) was reachable,
+but it does not confirm this numeric API code. Do not describe the corpus as
+fully verified or silently waive this error. Recheck the official listing and
+API when the endpoint responds, then record an explicit owner disposition.
+From the VPS, a metadata-only HTTPS check to `CheckAvailable` failed at the
+HTTP/2 transport layer (`curl` exit 92, `INTERNAL_ERROR`, HTTP status `000`,
+TLS verification `0`). An HTTP/1.1 retry was not completed.
+
+## Current API and bounded code 6 recovery (2026-10-20)
+
+The current official site uses `POST /api/v1/GetDocuments` (page size 12),
+`GET /api/v1/GetDocument?DocumentCode=...`, and
+`GET /api/v1/GetEdition?editionId=...&lang=ru|kg`. A bounded first-page probe
+reported 210,639 records; this recovery does not enumerate the full list. The
+official alias `1-4` resolves to canonical code `205064`. Code `6` is present
+and has 201 editions. The edition order in `GetDocument` is authoritative;
+numeric IDs do not define currentness.
+
+For `lang=kg`, the API returns Kyrgyz HTML in `contentRu` and `contentKg=null`.
+The bounded adapter maps that response by the requested language to archive
+`ky`, preserves the response and checkpoints, limits requests to one per
+second, caps JSON responses at 16 MiB, and caps one document's text at 4 GiB.
+It writes only to a separate generation under `/tmp`; it neither resumes nor
+overwrites the existing ignored corpus.
+
+Without `exact=true`, a request for `920292` returned response field
+`id=920492` despite different text length/hash. Two exact probes for `920292`
+and `920492` returned matching IDs and names/dates (`04.08.1998` and
+`13.04.2017`) matching `GetDocument`; their RU text lengths/hashes were
+485,487 / `2b51c2ff4e9b91cbe2a7ed052a5a9ed9150bda993fc15c120ac948580926b718`
+and 1,139,908 / `e5f0fdbb47766e5a5dbb971183d765e4c1dcaf9c969a218a84206244ce9132e8`.
+The adapter now requires `exact=true`, returned-ID equality, and matching RU/KY
+names before a language checkpoint can complete. Its versioned request
+contract is part of both staging metadata and the SQLite resume identity;
+pre-contract generations cannot be resumed.
+
+The adapter does not independently validate attachments or embedded media.
+Even after the text stage completes, the raw manifest records this as an
+unresolved error. Do not merge this single document into the existing corpus,
+claim corpus completeness, or transfer it to production without a separate
+review and comparison. The prior no-exact pass at
+`/tmp/akyldash-current-code6.ZAMC37u4ex` is marked quarantined in
+`qualification.json`; its 240 text checkpoints and 304,493,520 bytes are
+retained as unverified, with no document directory published. Its preserved
+work-tree SHA-256 is
+`1e874c1d7fab1e00e7e45ff1b16422ea474e22ee13c901ac9a0612f47aa5d24a`. It must
+not be reused or normalized.
+
+The exact-only generation at `/tmp/akyldash-current-code6-exact.L4k3AvnOlP`
+contains 201 editions and 402 complete RU/KY text checkpoints (604,377,885
+raw bytes). The raw manifest passes `quick_check`; its stored source SHA-256
+matches the staged document tree at
+`81d8e1a53b2ebef61f08b56d04b3f0a80077d587a4fadae0152bb4b7f13055ea`. Separate
+normalization at `/tmp/akyldash-current-code6-exact.L4k3AvnOlP-normalized`
+passes `quick_check`, records normalizer `1.1.0`, and preserves first/last
+edition order `920292` (`04.08.1998`) to `920492` (`13.04.2017`). The normalized
+generation is about 2.05 GB. Neither temporary generation has been merged into
+the existing corpus. Attachments and embedded media remain unverified.
+
+The first full pass (run `b4a4556e30cc464d90bc8d75ef1673e9`) stopped before
+validation with `Python int too large to convert to SQLite INTEGER` after
+2,120,420 raw entries and 397,856 normalized entries. This was an inventory
+metadata storage failure, not a corpus finding. The verifier now stores file
+identity values as text and records its own SHA-256. A complete rehash with the
+updated verifier is required; do not treat the failed pass or progress output
+as a completed audit.
+
+A fresh full rehash is now running in `/tmp/akyldash-corpus-audit-final.gtsD87vc`,
+run `f4dd5e53020f442bbbecee2d0e4986a6`, verifier SHA-256
+`83dac230099fc91972cd14e86e9f8ec72d13bca08f53d402f13a169e096d98f5`. Check
+its private `result.json` for final counters, findings, and manifest comparison.
+
+## Production transfer and indexing gates
+
+Production deployment is not enabled. Before any transfer, the owner must
+review the root-only host audit, confirm the target data location is empty or
+backed up, resolve the raw code `6` finding, and approve the exact normalized
+corpus to use. Transfer only `minjust-normalized/`; keep the raw source archive
+offline. Do not preserve the source's Windows/WSL file permission bits. Copy
+to a new staging location with owner-approved permissions, verify the copied
+manifest and files there, and only then consider placing it under `DATA_ROOT`.
+Never overwrite an existing corpus or OpenSearch volume.
+
+The bulk importer now refuses alias publication until all Bulk item results
+are successful, the full staged index is refreshed, its fragment count exactly
+matches the complete normalized inventory (including on resume), and approved
+Russian and Kyrgyz canaries both return text. The alias must currently target
+the exact `--expected-old-index`; wildcard removals and implicit first-time
+alias creation are rejected. OpenSearch performs removal of that exact target
+and addition of the candidate in one alias request. A mismatch or validation
+failure leaves the existing alias untouched. This is a code-level gate only:
+no production index or corpus was changed, and the live inventory and canary
+terms still require owner verification. See `backend/README.md` for the
+operator flags and use a new versioned index for every candidate.

docs/operations/CURRENT_STATE.md

@@ -0,0 +1,435 @@
+# Infrastructure current state
+
+## Proposed external deployment runtime binding — 2026-11-01
+
+- PR #59 now proposes a root-only read-only status endpoint and exact-literal
+  SSH dispatcher for `status` and `deploy`. The status path bounds the Gitea
+  run list to ten entries, verifies the selected run/workflow/current `main`,
+  validates artifact metadata and ZIP bytes, and returns only a release tuple.
+  It fails closed for a stale host checkout, recovery journal, incomplete
+  listing, or the exact release already recorded as applied. The deploy
+  receiver still independently revalidates and uses the existing lock,
+  recovery journal, cold-backup ACK, cutover, and rollback protections.
+- The Windows client proposes a disabled-by-default `--once` mode with a
+  fixed `D:\Dev\akyldash` target and `akyldash_release` alias. The example
+  config and Task Scheduler XML are both disabled; the template uses an
+  interactive least-privilege owner, ignores overlapping invocations, and
+  does not wake the computer. No Windows task, SSH key, VPS command, helper,
+  or trigger config has been installed or exercised. Production CD remains
+  inactive.
+- Remaining owner prerequisites are exact root forced-command/SSH host-key
+  setup for the dispatcher, installation of the reviewed Windows client under
+  a non-user-writable path, private ACLs for its config and D: backups, a
+  root-controlled checkout matching current `main`, and all previously listed
+  backup/restore and production readiness gates. The status endpoint does not
+  advance the host checkout and refuses to offer a stale release.
+
+Owner decision recorded 2026-10-26: a complete backup must not be stored on
+the VPS, including temporarily. The local archive/full cold-backup commands in
+`BACKUP.md` are superseded and unauthorized. PR #59 now contains a proposed
+Windows-controlled external stream receiver and root-side deploy/rollback
+code. The Windows rerun passed 12 synthetic client checks and 8 protocol
+checks, plus a disposable real-NTFS fixture for the private owner ACL. The
+production D: path, SSH connection, VPS installation, full backup, and
+separate-target restore remain unverified. No verified external backup or
+separate-target restore exists, so production deployment remains blocked by
+the backup gate.
+
+## Code-only deployment work — 2026-10-31
+
+- Work is being prepared in the existing PR #59 branch from the then-current
+  `main`; no merge, VPS operation, live release, or workflow dispatch was
+  performed for this work.
+- The release descriptor now binds both the release run and its successful CI
+  source run. Host-side source verification uses the installed `gitea-api`
+  helper contract; the PR carries the inspected helper fixture plus a bounded
+  binary-download patch. The installer verifies the fixture hash before
+  applying the patch.
+- Backup bytes are streamed through a bounded SSH protocol to the fixed
+  Windows destination. Root release state stores only a secret-free backup
+  identity. The rollback handshake requires the exact previously pinned
+  archive and creates a fresh external backup before image references change.
+  Local VPS archive paths fail closed.
+- Review fixes in this PR require Gitea `status=completed` with
+  `conclusion=success`, resolve `main` from `/opt/akyldash/current`, write a
+  durable pending journal before stopping services, and reject an already
+  applied release before downtime. The Windows client checks D: capacity,
+  NTFS/path/ACL owner and allowed entries, and the local ignore rule before
+  SSH; it requires 100 GiB plus 1 MiB free. The Windows rerun passed 12
+  synthetic client checks, 8 protocol checks, and a disposable real-NTFS
+  private owner-ACL fixture; actual D:, SSH, and VPS remain unverified.
+- Receiver cleanup after a post-publication ACL failure is identity-bound to
+  the owned staging directory and permits only the expected archive files. A
+  replaced, reparse, or unexpected target is left for manual review without an
+  ACK; this path is covered by local fixtures and the Windows rerun.
+- Synthetic tests cover archive/protocol integrity, helper download rules,
+  artifact/run provenance, receiver publication, release schema, and rollback
+  refusal. The 12 synthetic Windows client checks, 8 protocol checks, and
+  disposable real-NTFS private owner-ACL fixture passed. The actual D: path,
+  SSH alias, Gitea helper against
+  the live instance, root helper installation, artifact redirect, production
+  backup/restore, and actual release/rollback remain unverified.
+- Owner bootstrap blockers remain: verify a root-controlled SSH route for the
+  fixed commands using existing host-key checking; provision only the
+  necessary read-only Gitea token, exact redirect origin if needed, and
+  approved RU/KY canaries; confirm registry pull and retention policy; test
+  the Windows client and a separate-target restore. No new key, sudo rule,
+  Docker access, credential, or VPS setting is added by the code change.
+
+Read-only deployment recheck: 2026-10-25. Source: SSH as `codex`, direct-origin
+and public HTTPS probes, local `main` checkout, and Gitea API. No VPS files,
+services, firewall, containers, volumes, production data, or credentials were
+changed or inspected. Root-only Docker state, UFW rule details, protected file
+metadata, current backup/restore validity, and the live corpus/index remain
+unverified. The 2026-10-18 inventory below is a historical snapshot where it
+conflicts with this dated recheck.
+
+## Latest read-only recheck — 2026-10-25
+
+- `https://akyldash.kg/review` returned HTTP 200 with valid TLS through the
+  public Cloudflare edge and through direct HTTPS to origin `206.223.249.118`.
+  This verifies that route only; it does not prove search or index readiness.
+- TCP listeners now include 22, 80, and 443. The older no-listener/Cloudflare
+  521 observations below are historical, not current state.
+- VPS reports 4 CPUs, 7.7 GiB RAM (about 3.7 GiB available), and 31 GiB free
+  on `/`. Current runner-mount free space was not rechecked.
+- `/opt/akyldash/current` exists, is a root-owned directory mode `0755`.
+  Reading its Git SHA failed with Git's `dubious ownership` safety guard; no
+  `safe.directory` setting was added, so the installed revision is unknown.
+- `akyldash-act-runner.service` is active under `akyldash-runner`; installed
+  `act_runner` is `0.2.13`. The separate `akyldash-runner-restart.service`
+  remains failed since 2026-10-14; its cause could not be read from the
+  unprivileged journal view. No restart was attempted.
+- `akyldash-verify`, `akyldash-compose`, and `akyldash-rollback` are absent
+  from PATH in the unprivileged check; no root helper or Docker operation was
+  run.
+- Gitea is `1.25.5`; `main` is `b5adc09203cbbbd298054248206b9f47ae4a44ca`.
+  CI run 175 and runner smoke 176 succeeded on that commit. Package write
+  access and runner inventory remain outside this API principal's permissions.
+- PR #59 head `852d639c455ff1c60202405e112d47b8128d66c6` received formal
+  review #308 with five requested fixes. CI run 177 failed in
+  `test_digest_rollback_fails_before_stopping_or_changing_references` because
+  the test's global `Path.stat` mock made `Path.exists()` report a false
+  recovery-journal hit under CI Python 3.12; runner smoke 178 succeeded. A
+  fix batch in this PR isolates state paths, handles ambiguous alias/cutover
+  outcomes, verifies rollback image IDs, and adds a synthetic artifact upload
+  check. On 2026-10-25 CI run 179 and runner smoke 180 succeeded at PR head
+  `9d8ce6b6`; CI took 2m43s and the synthetic upload step reported success.
+  The run API identifies run ID 567 and reports `run_attempt: 0`, Gitea's
+  legacy sentinel. The release workflow therefore uses the unique run ID and
+  does not depend on the unavailable attempt value. The run's artifact link was
+  downloaded from Gitea UI as `artifact-smoke-567-`: the ZIP was 191 bytes,
+  SHA-256 `ae0a2262147f222aacb4fdd1d12459f7160c67b1d0ee5d7ae2db1de8958f120f`,
+  and contained the expected 51-byte `marker.txt`. The API artifact listing
+  available to this principal returned no entries, but the downloaded file
+  verifies artifact availability. No live release or VPS change was made.
+- The release descriptor SHA-256 sidecar now records `release-manifest.json`
+  relative to the `release` directory, matching the flattened layout observed
+  for downloaded Gitea artifacts. A local synthetic regression verifies the
+  checksum from the artifact extraction root; the credentialed release
+  workflow remains unrun.
+- Owner-only outstanding evidence: sanitized container/volume and protected
+  file metadata; current backup and separate-target restore verification;
+  live corpus/index counts and RU/KY canaries; Cloudflare TLS mode; registry
+  writer identity and digest retention. Never include secret values in that
+  evidence packet. The checklist is in
+  [`DEPLOYMENT_OWNER_PACKET.md`](DEPLOYMENT_OWNER_PACKET.md).
+
+The deployment PR adds a manual main-only image-publish workflow and an
+owner-run `--no-build` cutover path, but neither has been executed against the
+VPS. Its release descriptor is an unsigned trace record; cryptographic image
+attestation remains a separate owner decision.
+
+## Historical host snapshot — 2026-10-18
+
+Source: SSH as `codex`, local repository inspection, and Gitea API. Root-only
+Docker state, UFW rule details, and protected file metadata were not verified.
+
+## Historical VPS facts — 2026-10-18
+
+- Host: `avprogs.hlab.kz`, `206.223.249.118`, SSH port `22`, user `codex`.
+- OS: Ubuntu Server `24.04.5 LTS`; kernel `6.8.0-142-generic` from the prior
+  inventory audit.
+- Resources: 4 vCPU, 7.7 GiB RAM, 3.8 GiB swap, 99 GiB root filesystem with
+  84 GiB free on 2026-10-18. Runner storage is a separate 15 GiB ext4 loop
+  mount with 12 GiB free at that check.
+- Network: interface `ens3`, IPv4 `206.223.249.118/32`.
+- `codex` is UID/GID 1000, groups `codex` and `users`; `sudo -n true` requires
+  a password. Docker CLI cannot access `/var/run/docker.sock` as `codex`.
+- SSH service is running. The inspected sshd configuration has public-key and
+  password authentication enabled and `PermitRootLogin yes`; no SSH changes
+  were made.
+- Bootstrap completed. Docker CLI `29.9.0` and Compose `5.6.0` were rechecked
+  over SSH on 2026-10-18; containerd `2.4.1` and runc `1.5.2` are from the
+  prior package audit. The Docker daemon API remains root-only.
+- `/etc/docker/daemon.json` has the expected `local` log driver and `10m` / `3`
+  rotation limits. Bootstrap paths exist with root ownership: `/opt/akyldash`
+  mode `0755`, `/etc/akyldash` and `/var/backups/akyldash` mode `0700`, and
+  `/var/lib/akyldash/data` mode `0750`.
+- `/opt/akyldash/current`, verifier/rollback binaries, and the sudoers file are
+  absent. `codex` has not received sudo or Docker-group access. Metadata for
+  `/etc/akyldash/production.env` and `/etc/akyldash/review_secret` could not be
+  checked because access is denied. The target
+  `/var/lib/akyldash/data/minjust-normalized` and its manifest metadata were
+  also denied; their presence, ownership, and contents are unknown. No sudo was
+  used.
+- TCP listeners observed: SSH `22` and loopback DNS only; no listener on `1500`,
+  `80`, or `443`. No ISPmanager package or service unit was found through the
+  unprivileged checks; root can confirm with the audit script below.
+- Owner reports UFW is active and allows TCP `22`, `80`, `443`, and `1500`.
+  Rule details were not independently read; no firewall changes were made.
+- Additional read-only runner checks on 2026-10-12 confirmed `/` is ext4 with
+  about 92 GiB free at the prior audit, `/usr/bin/dockerd-rootless.sh` exists,
+  and `git.vakanaut.ru` resolves to `195.209.48.28`. From the VPS,
+  `https://git.vakanaut.ru/api/v1/version` returned Gitea `1.25.5`; runner
+  registration and Gitea Actions protocol connectivity are not confirmed.
+- `akyldash.kg` resolved to Cloudflare IPv4/IPv6 edge addresses. HTTPS returned
+  Cloudflare `521` on this historical 2026-10-18 check; current recheck is
+  recorded above. Cloudflare Full (strict) mode remains unverified.
+
+## Historical application and Gitea facts — 2026-10-18
+
+- Repository: `admin/akyldash`, default branch `main`; Gitea version `1.25.5`.
+- The repository API reports push permission, Actions and packages enabled, and
+  PRs enabled. `main` is protected and requires one approval; the current API
+  principal cannot push or merge directly to `main`.
+- The repository runner-list API returns `403` because this API principal is
+  not the repository owner. The latest verified CI run 75 and smoke run 76 both
+  succeeded on `main` head `0e276ae6`. The Actions run-list endpoint returned
+  `403` for this API principal during this recheck, so no newer run state was
+  independently retrieved. The owner reports the runner is registered and
+  Idle; repository runner inventory and package publishing permissions remain
+  unverified.
+- No public application listener is observed on TCP `80`/`443`. Docker
+  container/volume state still requires the root audit. Repository Compose describes
+  Caddy `2.11.6` pinned by digest, Python Search API `0.12.2` in this branch,
+  SQLite account/review data, and OpenSearch `3.7.0` with `analysis-icu`.
+- The target publishes only Caddy on TCP `80`/`443`. Backend and Caddy share a
+  proxy network; OpenSearch and backend share a separate internal network, and
+  backend has no host port. Caddy certificate storage, OpenSearch, and
+  application data use persistent volumes/bind mounts.
+- The root-owned repository checkout, production env/secret files, Compose
+  volumes/containers, backup, verifier/rollback helpers, and application are
+  not confirmed installed. TLS and registry digest deployment for
+  backend/OpenSearch are not configured.
+- The repository has a cold-backup archive/verification tool and a one-shot
+  restore apply tool that requires a marked replacement host. Backup/restore
+  tests use synthetic data; neither tool has run against production. The
+  archive preflight permits a clean first deployment to skip backup, requires
+  backup for existing persistent data even without containers, allows absent
+  named volumes only in explicit corpus-only initial-deployment mode, and
+  rejects inaccessible/ambiguous mounts and incomplete/running service
+  containers. Initial deployment docs require a second verified backup after
+  index and admin initialization.
+- Recovery bootstrap has an explicit `--recovery-target` mode that refuses the
+  inventoried production hostname/IP; its host-identity guard has shell tests.
+  The mode has not been run on a VPS.
+- The repository defines a root-owned read-only verifier, Compose `config` and
+  `status` helper, guarded rollback helper, and installer with exact sudoers
+  command rules. None was installed on the VPS at this inventory. The current
+  PR adds fixed root-side release/rollback receivers without adding a `codex`
+  sudoers rule or Docker access. Neither receiver has been installed or run.
+- The former local-VPS rollback path has been superseded and now fails closed.
+  The PR rollback path requires a root-pinned external archive identity,
+  rechecks its exact bytes through the owner client, creates a fresh external
+  backup before changing refs, and preserves a secret-free recovery journal on
+  failure. Synthetic tests only; no production rollback was performed.
+- The image release workflow now starts after successful CI for a push to
+  `main`. It checks the source workflow/event/branch/conclusion and exact source
+  SHA, checks out that SHA, and uses both release and source run IDs in the
+  schema-v4 descriptor. Registry secrets `REGISTRY_USERNAME` and
+  `REGISTRY_PASSWORD` remain unconfigured/unverified; no values were created or
+  inspected. PR image builds remain no-push. The descriptor SHA-256 is included
+  in the artifact name, and the artifact also retains its checksum sidecar.
+  The descriptor remains unsigned trace metadata, not cryptographic
+  attestation.
+- A separate `deploy-handoff.yaml` runs after a successful release and checks
+  the source run and stale-main guards. Its job is explicitly
+  `NOT DEPLOYED - handoff status only`; a green result is not a deployment. It
+  reads artifact metadata through `gitea-api` only if that helper is available
+  in the job image; otherwise it reports metadata and host handoff as
+  unverified. It does not download artifact ZIPs, connect to SSH, or apply a
+  release. No repository workflow binding to a Windows runtime starts the
+  receiver. PR #59 now proposes a separate disabled local `--once` trigger
+  that queries a root-verified tuple; it is not installed or active. Image
+  release is automated, but production deployment is not yet automatic CD. The original
+  audited `gitea-api` helper lacks binary output and safe 302 handling; the
+  current PR carries a tested patch and host-side artifact verifier, but
+  neither is installed. No deploy key, fixed SSH entry, extra sudo rule, or
+  Gitea CD variable has been configured. Production apply remains blocked on
+  owner bootstrap, external backup and separate-target restore, and the other
+  gates above.
+- A repository-scoped official `act_runner` `0.2.13` installation is
+  configured in `infra/runner/`: rootless Docker under `akyldash-runner`, 15 GiB
+  ext4 loop-backed image/workspace storage, capacity 1, per-job limits (2 CPU,
+  3 GiB RAM, 512 processes), account slice limits (2.5 CPU, 4 GiB RAM, 2048
+  tasks), rotated file logs, and a systemd health timer. Jobs target the
+  `akyldash-ci` label and do not receive either Docker socket. Latest verified
+  main CI run 175 and smoke run 176 succeeded on `b5adc092`. On 2026-10-18,
+  SSH showed `akyldash-act-runner.service` active under `akyldash-runner`, with
+  zero restarts and about 115 MiB current memory. Its rootless Docker store is
+  mounted from `/dev/loop0` as ext4 with `rw,nosuid,nodev`; the 15 GiB mount had
+  12 GiB free. The separate `akyldash-runner-restart.service` remains failed
+  with exit status 1 since 2026-10-14; its journal had no entries, so the cause
+  is unknown. The latest verified main CI run 75 and smoke run 76 succeeded on
+  head `0e276ae6`. The Actions API returned 403 during this recheck, so no newer
+  run state was independently retrieved. A read-only SSH recheck on 2026-10-21
+  confirmed the active `akyldash-act-runner.service` runs as
+  `akyldash-runner` with `ProtectHome=read-only`; `ReadWritePaths` includes the
+  runner runtime/config/log paths and `/run/user/999`. Its `ExecStart` uses
+  `/etc/akyldash-runner/config.yaml`. The live unit retains a writable carveout
+  for `/run/user/999`; the installer keeps that existing carveout and changes
+  `ProtectHome` from `yes` to `read-only` so the runtime path remains visible.
+  No VPS unit was changed. Main commit
+  `d2fb4b81` passed CI run 115 and smoke run 116. On
+  head `3a89dc21`, CI run 63 failed at the host audit root guard and smoke run 64
+  succeeded. On head `436806a8`, CI run 65 failed in the Caddy container action
+  with `exec: "validate": executable file not found`; Kaniko was skipped and
+  smoke run 66 succeeded. On head `d96fc4d3`, CI run 67 failed because the
+  Caddy action's fixed `/github/workspace/...` path did not exist; Kaniko was
+  skipped and smoke run 68 succeeded. On head `5d72bb09`, CI run 69 and smoke
+  run 70 succeeded. CI validated the Caddyfile and built the backend and
+  OpenSearch images using `${{ github.workspace }}`. Actual per-action
+  resource-limit enforcement and peak usage were not independently measured or
+  verified. Image publishing, host-wide resource metrics, and production
+  deployment remain unverified. No VPS changes are made.
+- An isolated local Compose smoke test built backend/OpenSearch images,
+  reached healthy status for OpenSearch, backend, and Caddy, and returned HTTP
+  200 for `/review` through Caddy. Its containers, networks, and volumes were
+  removed afterward. This does not verify VPS startup, DNS, or public TLS.
+- The app has no migration framework or SMTP setup. Repository versions on this
+  branch are:
+  backend `0.13.0`, frontend `0.2.0`, Telegram bot `0.2.2` (the bot is not
+  deployed on this VPS).
+
+## Corpus readiness (2026-10-18)
+
+- The local raw archive and normalized corpus are ignored under `data/`; no
+  corpus files were changed. Their read-only SQLite manifests both pass
+  `quick_check` and each report 209,958 documents. The raw manifest is
+  28,295,168 bytes with SHA-256
+  `f8e3dd2fdec607583ca09cfdb5b76171bb7bfa1e41a0e07ee5aca8481e18e17e`; it has
+  one fetch error, code `6`, absent from `documents`. The normalized manifest
+  is 31,571,968 bytes with SHA-256
+  `1679c20e6d0f3e5a9b50737c006c4417a28ebcaf7467d194d3bf8243538f83bf`; all
+  entries are `success`, schema `1`, normalizer `1.0.0`.
+- The read-only full-file inventory in `/tmp/akyldash-corpus-audit.Mjr6aa`
+  stopped before validation in run `b4a4556e30cc464d90bc8d75ef1673e9` with
+  `Python int too large to convert to SQLite INTEGER`. At stop it had processed
+  2,120,420 raw entries (1,081,428 files, 1,038,992 directories) and 397,856
+  normalized entries (246,321 files, 151,535 directories). This is a verifier
+  metadata storage failure, not a corpus finding. A full rehash with the
+  corrected, versioned verifier is required before readiness can be stated.
+- A fresh full rehash is running in `/tmp/akyldash-corpus-audit-final.gtsD87vc`,
+  run `f4dd5e53020f442bbbecee2d0e4986a6`, with verifier SHA-256
+  `83dac230099fc91972cd14e86e9f8ec72d13bca08f53d402f13a169e096d98f5`.
+  `result.json` currently reports `scan_status: running`; its live counters
+  must be recorded after completion. Sources remain read-only.
+- Through the repository client, bounded MinJust OpenData requests for
+  `GetDocumentListByQuery`, `GetDocument(6)`, control `GetDocument(1096)`, and
+  `CheckAvailable` each returned HTTP `404`. The list API returned no code list;
+  the direct requests do not establish whether code `6` exists. The public
+  listing page is reachable, but it does not map the numeric API code. A
+  metadata-only `CheckAvailable` request from the VPS failed in HTTP/2 with
+  `curl` exit 92 (`INTERNAL_ERROR`), HTTP status `000`, and TLS verification 0;
+  the HTTP/1.1 retry was not completed. Treat the code `6` disposition and
+  full corpus readiness as unresolved.
+- On the VPS, read-only `stat` of `/var/lib/akyldash/data/minjust-normalized`
+  and its manifest was denied. Production corpus presence and metadata remain
+  unknown. No corpus was transferred and no production service, Docker socket,
+  runner policy, or VPS configuration was changed.
+
+## Current MinJust API staging (2026-10-20)
+
+- The public site's current API uses `POST /api/v1/GetDocuments` with page size
+  12, `GET /api/v1/GetDocument?DocumentCode=...`, and
+  `GET /api/v1/GetEdition?editionId=...&lang=ru|kg`. A bounded page-1 probe
+  reported 210,639 filtered records; no full listing was enumerated for this
+  recovery. Official alias `1-4` resolves to canonical document code `205064`.
+- Document code `6` has 201 official editions. The API's `lang=kg` response
+  places Kyrgyz HTML in `contentRu` while returning `contentKg=null`; staging
+  maps by requested language (`kg` to archive `ky`) and preserves the edition
+  order from the document response. Normalization and search export now retain
+  and use that order instead of sorting IDs.
+- Without `exact=true`, one probe for edition `920292` returned response field
+  `id=920492` despite a different text length/hash. Two bounded `exact=true`
+  probes returned matching IDs and names/dates from `GetDocument`: edition
+  `920292` / `04.08.1998` (485,487 RU characters, SHA-256
+  `2b51c2ff4e9b91cbe2a7ed052a5a9ed9150bda993fc15c120ac948580926b718`) and
+  edition `920492` / `13.04.2017` (1,139,908 RU characters, SHA-256
+  `e5f0fdbb47766e5a5dbb971183d765e4c1dcaf9c969a218a84206244ce9132e8`).
+  Every edition request now uses `exact=true`, requires returned ID equality,
+  and checks RU/KY names against `GetDocument` metadata.
+- `backend/ingestion/minjust_current.py` stages one document into a separate
+  generation, at no more than one request per second, with a 16 MiB response
+  limit, a 4 GiB text budget per document, contract-bound checkpoints, and
+  atomic publication. Staging requires a private 0700 directory owned by the
+  current user and rejects symlinks under checkpoints/document paths; legacy
+  corpus exclusions are anchored to the repository root. The corpus verifier
+  continues to validate unchanged normalized manifests from versions 1.0.0
+  and 1.1.0. The earlier non-exact pass is quarantined at
+  `/tmp/akyldash-current-code6.ZAMC37u4ex/qualification.json`: its 240 language
+  responses (304,493,520 bytes) remain unverified and are not reusable. The
+  retained work-tree SHA-256 is
+  `1e874c1d7fab1e00e7e45ff1b16422ea474e22ee13c901ac9a0612f47aa5d24a`.
+- Exact-only code-6 staging is complete at
+  `/tmp/akyldash-current-code6-exact.L4k3AvnOlP`: 201 editions and 402
+  complete language checkpoints, 604,377,885 raw bytes. The raw manifest
+  passes `quick_check`; its document checksum matches the staged directory at
+  `81d8e1a53b2ebef61f08b56d04b3f0a80077d587a4fadae0152bb4b7f13055ea`.
+  Separate normalization at
+  `/tmp/akyldash-current-code6-exact.L4k3AvnOlP-normalized` contains 201
+  editions in official response order, passes `quick_check`, and records
+  normalizer `1.1.0` (2,048,797,024 bytes). The prior `data/minjust-cbd` and
+  `data/minjust-normalized` trees and production were not used as input or
+  modified. The raw staging manifest still records attachments and embedded
+  media as unverified; this single document does not establish corpus
+  completeness or production readiness.
+
+## Checks not completed
+
+- Docker Engine version from the server API, container and volume inventory,
+  protected env/secret metadata, sudoers, and detailed UFW rules require root.
+  `infra/bootstrap/audit-host.sh` is provided for an owner-run read-only audit.
+- The backup archive/restore tool was tested with synthetic local data; a backup
+  and restore of real production data remain unverified because production is
+  not deployed.
+- Cloudflare edge response was checked; origin DNS target, origin certificate,
+  Full (strict), registry publishing, host-wide runner metrics, and production
+  deployment have not been verified. The
+  owner-reported Idle state has not been independently checked through runner
+  inventory because the API returned 403.
+- This audit made no host changes. No package or service was installed by this
+  audit; the owner performed the initial bootstrap beforehand.
+
+## Next owner actions
+
+1. Install the approved root-owned checkout after its PR is reviewed, then run
+   `sudo bash /opt/akyldash/current/infra/bootstrap/audit-host.sh` and share
+   the output. The script prints no secret values and does not mutate the host.
+2. After reviewing the audit output and confirming the target files are absent,
+   run
+   `sudo bash /opt/akyldash/current/infra/deploy/prepare-production-config.sh`;
+   it refuses to overwrite existing files. Set the approved `DATA_ROOT` and
+   place the approved corpus/index and Cloudflare origin configuration. Do not
+   deploy until data/service state and the required backup path are reviewed.
+3. Run `sudo bash /opt/akyldash/current/infra/deploy/install-helper.sh` after
+   reviewing the checkout; it grants only fixed verification, Compose
+   `config`/`status`, and guarded rollback commands.
+4. After merging the reviewed PR, confirm a subsequent CI and smoke run on
+   `akyldash-ci`. Image publishing and production deployment remain manual and
+   are not part of CI.
+5. Test backup/restore and rollback only with synthetic data in an isolated
+   environment before any production deployment.
+
+## Change in this PR
+
+Adds a read-only, resumable full-file corpus inventory and normalized-data
+cross-check, a source/staging comparator requiring nonzero documents and
+fragments plus held shared artifact locks, synthetic regression tests, and an
+operator handoff runbook. CI's
+existing `infra/deploy` unittest discovery includes the new tests. No workflow,
+runner, VPS, production data, or Docker settings are changed. The first real
+corpus scan stopped on an integer-storage bug; full validation with the
+corrected verifier is still required. The source API's code `6` outcome remains
+unconfirmed.

docs/operations/DECISIONS.md

@@ -0,0 +1,10 @@
+# Infrastructure decisions
+
+| Date | Decision | Reason and alternatives | Status / limits |
+|---|---|---|---|
+| 2026-10-11 | Use Docker Compose on the dedicated Ubuntu VPS | Matches the existing production Compose baseline and workload; Kubernetes adds no demonstrated need | Planned; Docker is not installed |
+| 2026-10-11 | Keep `codex` out of sudo and the Docker group | Docker socket access is effectively root; a separate installer can grant only a fixed read-only verifier and root-owned rollback helper after checkout ownership and sudoers validation | Helpers are defined in Git; not installed on VPS |
+| 2026-10-11 | Put Caddy and Search API on a proxy network and OpenSearch on a separate internal network | Keeps OpenSearch unreachable from the proxy and host; the API has no published host port | Repository Compose target only; not deployed |
+| 2026-10-11 | Use Caddy in Compose for HTTPS at `akyldash.kg` | Automatic certificate issuance/renewal keeps proxy config small; Nginx with separately managed certificates was considered | Caddy image pinned by digest; requires public ports 80/443 and owner confirmation of Cloudflare Full (strict) |
+| 2026-10-11 | Mount the review signing key as a Compose secret file | Avoids putting its value in command-line arguments; an environment variable or CLI value is easier to inspect in process metadata | Implemented in repository Compose; not deployed |
+| 2026-10-11 | Do not enable production deployment from Gitea Actions yet | Runner, package publishing scope, deploy-helper, backup/restore, and production health are not verified | Revisit after controlled end-to-end test |

docs/operations/DEPLOYMENT.md

@@ -0,0 +1,169 @@
+# Deployment
+
+## Status and authorization
+
+The implementation in PR #59 is not merged, installed, or exercised against
+the VPS. No release, backup, restore, or production service operation has been
+performed by this change. Production deployment remains blocked until the
+owner has verified host state, registry access, protected configuration,
+corpus/index readiness, RU/KY canaries, an external backup, and restore on a
+separate target. See [current state](CURRENT_STATE.md) and the
+[owner evidence packet](DEPLOYMENT_OWNER_PACKET.md).
+
+The existing `codex` account has no Docker socket access and receives no new
+privilege in this change. The external receiver requires an owner-controlled
+SSH entry that runs the fixed root command; no SSH key, `authorized_keys`
+entry, sudo rule, or root alias is created here. If `akyldash_vps` logs in as
+`codex`, it cannot run the root-only receiver and the client fails closed.
+Do not grant general sudo or Docker access to make the flow work.
+
+## Release verification and image publication
+
+`.gitea/workflows/ci.yaml` remains the required test and image-build workflow.
+The release workflow runs after successful main CI, verifies the source run and
+commit, and publishes digest-pinned images plus a small release descriptor.
+The descriptor records both the release workflow run ID and the successful CI
+source run ID. PR builds do not publish images. Production runtime secrets are
+not supplied to CI.
+
+On the host, the fixed root receiver uses the installed `gitea-api` helper to
+re-fetch and verify the exact successful CI and release runs, current `main`,
+artifact name, checksum, manifest schema, builder pin, image policy, and commit
+binding. Its binary `DOWNLOAD` extension accepts HTTPS and at most one
+allowlisted HTTPS redirect, does not forward the token across origins, bounds
+the response, and refuses to overwrite an existing file. The installer checks
+the exact audited helper fixture hash before applying its patch. The helper
+and source code are not installed on the VPS by this PR.
+
+## One-shot runtime binding proposed by PR #59
+
+PR #59 adds a root-only, read-only status command and a fixed SSH dispatcher.
+The dispatcher accepts only the literal status or deploy command in
+`SSH_ORIGINAL_COMMAND`; it accepts no arguments and performs no shell
+evaluation. Status fails closed on a stale root checkout, recovery journal,
+incomplete Gitea run listing, failed source/workflow checks, invalid artifact
+metadata/ZIP, or a release already applied. The candidate response contains
+only a run ID, commit, and descriptor digest. The root receiver independently
+repeats release verification and the existing backup/ACK/cutover guards.
+
+The Windows client adds a one-shot `receive_external.py --once` mode. Its
+configuration is fixed to `D:\Dev\akyldash` and the `akyldash_release` SSH
+alias, and is disabled by default. It uses BatchMode, disables forwarding,
+uses the existing host-key checking, bounds status output and time, then calls
+the existing `run_release` path. Rollback remains a separate explicit
+owner-run command. The example Task Scheduler XML is disabled, runs as the
+interactive owner at least privilege, ignores overlapping instances, and
+never wakes the computer. No task has been registered or enabled by this PR.
+
+Before any activation, the owner must install the reviewed receiver and its
+`archive.py` and `external_session.py` dependencies under a non-user-writable
+`C:\Program Files\Akyldash` directory, set the config ACL so
+only the owner, SYSTEM, and Administrators have full control, fill in the real
+Python executable, owner SID, and local start time in the task template, and
+confirm SSH host-key checking and the forced-command alias. Keep `enabled`
+false and the task
+disabled until the normal backup/restore and production readiness gates are
+recorded. Do not bind a Gitea workflow or PR runner to this Windows host.
+
+The root-side status endpoint requires `/opt/akyldash/current` to exactly
+match current `main`; it does not update that checkout. An owner must advance
+the root-controlled checkout through the approved installation process before
+a release built from a newer commit can be considered ready. Gitea's filtered
+workflow-run listing is bounded to ten entries; if Gitea reports more entries
+or an inconsistent page, status returns unavailable rather than guessing.
+
+## Automation boundary: deployment is not active
+
+The automatic chain currently ends at release publication:
+
+1. Successful `main` CI triggers image builds and publishes digest references
+   plus the release descriptor artifact.
+2. `deploy-handoff.yaml` verifies the source run and may read artifact metadata.
+   Its job is explicitly status-only: **NOT DEPLOYED**. It does not download
+   the descriptor ZIP, call the Windows client, open SSH, or invoke the root
+   receiver. A green result means only that this status check completed.
+3. The fixed receiver is physically started only by an explicitly enabled
+   owner-controlled Windows trigger or by the manual release CLI. The proposed
+   `--once` path queries root's verified status endpoint and receives the
+   fixed tuple; no repository workflow invokes it. The example scheduler and
+   config remain disabled, and no Windows trigger has been installed or
+   exercised.
+
+Production CD is still not active: no Windows task or credential is installed,
+and no VPS or live D: operation has been performed. This design avoids a
+Windows Actions runner entirely; the owner-controlled local task is not exposed
+to PR jobs. The SSH account/key must be restricted to the exact dispatcher
+commands and verified host key. Do not use an unrestricted `authorized_keys`
+entry or a persistent host-mode runner with D: and SSH access.
+
+## External backup and cutover
+
+The fixed root release receiver accepts only a bounded protocol request over
+stdin. It does not accept a remote shell command, artifact path, or image
+reference from the caller. It rechecks the release and current `main`, takes a
+shared lock, captures running image IDs, and stops the stack. It streams the
+cold archive directly to the owner's Windows client at
+`D:\Dev\akyldash\.backups`; the VPS does not hold a full archive, including
+temporarily. The Windows client requires a real NTFS destination with private
+ACLs and a precise local Git exclude rule. It publishes only after hash,
+archive, and manifest verification, and acknowledges the exact live session
+nonce and backup identity.
+
+Only after the acknowledgement does the host pull approved digest references,
+atomically replace both image refs, and start Compose with `--no-build`. It
+checks running image IDs, `/review`, and non-empty Russian and Kyrgyz search
+canaries. A stale main, source mismatch, invalid archive, image mismatch, or
+failed health/canary check stops cutover and attempts recovery using the
+pre-change references. A recovery journal blocks another operation if
+automatic recovery cannot be verified.
+
+Rollback uses the root-pinned prior external archive and creates a fresh
+external backup of current state before switching refs. It restores images
+only, not data. Old local VPS backup paths and legacy release states without a
+pinned external backup identity are rejected. See [backup and restore](BACKUP.md)
+and [rollback](ROLLBACK.md).
+
+The receiver records a durable pending recovery journal before stopping
+services. A retry of the exact release already recorded in pinned state is
+rejected before backup or downtime. Gitea source verification requires
+`status=completed` and `conclusion=success`, and resolves current `main` from
+the explicit production checkout. The Windows client checks the destination,
+ACL, ignore rule, and full protocol archive capacity before opening SSH.
+
+## Owner bootstrap still required
+
+After review and merge, the owner must decide whether to install the helper
+from a root-owned checkout and provision, without exposing values in logs:
+
+- a read-only Gitea API token in `/etc/akyldash/gitea-api-token`, root-owned
+  mode `0600`;
+- the exact artifact redirect origin allowlist in
+  `/etc/akyldash/gitea-download-origins`, if the Gitea artifact endpoint
+  redirects;
+- approved Russian and Kyrgyz search canaries in
+  `/etc/akyldash/release-canaries.json`, root-owned mode `0600`;
+- a root-only SSH path to `/usr/local/sbin/akyldash-release-deploy` and
+  `/usr/local/sbin/akyldash-release-rollback` using the existing owner key and
+  verified host key.
+- a dedicated SSH alias `akyldash_release` backed by a key restricted to
+  `/usr/local/sbin/akyldash-release-dispatch`; its forced command must preserve
+  exact `SSH_ORIGINAL_COMMAND` matching and grant no shell, forwarding, PTY,
+  or arbitrary command access;
+- a protected installation of the Windows client under
+  `C:\Program Files\Akyldash`, with the sample JSON and Task Scheduler XML
+  reviewed and kept disabled until the owner explicitly accepts unattended
+  polling.
+
+The installer intentionally does not create credentials, SSH entries, canary
+values, registry permissions, or a new privilege rule. Existing files with
+unexpected owner, mode, or content cause installation to stop for owner
+review. Do not run the installer or receiver from CI. The owner's first use
+must be a separate-target restore check and a reviewed dry run; this PR does
+not authorize a production cutover.
+
+The Windows client uses the existing OpenSSH host-key checking. Its configured
+alias must reach a root-controlled endpoint capable of invoking the fixed
+receiver; no new key or sudo permission is requested. Windows ACL and NTFS
+checks, SSH host configuration, artifact redirect origin, registry pull
+access, and every production health gate remain unverified until the owner
+checks them.

docs/operations/DEPLOYMENT_OWNER_PACKET.md

@@ -0,0 +1,91 @@
+# Deployment owner evidence packet
+
+This packet is a list of owner-only checks. It does not authorize a production
+change. Do not include token/password values, environment-file contents,
+private keys, secret material, or raw process environments.
+
+## Required before release use
+
+- PR #59 proposes a disabled one-shot Windows trigger. No task or endpoint is
+  installed. If the owner chooses to activate it after merge and all other
+  gates, install the reviewed `receive_external.py`, `archive.py`, and
+  `external_session.py` client files in `C:\Program Files\Akyldash` with
+  write access limited to administrators/SYSTEM, copy
+  `infra/deploy/windows-release-trigger.example.json` to
+  `C:\ProgramData\Akyldash\release-trigger.json` and retain
+  `enabled:false`, then grant only the interactive owner, SYSTEM, and
+  Administrators full control on the config and its parent. Fill in the real
+  Python path, owner SID, and a future local start time in the XML template.
+  Review/import the task while
+  disabled; it runs as that logged-on owner at least privilege, ignores a
+  concurrent instance, does not wake the PC, and invokes only `--once`. Enable
+  the JSON and task only after the owner separately approves unattended
+  polling. Disable either one to stop future polls; an already running cold
+  backup/deploy must be allowed to finish or be explicitly recovered.
+- The `akyldash_release` SSH key must be dedicated to the root forced-command
+  dispatcher, with OpenSSH `restrict` (or equivalent no-PTY/no-forwarding
+  options), verified host-key checking, and exact status/deploy command
+  matching. Do not put an unrestricted command or shell in root's
+  `authorized_keys`. The existing rollback key/path remains a separate manual
+  owner action. No key is generated, copied, or installed by this PR.
+- Decide whether unattended production CD is acceptable. It currently is not
+  active: `deploy-handoff.yaml` remains status-only and reports `NOT DEPLOYED`;
+  the proposed local task and its config remain disabled. This avoids exposing
+  the Windows host to repository PR workflows. Verify that the root status
+  command is installed from a reviewed checkout, its forced-command key is
+  restricted, and the host checkout exactly matches current `main`. It does
+  not update that checkout automatically. The endpoint fails closed if the
+  filtered workflow-run API page is incomplete (more than ten candidates or
+  count mismatch), so status API behavior must be checked on the live Gitea
+  before activation.
+- Confirm the registry package names and least-privilege writer/pull access for
+  `admin/akyldash/backend` and `admin/akyldash/opensearch`; record digest
+  retention for the rollback window.
+- Confirm Gitea artifact retention covers the rollback window. The workflow
+  requests 90 days for the small release descriptor and checksum.
+- Provide a dated, sanitized root audit: installed checkout SHA, Compose
+  services and image IDs, health state, volume paths/modes, protected-file
+  owner/mode, listener summary, and current recovery-journal state.
+- Confirm a root-controlled SSH path exists for the fixed deploy and rollback
+  commands, using existing owner SSH configuration and verified host-key
+  checking. The repository `codex` account must not receive general sudo,
+  Docker-group membership, or a Docker socket. No SSH key or root alias is
+  provisioned by this PR.
+- If required, install a narrowly scoped, read-only Gitea API token at
+  `/etc/akyldash/gitea-api-token` with root ownership and mode `0600`. Record
+  only whether it is present and its scope; never send its value.
+- Verify the Gitea artifact download origin. If redirected, provision only the
+  exact HTTPS origin in `/etc/akyldash/gitea-download-origins` as a root-owned
+  mode-`0600` file. The patched helper must not send its token to that origin.
+- Provide owner-approved RU and KY search canary queries in
+  `/etc/akyldash/release-canaries.json`, root-owned mode `0600`. Confirm they
+  return expected non-empty results without sending corpus documents.
+- Confirm Cloudflare TLS mode, origin certificate renewal, and current public
+  `/review` and search health.
+
+## Backup and recovery gates
+
+- The complete archive must remain on the owner-controlled Windows destination
+  `D:\Dev\akyldash\.backups`; never stage a full archive on the VPS.
+- Synthetic Windows protocol checks and a disposable private-NTFS owner-ACL
+  fixture passed. Before relying on the flow, run its checks against the actual
+  D: path and local `.git/info/exclude`, then verify an approved backup is
+  published only after hash and manifest verification.
+- Confirm D: encryption at rest. Archives contain production secrets and
+  private keys; the protocol encrypts transport but does not encrypt files at
+  rest.
+- Restore a verified archive on an isolated separate target and check data,
+  SQLite integrity, OpenSearch, and required secrets. Do not use production as
+  a restore test.
+- Confirm current data/index counts, corpus generation, and migration
+  compatibility. Image rollback does not restore data or undo schema changes.
+- Set the archive retention period and keep the previous verified archive
+  throughout the rollback window.
+
+The installer does not create credentials, SSH configuration, canary values,
+registry access, or new sudo rules. The PR has not been installed or run
+against production. Windows validation passed 12 synthetic client checks, 8
+protocol checks, and a disposable real-NTFS private owner-ACL fixture. The
+actual D: path, SSH, full backup, and separate-target restore remain
+unverified. Keep deployment disabled until the owner records evidence for
+each gate above.

docs/operations/INFRASTRUCTURE.md

@@ -0,0 +1,59 @@
+# Infrastructure
+
+## Intended layout
+
+Production is planned for the dedicated Ubuntu VPS at `206.223.249.118`.
+`deploy/production/compose.yaml` defines Caddy, a Python Search API, and private
+OpenSearch 3.7. Caddy terminates HTTPS for `akyldash.kg` and proxies to the API.
+The API is reachable only on private Compose networks; OpenSearch is reachable
+only by the backend. Cloudflare should use Full (strict) only after the origin
+certificate and DNS path are verified.
+
+The API stores its account and review SQLite files beside the normalized corpus
+under the persistent data directory. OpenSearch and Caddy use named volumes.
+The API's review signing key is mounted from a host file; it is not passed in
+process arguments or committed to Git. Docker logs are bounded to 10 MiB per
+file and three files per service.
+
+## Actual state
+
+The 2026-10-11 read-only audit found a fresh Ubuntu 24.04.5 host with SSH only.
+Docker, Git, a reverse proxy, application directories, Compose services, TLS,
+and backups are not installed/configured. The `codex` account has no
+non-interactive sudo. See [CURRENT_STATE.md](CURRENT_STATE.md) and the
+[production inventory](../../infra/inventory/production.yml).
+
+The Compose file is a repository target, not proof of deployment. The Caddy
+image is pinned by digest, while backend and OpenSearch still build locally;
+immutable registry images and automated deploy are not configured. No migration
+framework exists. The application uses SQLite and OpenSearch; SMTP
+registration/recovery is not implemented.
+
+## Repository paths and target host paths
+
+- Compose and Dockerfiles: `deploy/production/`.
+- Host checkout target: `/opt/akyldash/current`.
+- Environment configuration: `/etc/akyldash/production.env`.
+- Secret file: `/etc/akyldash/review_secret`, mode `0600`.
+- Application data: `/var/lib/akyldash/data`.
+- Intended backups: `/var/backups/akyldash`.
+
+All host paths above are targets; none existed at audit time. Root bootstrap is
+prepared at [bootstrap-ubuntu-24.04.sh](../../infra/bootstrap/bootstrap-ubuntu-24.04.sh).
+It does not edit SSH or firewall configuration, create credentials, deploy the
+application, or grant `codex` Docker/root access.
+
+## Network and operations
+
+Target public TCP listeners are SSH `22` and Caddy `80`/`443`. Backend `8080`
+and OpenSearch `9200` must remain private to Compose. The
+firewall state could not be independently verified because the SSH account has
+no sudo; do not change it without owner approval. The domain resolves to
+Cloudflare edge addresses, but HTTP and HTTPS return `521`, so the origin is
+unreachable. Cloudflare origin mode, certificate validity, and production
+health have not been verified.
+
+Use [DEPLOYMENT.md](DEPLOYMENT.md), [BACKUP.md](BACKUP.md),
+[ROLLBACK.md](ROLLBACK.md), and [RECOVERY.md](RECOVERY.md) for operational
+limits and procedures. Configuration changes must go through Git and review;
+do not reconcile a Git/server difference by overwriting the VPS automatically.

docs/operations/RECOVERY.md

@@ -0,0 +1,47 @@
+# Recovery on a clean VPS
+
+## Scope and safety
+
+The bootstrap below prepares Ubuntu packages and directories only. It is not a
+complete recovery: production secrets, data, reverse proxy, TLS, registry
+credentials, backup restore, and deploy-helper still require owner-controlled
+setup. Run only on the new recovery host after verifying its identity. Never
+run recovery commands against the existing production by accident.
+
+## Procedure
+
+1. Provision a clean Ubuntu Server 24.04 host and confirm hostname, IP, console
+   access, and a tested owner recovery path.
+2. Create the SSH-authorized `codex` account without sudo or Docker group access.
+   Preserve the host's existing root SSH and firewall policy until an owner has
+   reviewed the change.
+3. Check out the approved Git revision, root-owned and not group/world-writable,
+   at `/opt/akyldash/current`, then run
+   `sudo bash infra/bootstrap/bootstrap-ubuntu-24.04.sh --recovery-target`. The
+   recovery mode refuses the inventoried production hostname/IP and writes a
+   root-only marker at `/etc/akyldash/recovery-target`. It installs Docker
+   Engine, Compose, Git, Docker log limits, and target directories.
+4. Install the limited read-only verifier and rollback helper with
+   `sudo bash infra/deploy/install-helper.sh`. It validates the root-owned
+   checkout and gives `codex` access only to those fixed commands.
+5. Configure DNS to point through Cloudflare to the recovery host and allow the
+   owner to review/open TCP `80` and `443`. The production Compose Caddy service
+   obtains its origin certificate automatically. Verify Cloudflare Full
+   (strict) end to end before cutover.
+6. Transfer the protected backup to the new host through the owner's approved
+   channel. The archive contains the production environment and review secret;
+   keep it root-only and never paste secret values into chat.
+7. Extract the verified archive to a new `/var/tmp/akyldash-restore-*` staging
+   directory with `infra/backup/archive.py`, then run
+   `sudo python3 infra/backup/apply_restore.py --staging-dir <staging-dir>`.
+   Apply requires the recovery marker, matching clean Git revision, empty data
+   path, absent Compose volumes/config files, and no running containers. It
+   refuses the inventoried production host and leaves services stopped.
+8. Build the backend and OpenSearch images from the matching checked-out Git
+   revision and explicitly start Compose with `--wait`. Verify HTTPS and
+   container health, record the backend image ID as described in
+   [DEPLOYMENT.md](DEPLOYMENT.md), then record actual versions and checks in
+   [CURRENT_STATE.md](CURRENT_STATE.md).
+
+Do not repoint DNS or retire the old host until the owner verifies recovery and
+approves the cutover. The restore and cutover have not been practiced yet.

docs/operations/ROLLBACK.md

@@ -0,0 +1,34 @@
+# Rollback
+
+The current rollback implementation is code only. PR #59 has not been merged,
+installed, or run against the VPS. No current production release state or
+external backup has been verified; production rollback is therefore not
+available yet.
+
+After owner installation and separate-target restore validation, rollback is
+an owner-controlled Windows-to-VPS session. The Windows client reads the exact
+previous backup identity pinned in root-owned release state, validates the
+saved archive and sidecar, then sends it over SSH. The VPS accepts the bytes
+only when size and SHA-256 match that root-pinned identity. It verifies the
+current deployment against release state, stops Compose, and streams a fresh
+cold backup to Windows before changing either image reference.
+
+The rollback helper verifies deployment-file hashes, previous image refs and
+image IDs, and that the fresh backup matches the current image IDs. It does not
+restore application data, OpenSearch contents, or secrets. It uses the shared
+deployment lock, atomically switches both image references, starts Compose
+with `--no-build`, verifies running image IDs and the local `/review` health
+route, then records the new release state. Failures attempt to restore the
+pre-rollback references and services; unresolved recovery is recorded in a
+root-owned journal and blocks subsequent release/rollback operations.
+
+The former `akyldash-rollback <VPS path>` interface now fails closed and performs
+no Docker operation. Local `/var/backups/akyldash` archives cannot authorize a
+rollback. Legacy release states without a verified external `previous_backup`
+identity also cannot authorize this rollback path.
+
+The application has no formal migration framework. Check schema and index
+compatibility before rollback. If compatibility is uncertain, stop; do not
+attempt a data restore as part of an image rollback. A data restore requires a
+separate owner-approved recovery plan and maintenance window. See
+[backup and restore](BACKUP.md) and [deployment](DEPLOYMENT.md).

docs/operations/project-status.md

@@ -1,18 +1,37 @@
 # Статус проекта
 
-Последняя проверка: 2026-08-03
+Последняя проверка: 2026-10-10
 Назначение документа: быстро восстановить контекст проекта для участников команды и будущих агентов.
 
 - Telegram-бот: `0.2.2`
 - Telegram-бот на Synology: `0.2.1`
-- Backend: не создан
-- Frontend: не создан
+- Backend: `0.12.2`
+- Frontend: `0.1.2` — поиск, лаборатория релевантности, аккаунты
 
 ## Краткий итог
 
-Репозиторий переориентирован с отдельного бота на весь проект юридической информационно-аналитической платформы. Telegram-бот выделен в инструмент рабочего окружения: он сохраняет сообщения разрешённых тем в SQLite, экспортирует обсуждения в Markdown и постоянно запущен в Container Manager на Synology. Версия `0.2.2` будет развёрнута после слияния изменений; сейчас на Synology работает `0.2.1`.
+Репозиторий переориентирован с отдельного бота на весь проект юридической информационно-аналитической платформы. Telegram-бот выделен в инструмент рабочего окружения. Реализованы возобновляемая выгрузка документов из официального Open Data API ЦБД Минюста КР и их локальная воспроизводимая нормализация.
 
-Ближайшая цель — 2026-08-04 зафиксировать MVP с командой, настроить резервное копирование SQLite и затем проверить полный рабочий цикл на реальном обсуждении.
+Поисковая система и внутренняя лаборатория оценки выдачи реализованы. Ближайшая
+цель — проверить собственную выдачу на практических RU/KY-запросах, разобрать
+оценки юристов и зафиксировать baseline. ЦБД Минюста служит источником для
+проверки документов и редакций, а не системой для сравнения поисковой выдачи.
+
+### Точка остановки на 2026-09-18
+
+- В PR #37 из ветки `feature/tax-profit-search-intent` тематический запрос
+  «налог на прибыль» поднимает действующий НК КР; для обычных запросов сохранён
+  `cross_fields`, добавлено усиление точной фразы. Нужна дальнейшая проверка на
+  контрольном наборе запросов.
+- Независимое ревью поискового кода не выявило дефектов; замечание об устаревшем
+  handoff исправлено. Backend-тесты: 33 пройдены, 1 пропущен;
+  `git diff --check` чистый.
+- Текущий локальный backend-контейнер при последней проверке был `0.10.2`;
+  изменения ветки (`0.10.3`) не развёрнуты. Не деплоить без отдельного запроса.
+- В рабочем дереве есть постороннее пользовательское изменение `.gitignore`;
+  не включать его в коммиты и не удалять.
+- Следующий шаг: повторно проверить полный diff PR #37 и после успешных проверок
+  передать его на слияние; затем продолжить оценку поиска на контрольном наборе.
 
 ## Уже сделано
 
@@ -67,6 +86,17 @@
 - Локальный Git-репозиторий восстановлен и привязан к Gitea.
 - Репозиторий организован как основа всего проекта, а не отдельного бота.
 - Бот развёрнут в Container Manager на Synology; автозапуск после перезапуска менеджера проверен.
+- Реализован backend-загрузчик ЦБД Минюста КР версии `0.2.2` без внешних зависимостей.
+- Загрузчик сохраняет метаданные, редакции RU/KY и изображения, а прогресс — в SQLite.
+- Пилотная выгрузка двух документов и возобновление без повторного скачивания проверены на живом API.
+- Реализован backend-нормализатор версии `0.2.2` без внешних зависимостей.
+- Нормализатор создаёт канонические метаданные, безопасный HTML, чистый текст и адресуемые фрагменты RU/KY.
+- SQLite-манифест обеспечивает возобновление, повтор ошибок и пропуск неизменившихся документов.
+- Полный проход завершён: 209 958 документов нормализованы без ошибок.
+- Контрольная выборка RU/KY прошла проверки текста, фрагментов, ID и SHA-256.
+- Добавлены строгий mapping и атомарный Bulk NDJSON-экспорт для OpenSearch.
+- На предыдущей итерации использовались Excel/PDF-бланки юридической проверки;
+  текущий процесс опирается на relevance set и внутреннюю лабораторию.
 
 ### Развёртывание
 
@@ -80,8 +110,9 @@
 
 ### Развёртывание и сопровождение
 
-- Docker-конфигурация развёртывания не хранится в репозитории.
-- Не настроен CI/CD.
+- Production Compose, Ubuntu bootstrap и drift-проверка описаны в репозитории.
+- CI workflow добавлен в PR #42, но его Gitea run остаётся в очереди; наличие
+  runner и автоматический production-деплой не подтверждены.
 
 ### Хранилище
 
@@ -102,6 +133,20 @@
 - Не настроены уведомления Gitea.
 - Не проведён полный пользовательский тест: сообщение → сохранение → экспорт → анализ в ChatGPT → возврат отчёта.
 
+### Готовность поиска к публичному frontend
+
+- Реализована внутренняя лаборатория для просмотра и оценки фактической
+  выдачи OpenSearch; пилот с юристами ещё не проведён.
+- Не завершена независимая юридическая проверка всех 50 запросов relevance set
+  v1; спорные строки нельзя включать в baseline.
+- Не зафиксированы неизменяемая копия подтверждённого relevance set и baseline
+  `Recall@10`/`MRR@10`.
+- Публичный readiness gate остаётся открытым: нужны обновление корпуса,
+  переиндексация, проверка выдачи и API-сценарии для RU, KY и одноязычных актов.
+- Создан внутренний авторизованный frontend поиска и лаборатории; первая
+  учетная запись `admin` создаётся CLI-командой, новых пользователей добавляет
+  только `admin`.
+
 ## Важные неизвестные
 
 По мере реального использования нужно принять решения по следующим вопросам:
@@ -112,19 +157,94 @@
 
 ## Следующий этап
 
-### Фиксация MVP и проверка полного цикла
+### Проверка собственной поисковой выдачи
 
-Рекомендуемый порядок:
-
-1. Настроить резервное копирование `/volume1/docker/akyldash/data`.
-2. Зафиксировать состав MVP с командой и закрыть тему `MVP`.
-3. Провести одно реальное обсуждение с ответами, правками и вложением.
-4. Экспортировать обсуждение и вручную проанализировать Markdown в ChatGPT.
-5. Вернуть подтверждённый итог в тему `Решения` и зафиксировать его в Git/Gitea.
-6. Записать обнаруженные неудобства и только после этого выбирать следующую доработку.
+1. Подготовить согласованный RU/KY relevance set: фиксировать потребность
+   запроса и подтверждённые `document_code`, не ориентируясь на порядок выдачи.
+2. Проверить практические запросы во внутренней лаборатории `/review`, сохранить
+   снимки и оценки фактических результатов OpenSearch.
+3. Разобрать ошибки ранжирования, сохранить baseline и повторить ту же проверку
+   после изменений.
+4. Затем пройти readiness gate issue #21 для корпуса, индекса и Search API перед
+   подготовкой публичного frontend.
 
 ## История изменений статуса
 
+### 2026-09-12
+
+- Внутренняя лаборатория оценивает фактическую выдачу собственного OpenSearch;
+  ЦБД Минюста используется только для проверки источников и редакций актов.
+- Backend `0.8.3`; закрытая внутренняя лаборатория готова к пилоту.
+
+### 2026-09-06
+
+- Подготовлены бланки независимой юридической проверки relevance set v1 для
+  русского и кыргызского языков и инструкция для юриста.
+- Ближайшим этапом зафиксированы юридическая верификация, baseline качества
+  поиска и финальный readiness gate перед frontend.
+
+### 2026-08-18
+
+- Оценщик поиска использует `cross_fields` для совместного сопоставления
+  названия и текста документа.
+- На размеченном наборе из 50 запросов Recall@10 вырос с `0.23` до `0.30`,
+  MRR@10 — с `0.1854` до `0.2272`.
+- Версия backend обновлена до `0.5.1`.
+
+### 2026-08-14
+
+- Добавлены шаблон relevance set v1 и воспроизводимый расчёт Recall@K/MRR@K.
+- Версия backend обновлена до `0.5.0`.
+
+- Полный локальный индекс содержит 56 295 965 фрагментов и успешно отвечает на
+  RU/KY-запросы.
+- Добавлены атомарный checkpoint и безопасное продолжение прерванной загрузки
+  существующего индекса.
+- Добавлены retry/backoff для временных HTTP-сбоев и подробные ошибки Bulk API.
+- Ошибки чтения JSON теперь содержат точный путь и повторяются при временном сбое.
+- Версия backend обновлена до `0.4.1`.
+
+### 2026-08-13
+
+- Добавлен локальный одноузловой OpenSearch с `analysis-icu` без Dashboards.
+- Добавлена прямая потоковая загрузка корпуса пакетами до 25 МБ.
+- Версия backend обновлена до `0.4.0`.
+
+### 2026-08-13
+
+- Подтверждена полная успешная нормализация 209 958 загруженных документов.
+- Единственный отсутствующий документ `6` повторно не отдан API Минюста.
+- Добавлены mapping фрагментов и потоковый экспорт для OpenSearch Bulk API.
+- Версия backend обновлена до `0.3.0`.
+
+### 2026-08-12
+
+- Нормализатор запрещает пересекающиеся каталоги источника и результата,
+  восстанавливает прерванную публикацию и отбрасывает некорректные URL.
+- Версия backend обновлена до `0.2.2`.
+- Загрузчик пересоздаёт временный список документов на текущей странице не
+  только после HTTP 404, но и после исчерпания повторов запроса списка.
+- Версия backend обновлена до `0.2.1`.
+
+### 2026-08-10
+
+- Добавлена первая версия воспроизводимой нормализации локального архива ЦБД.
+- Добавлены атомарная публикация результатов, контрольные суммы, карантин ошибок и терминальный прогресс.
+- Версия backend обновлена до `0.2.0`.
+
+### 2026-08-06
+
+- Добавлен терминальный прогрессбар со скоростью и расчётным временем завершения.
+- Обработка HTTP 429 учитывает рекомендованную сервером задержку `Retry-After`.
+- Добавлено автоматическое восстановление после истечения серверного списка документов.
+- Версия backend обновлена до `0.1.2`.
+
+### 2026-08-05
+
+- Создана область `backend/ingestion` для получения правовых источников.
+- Реализована возобновляемая выгрузка ЦБД Минюста КР версии `0.1.0`.
+- Проверены двуязычные редакции, изображения, SQLite-манифест и повторный запуск.
+
 ### 2026-08-03
 
 - Репозиторий перестроен под весь проект юридической платформы; Telegram-бот перенесён в `tools/telegram-bot`.
@@ -162,4 +282,4 @@
 
 ---
 
-Акылдаш · Telegram-бот v0.2.2 · Backend — не создан · Frontend — не создан
+Акылдаш · Telegram-бот v0.2.2 · Backend v0.12.2 · Frontend v0.1.2

docs/operations/telegram-workspace-plan.md

@@ -398,4 +398,4 @@ Git сохраняет актуальную версию
 
 ---
 
-Акылдаш · Telegram-бот v0.2.2
+Акылдаш · Telegram-бот v0.2.2 · Backend v0.7.1 · Frontend — не создан

docs/product/frontend-design-readiness-plan.md

@@ -0,0 +1,128 @@
+# Готовность к публичному frontend
+
+Этот документ определяет обязательный результат до начала проектирования и
+разработки публичной пользовательской системы. Он дополняет
+[план frontend поисковой СПС](frontend-search-sps-plan.md): тот описывает MVP и
+спринты frontend, этот — критерий перехода к ним.
+
+## Правило перехода
+
+Публичный frontend и его выпуск начинаются, когда выполнены все обязательные
+пункты этого плана и пройден финальный readiness gate. Внутренняя
+авторизованная поисковая страница и лаборатория могут развиваться отдельно по
+явной задаче и используют только реальные существующие API.
+
+Персональные функции вне этого этапа: закладки, заметки, уведомления, RAG,
+судебная практика и внешние коммерческие сервисы. Внутренние учетные записи
+для лаборатории не включают публичную регистрацию.
+
+## 1. Данные и поисковый индекс
+
+### Результат
+
+В локальном OpenSearch доступен воспроизводимо собранный корпус актуальных
+редакций ЦБД Минюста КР, пригодный для поиска на русском и кыргызском языках.
+
+### Обязательные работы
+
+1. Подтвердить для каждого индексируемого документа наличие канонических
+   реквизитов: код, редакция, язык, статус, тип, орган, дата, номер, название
+   и ссылка на официальный источник.
+2. Зафиксировать правила для документов без текста и одноязычных редакций:
+   они не скрываются и не получают выдуманный перевод.
+3. Проверить versioned-индекс, mapping, анализаторы RU/KY, полноту актуальных
+   редакций и процедуру безопасной переиндексации с переключением alias.
+4. Описать и выполнить воспроизводимый сценарий обновления:
+   выгрузка → нормализация → новый индекс → проверка → переключение alias.
+
+### Критерий приёмки
+
+Команда может повторить обновление на чистом локальном окружении, проверить
+количество документов и фрагментов, а затем безопасно переключить поисковый
+alias без смешивания старого и нового корпуса.
+
+## 2. Relevance set и качество поиска
+
+### Результат
+
+Есть замороженный набор `relevance set v1` из 50 практических запросов:
+минимум 25 на русском и 25 на кыргызском языках.
+
+### Обязательные работы
+
+1. Заполнить рабочую копию из `backend/search/relevance-set-v1.template.json`
+   естественными формулировками пользователей и подтверждёнными
+   `document_code` релевантных действующих актов.
+2. Подтвердить документы по официальной ЦБД и проверить их наличие в локальном
+   индексе по `document_code`, не оценивая порядок поисковой выдачи. Не включать
+   запросы без установленного эталонного результата.
+3. Провести независимую вторую проверку языка, формулировки и полного списка
+   кодов. Спорные результаты не включать до согласования.
+4. После независимой проверки сохранить неизменяемую копию набора, затем
+   оценить собственную выдачу и сохранить baseline `Recall@10`/`MRR@10`. Новые
+   правила ранжирования проверять на том же наборе и сравнивать с baseline.
+5. Отдельно проверить распространённые сокращения, опечатки и запросы о
+   практическом действии. Правило принимается, только если улучшает
+   подтверждённые запросы и не создаёт ложных срабатываний в негативных
+   сценариях.
+
+### Критерий приёмки
+
+Оценщик проходит на полном наборе, выводит метрики и выдачу для каждого
+запроса; baseline и результаты его повторного запуска воспроизводимы.
+
+## 3. Справочники и контракт API
+
+### Результат
+
+Frontend получает все юридически значимые данные через версионированный
+OpenAPI-контракт, а не реконструирует их из текста фрагментов.
+
+### Обязательные работы
+
+1. Утвердить справочники v1: типы документов, органы принятия, статусы,
+   уровни действия и темы. Для каждого значения определить стабильный код и
+   подписи RU/KY.
+2. Реализовать и описать OpenAPI для:
+   - `GET /search` — запрос, язык, фильтры, сортировка, серверная пагинация,
+     выдержка и подсветка;
+   - `GET /search/filters` — допустимые значения фильтров;
+   - `GET /documents/{code}` — карточка актуального документа;
+   - `GET /documents/{code}/editions` и
+     `GET /documents/{code}/editions/{edition}` — редакции и их содержимое.
+3. Зафиксировать единые ответы для пустой выдачи, неизвестного документа,
+   недоступной редакции и ошибки upstream; для документов с одним языком
+   вернуть доступные языки явно.
+4. Добавить контрактные и интеграционные проверки API на локальном OpenSearch:
+   поиск, фильтры, пагинация, сортировка, документ, редакции и одноязычные
+   акты.
+
+### Критерий приёмки
+
+OpenAPI опубликован вместе с backend, тестовый клиент получает реальные данные
+по всем endpoint без mock-слоя, а результаты поиска открывают актуальный
+документ и выбранную редакцию.
+
+## 4. Финальный readiness gate
+
+Перед началом frontend выполнить и зафиксировать один сквозной сценарий:
+
+1. Обновить корпус из официальной ЦБД.
+2. Нормализовать данные и собрать новый versioned-индекс.
+3. Прогнать проверки индекса и relevance baseline.
+4. Переключить alias на проверенный индекс.
+5. Выполнить API-сценарии поиска, фильтрации, просмотра документа и редакции
+   на RU, KY и одноязычном документе.
+
+Gate считается пройденным, если все проверки успешны, зафиксированы версии
+backend и индекса, опубликованы известные ограничения и назначен ответственный
+за юридическую проверку relevance set.
+
+## Порядок issues
+
+1. Собрать и независимо проверить relevance set v1.
+2. Завершить проверку полноты данных и воспроизводимую переиндексацию с alias.
+3. Утвердить справочники v1.
+4. Реализовать OpenAPI и интеграционные проверки.
+5. Провести финальный readiness gate и только затем открыть задачу на
+   проектирование frontend.

docs/product/frontend-pixel-perfect-plan.md

@@ -0,0 +1,355 @@
+# План точного воспроизведения поискового интерфейса
+
+Дата: 23 октября 2026 года.
+
+Статус: основная реализация и локальная приёмка выполнены в
+`feature/frontend-pixel-perfect`; после первичного прогона скорректированы
+навигация, плотность результатов, заголовок документа, fixture-контент,
+клавиатурный trap для диалогов и компактные позиционируемые подсказки
+лаборатории. Скриншоты, покропленные сравнения и расширенный
+Playwright-сценарий находятся в репозитории; см. [отчёт](visual-review/README.md).
+Локальные тесты и guards из CI прошли. Ожидают runner: проверки Compose/Caddy и
+сборка production images. Независимый review запускает владелец. Скринридер и
+реальный корпус всё ещё требуют проверки.
+
+## 1. Цель, границы и источники истины
+
+Привести существующую авторизованную поисковую страницу `/` к композиции
+утверждённого изображения «Акылдаш · Түндүк», сохранив реальные API,
+авторизацию, безопасность и отдельный сценарий лаборатории `/review`.
+
+Источники:
+
+- [DESIGN.md](../../DESIGN.md) — единственная нормативная дизайн-система:
+  токены, типографика, доступность, постоянные правила компонентов.
+- [Исходный концепт](../design/tunduk-desktop-concept.png) — визуальный
+  эталон композиции. Вложение пользователя 1280×800 визуально соответствует
+  этому сохранённому изображению более высокого разрешения.
+- [План frontend СПС](frontend-search-sps-plan.md) — продуктовый контекст.
+- [Readiness plan](frontend-design-readiness-plan.md) — отдельные условия
+  готовности публичного продукта, которые этот план не отменяет.
+
+Изображение задаёт композицию и пропорции; `DESIGN.md` задаёт токены,
+шрифты и ограничения. До реализации фиксировать расхождения, а не молча
+изменять палитру, шрифты или доступность ради совпадения растровых пикселей.
+Временные задачи и результаты измерений остаются здесь; новые постоянные
+правила добавляются в `DESIGN.md` без копирования всей дизайн-системы.
+
+Не входят: публичный запуск, изменение прав доступа, ранжирования, корпуса,
+индекса, production, регистрация, аналитика, сравнение редакций, переход
+на новый frontend framework. Содержимое демонстрационного документа
+не становится юридическими данными продукта.
+
+Figma не является обязательной зависимостью: сохранённого эталона достаточно.
+При необходимости совместного редактирования можно подготовить отдельный
+Figma-макет с Auto Layout и переменными, ссылающийся на эти же правила;
+это не заменяет проверку фактической вёрстки в браузере.
+
+## 2. Исходное состояние до реализации
+
+Таблица ниже фиксирует базовую проверку до реализации, выполненную по коду и
+изображениям без браузера; строки не описывают текущее состояние. Последующие
+результаты Playwright сохранены в [отчёте визуальной приёмки](visual-review/README.md).
+Они относятся к локальному UI со стабильными fixture-ответами и не подтверждают
+состояние production или актуального OpenSearch.
+
+Основные файлы:
+
+- `backend/search/review.html` — разметка, встроенные CSS и JavaScript обоих
+  сценариев, footer и авторизация.
+- `backend/search/api.py` — выдача страницы для `/` и `/review`, API поиска,
+  фильтров и редакций.
+- `backend/test_search_api.py` — существующие проверки API.
+- `.gitea/workflows/ci.yaml` — обязательные проверки и сборка образов.
+
+| Проблема | Подтверждение в реализации | Требуемый результат |
+|---|---|---|
+| Другая шапка | Общая `.review__header`, поиск отдельной формой ниже | Бренд, поиск и язык в одной верхней строке |
+| Нет второй строки эталона | Нет общей полосы навигации и активных фильтров | Навигация и удаляемые фильтры под шапкой |
+| Другие пропорции | `.search__layout`: `230px / .9fr / 1.2fr`, `min-height: 65vh` | Измеренная сетка и корректная высота рабочей области |
+| Не тот вид фильтров | Все справочники выводятся radio-списками, даты вертикально | Компактные группы, select органа, даты рядом |
+| Выбранный результат неполон | Есть только фоновое выделение | Фон, рамка, подпись «Открыт», точные отступы |
+| Неполная панель документа | Есть заголовок, select редакции/языка, метаданные и текст | Полная иерархия и работающие действия эталона |
+| Смешаны стили документа | Объявлен `.search__document-body`, статья использует `.review__document-body` | Одна корректная область стилей поискового документа |
+| Шрифты не поставляются | Noto указаны в CSS, локальные файлы не найдены | Проверенная загрузка локальных шрифтов |
+| Нет фирменных ресурсов | Знак сделан CSS-кружком; орнамент и favicon отсутствуют | SVG-знак, орнамент, favicon |
+| Лабораторная панель на поиске | `.review__actions` вне скрываемого `<main>`; для `/` не скрывается | Оценивание только на `/review` |
+| Счётчик вводит в заблуждение | Выводится `payload.results.length`; API не возвращает total | Явное число на странице либо отдельно реализованный total |
+| Нет визуального контроля | Найденные тесты проверяют API, не геометрию страницы | Воспроизводимые браузерные снимки и сравнение |
+
+Это исходное описание состояния до реализации. Сейчас переключатель RU/KY,
+отдельный язык поиска, реальные редакции и язык документа, оглавление, поиск
+по тексту документа, разворачивание, печать и отдельный маршрут `/review`
+реализованы. Подробности текущей локальной приёмки и её ограничения приведены
+в [отчёте](visual-review/README.md); оставшиеся непроверенные состояния не
+считаются принятыми только потому, что чекбоксы плана перечислены ниже.
+
+## 3. Этап 0 — воспроизводимый эталон
+
+- [x] Перед реализацией перечитать актуальные инструкции, `DESIGN.md`,
+  реализацию маршрутов и обязательные проверки; использовать установленный
+  Ponytail согласно правилам репозитория.
+- [x] Сохранить чужие незакоммиченные изменения, создать тематическую
+  `feature/` ветку и не переносить посторонние изменения в PR.
+- [x] Зафиксировать основной viewport 1280×800 CSS px, браузер и его версию,
+  ОС, масштаб 100%, device scale factor и остальные viewport в отчёте.
+- [ ] Получить исходный снимок текущего интерфейса на тех же размерах.
+- [x] Подготовить детерминированные тестовые данные: запрос «налог на прибыль»,
+  три результата из изображения, выбран первый, открыта соответствующая
+  демонстрационная редакция, фильтр статуса и исходная прокрутка.
+- [x] Изолировать fixture от реального режима и пометить демонстрационное
+  содержимое только в тестовом сценарии. Не добавлять подмену юридических данных
+  в production-путь.
+- [x] Нормализовать сохранённое изображение до 1280×800 без изменения
+  пропорций и сохранить параметры подготовки эталона.
+- [x] Записать конфликты изображения с нормативной типографикой и токенами;
+  согласованные ограничения приведены в отчёте.
+
+Критерий завершения: один и тот же тестовый сценарий воспроизводится
+независимо от состояния OpenSearch и текущей реальной выдачи; реальный режим
+продолжает использовать API. Авторизация не ослабляется ради снимков.
+
+## 4. Этап 1 — карта геометрии
+
+Эталон 1586×992 пропорционально вписан в 1280×800; фактические значения
+сверены с Playwright при device scale factor 1. Допуск границ крупных зон —
+около 1 CSS px.
+
+| Область | Нормализованный эталон | Реализация |
+|---|---:|---:|
+| Шапка и строка навигации | y ≈ 0–126 px | y = 0–127 px |
+| Рабочая область | y ≈ 126–744 px | y = 127–744 px |
+| Footer | y ≈ 744–800 px | y = 744–800 px |
+| Фильтры | x ≈ 0–226 px | x = 0–226 px |
+| Результаты | x ≈ 226–648 px | x = 226–648 px |
+| Документ | x ≈ 648–1280 px | x = 648–1280 px |
+
+Внутренние контрольные координаты и ограничения см. в
+[отчёте визуальной приёмки](visual-review/README.md); там же есть overlay и
+разница по каждой крупной области.
+
+- [x] Измерить крупные границы, основную навигацию и ключевые элементы
+  документа по исходнику; фактические значения записаны в отчёте.
+- [ ] Измерить все внутренние отступы, размеры полей и кнопок, межстрочные
+  интервалы и разделители по всем областям.
+- [x] Зафиксировать адаптивные точки и проверить сетку на 1440/1024/390/320 px;
+  реальные длинные данные ещё не проверены.
+- [ ] Разделить метрики повторяемых элементов и высоты, зависящие от текста.
+  Не выравнивать принудительно высоту всех результатов или разделов.
+- [ ] Определить владельца прокрутки каждой области, поведение footer
+  при коротком содержимом и доступность длинного документа.
+
+Критерий завершения: геометрия описана измерениями и адаптивными правилами,
+а не независимыми приблизительными настройками каждого блока.
+
+## 5. Этап 2 — разделение сценариев и базовых стилей
+
+- [x] Разделить композиции поиска и лаборатории, сохранить маршруты,
+  авторизацию, кабинет, управление пользователями, обучение и черновики.
+- [x] Ограничить лабораторные элементы маршрутом `/review`, включая
+  панель проверяющего и сохранения; маршрут проверен браузерным тестом.
+- [ ] Использовать общий слой семантических токенов и базовых элементов;
+  стили поискового экрана изолировать BEM-классами.
+- [ ] Устранить дублирующие и неиспользуемые правила, исправить класс статьи.
+- [ ] Убрать зависимость шапки и footer поиска от лабораторного layout.
+- [ ] Если CSS/JS/ресурсы выносятся из HTML, добавить ограниченную выдачу
+  static-файлов с MIME, защитой от обхода путей и сохранением защитных
+  заголовков. Убедиться, что ресурсы входят в production-образ.
+
+Ожидаемые зоны изменений: `backend/search/review.html`, при необходимости
+каталог static-ресурсов рядом с ним и `backend/search/api.py`.
+Не вводить Next.js, React или новый сборщик только ради этой задачи.
+
+Критерий завершения: оба сценария работают независимо, общие CSS не меняют
+их композицию случайным образом; существующие права доступа сохранены.
+
+## 6. Этап 3 — шрифты, знак, орнамент и favicon
+
+- [ ] Поставить локальные WOFF2 Noto Sans 400/500/600 и Noto Serif 600/700
+  с лицензиями; исключить случайное синтетическое начертание.
+- [x] Проверить загрузку, `font-display`, кириллицу и `Ө ө Ү ү Ң ң`.
+  Визуальные снимки выполнять после `document.fonts.ready`.
+- [ ] Подготовить SVG-знак по визуальному направлению референса;
+  сверить размер, толщину линий и положение относительно названия.
+- [ ] Подготовить отдельный симметричный золотистый SVG-орнамент,
+  `aria-hidden`, без перекрытия управления и текста.
+- [x] Подготовить favicon SVG и растровый fallback 32×32; подключить
+  в `<head>`, проверить выдачу и MIME. Масштабирование SVG проверено визуально.
+- [ ] Подготовить единые SVG-иконки поиска, очистки, календаря, печати,
+  оглавления, разворачивания и стрелок; иконкам-кнопкам дать доступные имена.
+- [ ] Перенести значения в токены, не размножать HEX по компонентам.
+
+Критерий завершения: шрифты реально загружены, знак и орнамент являются
+ресурсами, favicon отображается; нет CSS-заглушек вместо фирменной графики.
+
+## 7. Этап 4 — сборка композиции
+
+Работать от крупных областей к деталям; сначала геометрия, затем типографика.
+
+- [ ] Шапка: знак, название, разделитель, подпись продукта, поле с подписью
+  и очисткой, «Найти», язык интерфейса. Служебные действия доступны компактно.
+- [ ] Вторая строка: «Поиск», «Об источниках», удаляемые фильтры;
+  демонстрационная подпись только для fixture. «Об источниках» открывает
+  реальные сведения о происхождении данных, а не пустую заглушку.
+- [ ] Три панели: непрерывные границы, правильные фоны и пропорции,
+  отсутствие лишнего свободного ряда статуса в стабильном состоянии.
+  Сообщения для скринридера сохраняются.
+- [ ] Фильтры: заголовок, текстовый сброс, статус, вид, орган, даты рядом,
+  орнамент в свободной нижней части без перекрытия длинного содержимого.
+- [ ] Результаты: заголовок и честный счётчик, компактная сортировка,
+  строки выдачи, выбранная строка с рамкой/фоном/«Открыт», метаданные,
+  безопасная подсветка выдержки, пагинация.
+- [ ] Документ: breadcrumbs и разворачивание, отдельная роль заголовка,
+  компактные метаданные, язык, действия, поиск внутри, поле чтения.
+- [ ] Footer: бренд слева, фактические версии frontend/backend справа;
+  не копировать устаревшую backend-версию и слово «макет» из изображения.
+
+Критерий завершения: порядок, вложенность и пропорции всех крупных зон
+соответствуют эталону; нет лишних лабораторных блоков.
+
+## 8. Этап 5 — рабочее поведение и интеграция
+
+- [ ] Сохранить поиск, сортировку, пагинацию, загрузку редакций и языков.
+- [x] Синхронизировать фильтры с URL и удалять отдельный фильтр без сброса
+  остальных; сохранение второго фильтра проверяется Playwright.
+- [ ] Проверить восстановление и историю навигации через прямые ссылки и Back/Forward.
+- [ ] Согласовать вид фильтров с контрактом: текущий API принимает одиночные
+  значения. Не имитировать множественный выбор checkbox без поддержки API.
+  Если нужен multiselect, отдельно описать и проверить расширение контракта.
+- [ ] Разделить язык интерфейса, поиска и текста документа. Для RU/KY
+  перевести подписи, статусы и ошибки; смена UI не подменяет текст редакции.
+- [ ] Не выдавать число на странице за общее: использовать явную подпись
+  либо отдельно реализовать достоверный total с проверкой его семантики.
+- [ ] Построить оглавление по реальным заголовкам, с корректными якорями;
+  при отсутствии структуры показать понятное состояние.
+- [ ] Реализовать поиск по текстовым узлам документа: ввод/очистка,
+  подсветка, активное совпадение, счётчик, предыдущий/следующий,
+  прокрутка и состояние нулевого результата. Не повреждать HTML,
+  ссылки и таблицы; не вставлять пользовательский запрос через `innerHTML`.
+- [ ] Реализовать разворачивание/возврат с сохранением выбранной редакции,
+  прокрутки и корректного фокуса.
+- [x] Добавить печать через print CSS: документ, его реквизиты и источник
+  без поисковых и служебных панелей; служебные элементы проверены в print media.
+- [ ] Защитить смену запроса/документа/редакции от запоздавших ответов
+  через отмену запроса или проверку актуальности результата.
+- [ ] Сохранить безопасный вывод очищенного документного HTML и ссылок,
+  обработку ошибок и ограничения авторизации.
+
+Критерий завершения: каждый видимый элемент эталона выполняет действие;
+нет декоративных кнопок, фиктивных языков и выдуманных юридических статусов.
+
+## 9. Этап 6 — адаптивность, типографика и состояния
+
+- [ ] Настроить размеры, веса, line-height и отступы после фиксации сетки.
+  Сверить переносы названия документа, результатов и плотность абзацев.
+- [x] Проверить 1280×800 и ширины 1440/1024/390 px; дополнительно 320 px.
+  Высоты и параметры окружения записаны в отчёте.
+- [ ] Проверить реальные длинные редакции, длинные названия на RU/KY и подобрать
+  breakpoints на реальных данных корпуса.
+- [x] На узких экранах открывать фильтры отдельной доступной панелью,
+  документ — отдельным представлением с возвратом к результатам; проверено на 390 px.
+- [x] Сокращать/убирать орнамент на телефоне; сохранять текст без
+  горизонтальной прокрутки, широкие таблицы — в собственной области прокрутки.
+  Проверено синтетической широкой таблицей; реальные таблицы корпуса остаются открыты.
+- [x] Проверить длинные названия, отсутствие редакций, широкую таблицу и
+  широкое изображение синтетическими данными.
+- [ ] Проверить одноязычные реальные редакции, ссылки, много фильтров и
+  длинный контент из реального корпуса.
+- [x] Проверить загрузку редакции, empty, search/edition error, retry,
+  disabled-состояние без редакции и focus-visible; query сохраняется при ошибке.
+- [ ] Проверить hover и сценарии ошибок авторизации/администрирования.
+- [x] Проверить Tab/Shift+Tab/Escape, возврат фокуса мобильной панели и
+  диалогов, а также `prefers-reduced-motion`.
+- [ ] Проверить доступные имена всех элементов, live-сообщения, контраст,
+  масштабирование, скринридер и touch-области на поддерживаемых устройствах.
+
+Критерий завершения: точность desktop не приводит к переполнению,
+недоступности действий или потере контекста на узком экране.
+
+## 10. Этап 7 — визуальная приёмка
+
+Выполнить один пакет первичных снимков всех контрольных размеров,
+собрать дефекты по областям, исправить одним пакетом и выполнить один
+подтверждающий проход. Новые циклы обосновывать конкретными оставшимися
+дефектами или замечаниями независимого reviewer, не бесконечной полировкой.
+
+- [x] Дождаться шрифтов и стабильных fixture-данных, задать исходную
+  прокрутку; снимки делаются после `document.fonts.ready`.
+- [x] Проверить, что снимки показывают загруженный поисковый сценарий, а не
+  login, ошибку или другой маршрут.
+- [x] Для 1280×800 подготовить overlay 50%, difference image и отдельные
+  сравнения шапки, фильтров, результатов, документа и footer.
+- [x] Сохранить снимки остальных размеров и отчёт с условиями, отклонениями,
+  исправлениями и известными ограничениями.
+- [ ] Передать независимому reviewer запрос пользователя, эталон,
+  `DESIGN.md`, этот план, diff и снимки всех проверенных размеров.
+
+Критерии для детерминированного fixture при 1280×800:
+
+| Проверка | Условие приёмки |
+|---|---|
+| Границы крупных зон | Отклонение от зафиксированной карты до 2 CSS px |
+| Отступы и размеры управления | Отклонение до 2 CSS px от измерений |
+| Ключевые заголовки | Совпадают переносы при согласованных шрифтах; исключения объяснены |
+| Композиция | Все зоны и элементы эталона присутствуют, порядок совпадает |
+| Ресурсы | Загружены шрифты, знак, орнамент, favicon, единые иконки |
+| Рабочий сценарий | Поиск, фильтры, редакции, действия и навигация работают |
+| Адаптивность | Нет перекрытий, обрезанного управления и общей горизонтальной прокрутки |
+| Изоляция | Нет лабораторного оценивания на поиске, `/review` без регрессий |
+
+Нулевая попиксельная разница не является критерием: сглаживание текста,
+растровая природа концепта и нормативные токены дают объяснимые различия.
+Один процент сходства всего экрана не заменяет проверки каждой области.
+Достижение допусков подтверждается измерениями, а не общей оценкой «похоже».
+
+## 11. Этап 8 — проверки, версия и PR
+
+Этот этап относится к реализации в feature-ветке. Frontend повышен до `0.2.3`,
+backend — до `0.13.0` для allowlist-выдачи локальных шрифтов. Контракт Search
+API v1 не менялся.
+
+- [x] Выполнить доступные локально проверки из `AGENTS.md` и CI: backend,
+  Telegram bot, backup, deploy, host/root/verifier/audit/Compose/production
+  config/runner guards, shell syntax и Playwright.
+- [ ] Получить успешный CI на назначенном runner: `docker compose config`,
+  проверка Caddyfile и сборка backend/OpenSearch production images.
+- [x] Добавить проверки фактических изменений: static/favicon, браузерные
+  сценарии поиска/редакций/поиска внутри/навигации и регрессии лаборатории;
+  визуальное сравнение использует стабильный fixture.
+- [x] Повысить версии для совместимого функционального изменения;
+  frontend/backend версии согласованы в footer.
+- [x] Выполнить push и найти существующий PR ветки через `gitea-api`;
+  изменения остаются в одном PR #53.
+- [ ] После каждого push независимый reviewer проверяет полный текущий PR,
+  прежние исправления и оставляет краткий PR-комментарий с явным выводом
+  о наличии или отсутствии блокирующих замечаний; reviewer не редактирует код.
+- [ ] Исправить обоснованные замечания в той же ветке/PR, повторить проверки,
+  commit/push и независимый review.
+- [ ] После успешных проверок и устранения блокирующих замечаний обновить
+  существующий changelog, записав значимые изменения для пользователя.
+- [ ] Commit/push changelog в тот же PR, повторить обязательные проверки
+  и независимый review окончательного состояния.
+
+Готовность к merge: проверки проходят, финальный review не содержит
+блокирующих замечаний, changelog и версии согласованы, визуальные доказательства
+доступны reviewer. Не сливать автоматически и не развёртывать production.
+
+## 12. Порядок выполнения и итоговые материалы
+
+Зависимости: эталон → измерения → разделение сценариев → ресурсы → композиция
+→ поведение → адаптивность и состояния → визуальная приёмка → финальный PR.
+Не начинать микроподгонку кнопок до исправления общей геометрии.
+
+Ожидаемые материалы реализации:
+
+- обновлённая поисковая страница и сохранённый сценарий лаборатории;
+- локальные шрифты с лицензиями, SVG-знак, орнамент, favicon и иконки;
+- детерминированный тестовый сценарий и воспроизводимый способ снимков;
+- карта измерений, снимки, overlay/diff и отчёт приёмки;
+- результаты обязательных проверок и независимого review;
+- версии, changelog и один PR без автоматического merge.
+
+Чекбоксы отмечать только после выполнения и проверки. Локальные проверки,
+которые реально выполнены, зафиксированы в отчёте visual-review.
+Этот документ не подтверждает готовность API, публичного продукта или
+production.

docs/product/frontend-search-sps-plan.md

@@ -0,0 +1,265 @@
+# План реализации frontend поисковой СПС
+
+Основание: `docs/Функциональные_возможности_поисковой_СПС.docx`.
+
+Документ с требованиями описывает не только frontend, но и поиск, юридическую
+обработку, персональные данные, уведомления и внешние источники. Поэтому
+frontend следует начинать после появления нормализованной базы, поискового API
+и API документов.
+
+Требования необходимо адаптировать под Кыргызскую Республику: в исходном
+документе используются примеры ТК РФ и деление
+«федеральный/региональный/муниципальный», которое нельзя переносить без
+изменений.
+
+## Задачи до начала frontend-разработки
+
+### Обязательные для MVP
+
+1. Нормализовать архив Минюста:
+   - очистить HTML;
+   - выделить структуру документа и редакций;
+   - унифицировать статусы, органы, виды документов и даты;
+   - сохранить ссылки на официальный источник и дату получения;
+   - определить правила отображения документов без текста.
+2. Подготовить backend API:
+   - `GET /search`;
+   - `GET /search/filters`;
+   - `GET /documents/{code}`;
+   - `GET /documents/{code}/editions`;
+   - `GET /documents/{code}/editions/{edition}`;
+   - описание API в OpenAPI;
+   - серверную пагинацию, фильтрацию и сортировку.
+3. Развернуть поисковый сервис. Рекомендуемый вариант — self-hosted OpenSearch:
+   - отдельные поля и анализаторы для русского и кыргызского текстов;
+   - русский морфологический анализ;
+   - ICU-нормализация кыргызского текста;
+   - словари синонимов и сокращений;
+   - подсветка совпадений;
+   - индексирование всех редакций.
+4. Подготовить тестовый набор из 50–100 реальных запросов на русском и
+   кыргызском языках и вручную отметить ожидаемые результаты.
+5. Утвердить справочники:
+   - виды документов;
+   - органы принятия;
+   - статусы;
+   - уровни действия;
+   - тематический классификатор первой версии.
+
+OpenSearch имеет встроенный
+[русский морфологический анализатор](https://docs.opensearch.org/latest/analyzers/language-analyzers/russian/),
+поддерживает [синонимы и нечёткий поиск](https://docs.opensearch.org/latest/query-dsl/full-text/match/)
+и [подсветку результатов](https://docs.opensearch.org/latest/search-plugins/searching-data/highlight).
+Встроенного кыргызского морфологического анализатора в перечне нет, поэтому
+нужно отдельно проверить ICU и словари на реальных запросах.
+[ICU-анализатор](https://docs.opensearch.org/latest/analyzers/language-analyzers/icu/)
+обеспечивает Unicode-нормализацию, но сам по себе не гарантирует кыргызскую
+морфологию.
+
+### Сторонние сервисы, не нужные для MVP
+
+Их не следует подключать заранее:
+
+- Keycloak или другой OIDC-провайдер — перед закладками, папками и ролями;
+- SMTP, Telegram или Web Push — перед «документами на контроле»;
+- LibreOffice или Gotenberg — перед экспортом в Word, PDF и RTF;
+- поставщики судебной практики и экспертных комментариев — после проверки
+  лицензий;
+- источники курсов, календарей и справочных данных — перед соответствующим
+  разделом;
+- Sentry или аналог — опционально перед публичным запуском.
+
+## Граница MVP
+
+MVP — публичная справочно-поисковая система без регистрации и персональных
+функций.
+
+В MVP входят:
+
+- интерфейс на русском и кыргызском языках;
+- строка полнотекстового поиска;
+- исправление распространённых опечаток;
+- базовые синонимы и сокращения;
+- список результатов с подсвеченными фрагментами;
+- фильтры по языку, виду документа, органу, статусу и дате;
+- сортировка по релевантности и дате;
+- пагинация;
+- карточка документа;
+- актуальная редакция, статус и дата актуальности;
+- переключение между доступными языками;
+- поиск внутри открытого документа;
+- список редакций и открытие выбранной редакции;
+- ссылка на официальный источник и сведения о происхождении данных;
+- адаптивность, доступность, состояния загрузки и ошибок.
+
+Сравнение редакций, аккаунты, заметки, уведомления, RAG и судебная практика в
+MVP не входят.
+
+Интерфейс не должен предполагать наличие обоих языков. На момент полного
+скачивания архива распределение следующее:
+
+- только русский язык — 29 433 документа;
+- только кыргызский язык — 98 905 документов;
+- оба языка — 80 930 документов;
+- нет HTML-текста — 690 документов.
+
+## Рекомендуемая основа frontend
+
+Для внутреннего frontend лаборатории и авторизованного поиска используется
+одна HTML-страница, которую отдаёт существующий Search API, и браузерный
+JavaScript без сборщика и runtime-зависимостей. Это сохраняет текущую схему
+развёртывания. Публичный frontend после readiness gate можно оценить отдельно.
+
+- Next.js App Router и TypeScript;
+- CSS Modules с BEM-именованием;
+- дизайн-токены для цветов, отступов, типографики и состояний;
+- серверный `fetch` и URL-параметры вместо отдельного глобального хранилища;
+- Playwright для основных пользовательских сценариев;
+- адаптивный web-интерфейс без отдельного мобильного приложения.
+
+Next.js App Router поддерживает серверные компоненты, маршрутизацию и
+TypeScript в стандартной конфигурации. См.
+[официальную документацию](https://nextjs.org/docs/app).
+
+## Дизайн-процесс и внешние ориентиры
+
+При проектировании и проверке интерфейса используются следующие источники:
+
+- [jakubkrehel/skills](https://github.com/jakubkrehel/skills) — обязательная
+  комплексная проверка интерфейса через `better-interface`, включая UI,
+  типографику, цвета, доступность, layout и тексты;
+- [UI Skills](https://www.ui-skills.com/) — каталог практик и узких skills,
+  которые подключаются только под конкретную задачу после проверки их
+  содержания и лицензии;
+- [Refero Styles](https://styles.refero.design/) — библиотека визуальных
+  направлений и примеров `DESIGN.md` для поиска референсов.
+
+Правила применения:
+
+1. Визуальное направление «Түндүк» утверждено пользователем. Применять
+   корневой [DESIGN.md](../../DESIGN.md); повторный выбор направления не нужен.
+2. Не копировать чужую дизайн-систему целиком. Цвета, типографика, плотность и
+   компоненты должны учитывать длинные юридические тексты, два языка и
+   доступность.
+3. Перенести значения из корневого `DESIGN.md` в дизайн-токены проекта.
+   Не создавать отдельный `frontend/DESIGN.md` или конкурирующие спецификации.
+4. Дизайн-токены и компоненты Акылдаша являются источником истины. Внешние
+   рекомендации не могут отменять BEM, доступность, требования безопасности и
+   продуктовые ограничения проекта.
+5. Каждый завершённый пользовательский сценарий проходит `better-interface`
+   review. Перед выпуском MVP выполняется полный review поиска, фильтров и
+   просмотра документа.
+6. UI Skills используется для точечного поиска решения, а не для одновременного
+   смешивания нескольких визуальных стилей.
+
+Эти ресурсы используются на этапе проектирования и review и не являются
+runtime-зависимостями frontend. Регистрация в стороннем SaaS для MVP не нужна.
+
+## План спринтов MVP
+
+### Спринт 0 — фундамент, 1 неделя
+
+- создать `frontend/`;
+- настроить Next.js, TypeScript, lint и сборку;
+- применить утверждённую дизайн-систему «Түндүк» из корневого `DESIGN.md`;
+- установить полный набор `jakubkrehel/skills` для проектных design review;
+- определить маршруты и типы API;
+- создать дизайн-токены;
+- реализовать базовые компоненты: кнопка, поле, селект, статус, карточка,
+  пагинация;
+- создать общий layout и двуязычную навигацию;
+- добавить footer с версиями frontend и backend;
+- подготовить макеты поиска, результатов и документа;
+- провести первый `better-interface` review макетов;
+- настроить CI.
+
+Результат: интерфейсный каркас работает на mock-ответах API.
+
+### Спринт 1 — быстрый поиск, 2 недели
+
+- главная страница с поиском;
+- интеграция с `/search`;
+- список результатов;
+- подсветка совпадений;
+- URL, которым можно поделиться;
+- переключение RU/KY;
+- состояния загрузки, отсутствия результатов и ошибки API;
+- базовая мобильная версия.
+
+Результат: пользователь может найти документ и открыть результат.
+
+### Спринт 2 — точный отбор, 2 недели
+
+- фильтры по реквизитам;
+- сортировка;
+- пагинация;
+- отображение числа результатов;
+- сброс отдельных и всех фильтров;
+- сохранение состояния в URL;
+- доступное управление с клавиатуры;
+- адаптивная панель фильтров.
+
+Результат: поддерживается быстрый и реквизитный поиск.
+
+### Спринт 3 — просмотр документа, 2 недели
+
+- заголовок, реквизиты, статус и дата актуальности;
+- безопасное отображение очищенного HTML;
+- переключение языка;
+- поиск внутри документа;
+- навигация по найденным фрагментам;
+- список редакций;
+- открытие предыдущей редакции;
+- ссылка на ЦБД Минюста;
+- печать средствами браузера.
+
+Результат: пользователь может проверить текст и его происхождение.
+
+### Спринт 4 — стабилизация и выпуск, 2 недели
+
+- сквозные тесты поиска и просмотра;
+- проверка русских, кыргызских и одноязычных документов;
+- соответствие WCAG 2.2 AA;
+- защита от внедрения небезопасного HTML;
+- проверка производительности;
+- корректные метаданные страниц;
+- обработка недоступности API;
+- production-сборка и развёртывание;
+- пользовательское тестирование на 10–15 реальных юридических задачах.
+
+Результат: публичный MVP.
+
+Оценка frontend-части после готовности API: **9 недель**.
+
+## Спринты после MVP
+
+### Спринт 5 — персональные функции
+
+Базовый вход и смена пароля для внутреннего frontend уже реализованы. Для
+публичного продукта остаются закладки, заметки, подборки и сохранённые фильтры.
+
+### Спринт 6 — контроль изменений
+
+Документы на контроле, подписки на редакции и уведомления.
+
+### Спринт 7 — юридические связи
+
+Сравнение редакций, прямые и обратные ссылки, утратившие силу фрагменты.
+
+### Спринт 8 — практические материалы
+
+Формы, образцы, инструкции, чек-листы, календари и справочные данные.
+
+### Спринт 9 — расширенный анализ
+
+Судебная практика, экспертные комментарии, дерево связей и RAG с обязательными
+ссылками на источники.
+
+### Спринт 10 — корпоративные функции
+
+Роли, журналирование, API, интеграция с СЭД, расширенный экспорт и
+персонализация.
+
+---
+
+Акылдаш · Telegram-бот v0.2.2 · Backend v0.12.2 · Frontend v0.1.2

docs/product/interface-correction-plan.md

@@ -0,0 +1,334 @@
+# Единый план корректировки интерфейса «Акылдаш»
+
+Дата аудита: **23 октября 2026 года**.
+Базовые пункты UI-01—UI-33 исправлены и вошли в `main` через PR #54.
+На 24 октября 2026 года отдельный follow-up по замечаниям владельца для поиска,
+личного кабинета и лаборатории реализован; локальный браузерный набор пройден.
+Ожидаются CI и ручное PR review для pushed SHA.
+
+Этот файл заменяет `frontend-pixel-perfect-plan.md` и является единственным
+рабочим планом исправления UI/UX поиска, лаборатории и служебных окон.
+Продуктовый roadmap и требования к юридической готовности остаются отдельными
+документами: они не являются конкурирующими планами исправления интерфейса.
+
+## 1. Источники истины и границы
+
+- [DESIGN.md](../../DESIGN.md) — нормативная система «Түндүк».
+- [Утверждённая композиция](../design/tunduk-desktop-concept.png) — визуальный
+  ориентир, а не образец юридических данных или текущих функций.
+- [Целевые редактируемые макеты Figma](https://www.figma.com/design/3PE98PJYOXo7a35u2X5VqB)
+  — предлагаемая компоновка поиска, лаборатории, кабинета и адаптивных видов.
+- Этот файл — дефекты, требования к поведению, порядок исправления и приёмка.
+
+Проверялся работающий `https://akyldash.kg/` в авторизованной сессии,
+версии в интерфейсе: Frontend **0.2.3**, Backend **0.13.0**.
+Локальный checkout содержит более ранние версии; код и live-сайт нельзя
+считать одинаковыми без сверки SHA перед реализацией. Инфраструктурные
+документы не заменяют результаты этой браузерной проверки.
+
+В этой задаче исправляются frontend и доступ к статическому экрану `/users`.
+Backend-проверки ролей и операций управления пользователями не меняются.
+Production, пользователи, пароли, сохранённые оценки, ранжирование и правовой
+корпус не меняются. Реальные учётные записи не используются в регрессионном
+fixture.
+
+## 2. Что проверено
+
+Проверка включала клики и чтение DOM, снимки и измерение переполнения.
+Контрольные viewport: **1440×900, 1280×800, 1024×768, 390×844**;
+дополнительно исходный viewport браузера 1064×1244. Изображения пользователя
+с более широким desktop учитываются как дополнительные свидетельства,
+но не выдаются за собственный браузерный прогон.
+
+| Поверхность / сценарий | Выполнено | Ограничение |
+|---|---|---|
+| Начальный `/` | Пустой запрос, доступные действия, фильтры, footer | Ошибочное empty-состояние подтверждено |
+| Поиск RU | Запрос «налог на прибыль», загрузка выдачи, открытие кодекса | Не экспертная проверка юридической релевантности |
+| Фильтры | Выбор статуса, появление chip, снятие фильтра | Все комбинации справочников не перебирались |
+| Сортировка / страницы | Выбор даты / релевантности, переход на страницу 2, сброс на страницу 1 | Оценивалось состояние UI и URL |
+| Пустая выдача | Запрос `zzzzqwerty987654321` | Серверный сбой не провоцировался |
+| Документ | Реальный текст, список редакций, переключение редакции и языка, разворот | Печать на принтер / в PDF не запускалась |
+| Поиск в документе | Ввод фразы, подсветка, кнопка следующего совпадения | Поиск после смены редакции требует отдельного теста |
+| RU/KY интерфейс | Переключение и чтение подписей | Найдены непереведённые подписи; полнота всех строк не подтверждена |
+| Мобильные фильтры | Открытие и закрытие панели | Полный touch-прогон на физическом устройстве не выполнен |
+| «Об источниках» | Открытие, чтение, закрытие | Внешний сайт Минюста не является частью этого аудита |
+| Личный кабинет | Открытие, профиль, поля смены пароля, Escape и возврат фокуса | Пароли не вводились и не менялись |
+| Пользователи | Открытие из кабинета и из лаборатории, чтение структуры | Создание, удаление и сброс пароля не выполнялись |
+| `/review` | Пустое состояние, поиск, шкала оценок, открытие документа, обучение | Оценки не отправлялись; серверное сохранение не подтверждено |
+| Авторизация / истёкшая сессия | Установлено наличие в локальной реализации | Live login и принудительная смена пароля не проверялись: действующую сессию не завершали |
+
+Снимки: [каталог аудита](../design/audit-2026-10-23/).
+Участки с реальными списками пользователей не переносятся в макеты Figma;
+там используются явно условные примеры. Часть снимков лаборатории сделана
+с длинной страницей; снимок не гарантирует корректность всех скрытых участков.
+
+## 3. Реестр недостатков
+
+**P1** — исправить до визуальной приёмки / выпуска; **P2** — существенное
+улучшение понятности и последовательности. Предложения обозначены отдельно
+от подтверждённых дефектов. Отсутствие функции само по себе не означает баг.
+
+| ID | Приоритет | Подтверждённый недостаток / свидетельство | Корректировка и условие приёмки |
+|---|---|---|---|
+| UI-01 | P1 | В начальном поиске одновременно «Введите запрос» и «Документы не найдены» | Разделить initial/loading/results/empty/error; empty только после завершённого поиска |
+| UI-02 | P1 | До выбора документа доступны печать/разворот/содержание, видны пустые селекты | До выбора — только понятное приглашение открыть результат; инструменты появляются после загрузки |
+| UI-03 | P1 | У фильтров горизонтальный и вертикальный скроллы; при 1064 px `clientWidth=194`, `scrollWidth=231` | Горизонтальное переполнение исключено; компактные группы, достаточная ширина, длинные списки раскрываются по запросу |
+| UI-04 | P1 | «Сбросить» обрезается заголовком панели | Заголовок и действие полностью видны на всех поддерживаемых размерах |
+| UI-05 | P1 | Счётчики отрываются от названий, частые переносы превращают фильтры в длинную колонку | Отдельные колонки выбора/подписи/числа; числа с разделителями; перенос только длинного названия по словам |
+| UI-06 | P1 | Все 28 видов и 8 статусов развёрнуты; орган и даты далеко ниже первого экрана | Основные варианты + «Все виды»/«Все статусы», сворачиваемые группы; сохранять доступ ко всем значениям |
+| UI-07 | P1 | Язык поиска имеет ширину около 78 px; «Русский»/«Кыргызский» обрезаются | Размер по самой длинной локализованной подписи и стрелке; проверка RU/KY без ellipsis |
+| UI-08 | P1 | На 390 px строка навигации горизонтально прокручивается, кабинет и фильтры уходят за край | Адаптивная перестройка: видимые поиск, фильтры, кабинет; ни одна основная кнопка не требует горизонтального скролла |
+| UI-09 | P2 | Кабинет — малозаметная иконка в правом конце второй строки; слева большой неинформативный промежуток | На desktop подписанная кнопка «Кабинет» в шапке; на mobile узнаваемая иконка с доступным именем и достаточной областью |
+| UI-10 | P1 | На 1024/1064 три колонки остаются тесными; название кодекса занимает большую часть панели | Адаптивный двухпанельный режим, скрытие фильтров, ограничения ширин; не сжимать все три колонки бесконечно |
+| UI-11 | P2 | Длинное название документа повторено в breadcrumb, заголовке и исходном тексте | Breadcrumb обозначает контекст; в заголовке короткое название при наличии отдельного поля, реквизиты ниже; официальный текст не переписывать |
+| UI-12 | P1 | Source link и toolbar переполняются на промежуточных ширинах; при 1064 px toolbar `412/427` | Действия переносятся группами, без обрезки; размер по содержимому, подписи редакции и языка постоянные |
+| UI-13 | P2 | В исходном тексте большие пустые абзацы и синие ссылки конфликтуют с оболочкой | Нормализовать отображение пустых блоков без потери структуры; безопасно унифицировать ссылки и отступы в scope документа |
+| UI-14 | P1 | В тексте есть широкие таблицы: например, `clientWidth=412`, `scrollWidth=834` | Таблицы — самостоятельная обозначенная область прокрутки; документ и весь экран не получают горизонтальный скролл |
+| UI-15 | P1 | В DOM документа обнаружены относительные ссылки на старые локальные Temp-пути и HTTP URL исходного редактора | Не показывать их как рабочие внутренние переходы; безопасно разрешать/классифицировать ссылки, не удаляя юридический текст; локальные/IP-ссылки не открывались |
+| UI-16 | P2 | Разворот открывает ещё одно окно с текстом; поиск, выбранное совпадение и toolbar не представлены в нём | Целевой режим чтения сохраняет редакцию, язык, положение и средства навигации; возврат очевиден |
+| UI-17 | P2 | Часть KY-интерфейса остаётся русской: например заголовки групп и служебные доступные подписи | Инвентаризировать все UI-строки; контент документа переводом интерфейса не подменять |
+| UI-18 | P1 | На `/review` два видимых footer; общий footer находится до сохранения | Ровно один видимый footer после основного контента и панели сохранения |
+| UI-19 | P1 | В лаборатории шапка, формы, панели и footer имеют разные границы и ширины | Общая оболочка и единые горизонтальные направляющие, совпадающие поля и ширины контейнеров |
+| UI-20 | P1 | Шапка лаборатории слишком высокая; на mobile рабочие результаты вытеснены далеко вниз | Компактный заголовок и помощь рядом; поиск и начало работы доступны без большого вступительного блока |
+| UI-21 | P1 | У кабинета фактически пустой `account-heading`, нет видимого заголовка | «Личный кабинет» в заголовке, корректное имя диалога для скринридера |
+| UI-22 | P1 | В кабинете нет крестика; «Закрыть» только внизу формы смены пароля | Единый крестик 44×44 справа сверху, доступное имя, Escape, возврат фокуса; нижняя отмена при редактировании |
+| UI-23 | P1 | Навигация, выход, профиль и смена пароля смешаны в одном неструктурированном окне | Отдельные разделы «Профиль» / «Безопасность»; служебные действия и выход отделены от формы |
+| UI-24 | P1 | «Пользователи» из кабинета открывает `users-dialog`, когда `account-dialog` остаётся открытым поверх него | Не оставлять конкурирующие модальные окна: закрыть кабинет с сохранением контекста и открыть целевой экран/диалог; фокус соответствует видимому окну |
+| UI-25 | P1 | Управление пользователями — длинный модальный список, закрытие ниже видимой области | Предпочтительно отдельный экран с таблицей; создать/сбросить — короткие отдельные диалоги с фиксированным заголовком и крестиком |
+| UI-26 | P2 | Удаление, сброс пароля, создание и данные входа перемешаны без ясной иерархии | Действия на строке пользователя; удаление отдельно и с подтверждением; не раскрывать все формы сброса постоянно |
+| UI-27 | P2 | Различаются оформление бренда/навигации/шрифтов, есть стандартные синие ссылки в лаборатории и кабинете | Единые header, logo, button, link, dialog и footer на всех поверхностях |
+| UI-28 | P2 | Диалоги закрываются разными кнопками в разных местах | Одна модель окна и доступного закрытия, описанная ниже |
+| UI-29 | P2 | Обучение автоматически появляется с задержкой и перехватывает фокус уже начатого ввода | Не перехватывать ввод; запуск по «Как это работает» либо ненавязчивому предложению до начала работы |
+| UI-30 | P2 | Шкала 0–3 на длинной выдаче создаёт плотный набор переносов; комментарии всегда занимают место | Полные подписи без обрезки, допускается сетка 2×2; комментарий раскрывается, введённый текст не теряется |
+| UI-31 | P2 | На пустом лабораторном экране «Сохранить оценку» выглядит готовой к отправке | Состояние зависит от наличия снимка; явное объяснение, прогресс и статус черновика; не менять смысл отсутствующей оценки |
+| UI-32 | P2 | В footer работающего сайта остаётся «Концепция Түндүк» | В рабочем режиме название продукта и реальные версии; подпись концепции только в макете/демо |
+| UI-33 | P1 | Открытие кодекса в лаборатории растягивает страницу: footer оказался на y≈636935 px, сохранение — внизу после него | Ограничить область чтения по высоте viewport и дать ей собственную вертикальную прокрутку; сохранение доступно независимо от длины документа, без сотен экранов прокрутки |
+
+Escape и возврат фокуса кабинета на `search-account-open` проверены и работают.
+Это поведение сохранить. Механизм Tab/Shift+Tab всех окон, ошибки API,
+контраст всех состояний, печатная вёрстка и поведение на 200–400% zoom
+требуют отдельного приёмочного прогона; здесь они не объявлены проверенными.
+
+## 4. Целевая сетка, изменение ширины и фильтры
+
+Это согласованное направление корректировки, а не уже существующие функции.
+
+1. Шапка, навигация, main и footer принадлежат одной оболочке. Поисковый
+   и лабораторный контент не вставляются друг в друга и не дублируют footer.
+2. На широком desktop три колонки с двумя доступными разделителями.
+   Базовый ориентир при 1440: **280 / 408 / 736 px + два захвата по 8 px**.
+   При 1280: **256 / 384 / 624 px + два захвата по 8 px**. Это размеры
+   целевых макетов, а не требование сжимать эти колонки ниже удобных минимумов.
+3. Предлагаемые пределы: фильтры 256–360 px, выдача от 360 px,
+   документ от 560 px. Если окно не вмещает минимумы, фильтры уходят
+   в отдельную панель, затем документ становится отдельным представлением.
+   Пользовательское растягивание не может сломать соседнюю колонку.
+4. Разделители: узнаваемый захват, `col-resize`, роль `separator`,
+   доступное имя, текущая/минимальная/максимальная ширина. Перетаскивание
+   и стрелки клавиатуры; отдельные «Скрыть фильтры» / «Показать фильтры»
+   и «Сбросить ширину». Двойной клик может дополнять, но не заменяет
+   видимый и клавиатурный способ сброса. Положение хранится локально;
+   при восстановлении ограничивается фактическим viewport.
+5. На desktop у фильтров нет отдельной постоянно прокручиваемой узкой
+   колонки: краткие группы и раскрытие длинных справочников. Полный
+   каталог доступен через поиск/раскрытие; нельзя скрыть значения навсегда.
+   Одиночный выбор API не выдаётся за множественный checkbox.
+6. Длинные названия органов открываются в панели выбора с полными строками;
+   основное поле не становится бессмысленной обрезанной подписью.
+7. Даты имеют постоянные «От» / «До»; если два поля не помещаются,
+   ставятся друг под другом. Перенос текста внутри input недопустим.
+8. На desktop самостоятельная вертикальная прокрутка выдачи и длинного
+   документа допустима. Их заголовки/toolbar доступны при чтении.
+   Фильтры и всё приложение не должны требовать горизонтальной прокрутки.
+   На телефоне — одна основная вертикальная прокрутка и отдельные панели.
+9. Footer внизу короткой страницы через layout с `min-height: 100dvh`
+   и растущим main, а не `position: fixed` поверх содержимого. При длинном
+   контенте footer следует после него. Панель сохранения имеет собственное
+   место; sticky допускается только без перекрытия последней строки.
+
+## 5. Единые правила всех окон и форм
+
+- Видимый короткий заголовок и крестик в правом верхнем углу, область 44×44.
+  Закрытие не спрятано в конце длинного содержимого.
+- Desktop: ширина по задаче, обычно 480–640 px, максимум относительно
+  viewport; mobile: отступ 16 px либо полноэкранная форма для длинного ввода.
+  Заголовок/закрытие остаются доступны при прокрутке содержимого.
+- `dialog` / `aria-modal`, имя через заголовок; фокус при открытии внутри,
+  Tab/Shift+Tab не уходят в фон, Escape закрывает обычное окно, фокус
+  возвращается на инициатор. Фон не интерактивен. Исключения для
+  обязательной смены пароля объясняются пользователю, не маскируются.
+- Не наслаивать кабинет и пользователей. Переход между задачами — замена
+  поверхности с понятным возвратом. Подтверждение удаления — короткое
+  целевое окно, а не второй длинный редактор за первым.
+- «Профиль» — просмотр сведений; «Безопасность» — смена пароля. Доступ
+  к администрированию определяется сервером, редизайн не меняет права.
+- В форме пароля постоянные подписи, подсказка требований, показать/скрыть
+  пароль с доступным именем; подтверждение нового пароля как защита от
+  опечатки. Никакие реальные пароли не предзаполняются и не записываются
+  в материалы аудита. Изменение пароля выполняет человек.
+- Основное действие одно; «Отмена» вторична; «Выйти» отдельно от сохранения.
+  Enter отправляет только активную форму. Ошибки рядом с полем и в
+  доступном сообщении, введённые допустимые данные сохраняются.
+- При несохранённом редактировании — понятная защита от случайной потери;
+  обычное закрытие окна просмотра не требует лишнего подтверждения.
+- Loading исключает повторную отправку; при успехе сообщается результат;
+  при ошибке есть путь восстановления. Валидация не ограничивается цветом.
+- Эти правила распространяются на кабинет, вход, обязательную смену пароля,
+  источники, создание/сброс/удаление пользователя, обучение и документный viewer.
+
+Основания для доступного поведения:
+[WAI-ARIA Dialog](https://www.w3.org/WAI/ARIA/apg/patterns/dialog-modal/),
+[Window Splitter](https://www.w3.org/WAI/ARIA/apg/patterns/windowsplitter/)
+(паттерн APG находится в разработке; использовать как ориентир),
+[WCAG Reflow](https://www.w3.org/WAI/WCAG22/Understanding/reflow.html).
+Крестик и структура кабинета — также прямое требование пользователя.
+
+## 6. Реализация и проверяемое покрытие
+
+Кодовая реализация сгруппирована по общей причине, а не по числу замечаний.
+Ниже перечислены все UI-01—UI-33, привязанные к коду и регрессионному
+сценарию. Playwright fixture использует только условные записи `admin`,
+`fixture-user` и `fixture-created`; browser requests полностью перехватываются
+тестом и не обращаются к приложению, Gitea или production API. Локальный browser
+run завершился успешно.
+
+| Пункты | Изменение | Регрессионное покрытие |
+|---|---|---|
+| UI-01—02 | Разделены initial/loading/results/empty/error; панель документа показывает инструменты после выбора редакции | Пустой результат, API ошибка и редакция без текста |
+| UI-03—08 | Скомпонованы фильтры и сворачиваемые группы, читаемые счётчики и языковые select; навигация адаптируется на промежуточной ширине | Reflow 320/390/640/1024/1280/1440 CSS px; на 640 px проверены кабинет, выход и создание пользователя на `/`, `/review`, `/users` |
+| UI-09—10 | Кабинет подписан на desktop; экран переходит от трёх колонок к адаптивной компоновке | Геометрия действий и отсутствие page overflow на 640 px; layout измерен на 1024/1280/1440 px |
+| UI-11—16 | Breadcrumb не дублирует заголовок; toolbar переносится; широкие таблицы имеют собственный scroll; URL-атрибуты очищаются; разворот остаётся в панели документа | Fixture удаляет `srcset`, `ping`, private-IP `href/src`, относительные и HTTP ссылки, сохраняя текст и официальную HTTPS-ссылку; лаборатория проверяет A → ошибка B → успешная B и устаревший ответ A |
+| UI-17 | Переведены подписи поиска, фильтров, кабинета и `/users`; язык документа остаётся независимым | Переключение RU/KY и язык редакции; полный ручной лингвистический review остаётся открытым |
+| UI-18—20 | Убрано дублирование footer, согласованы контейнеры, лаборатория ограничена по высоте документа | Fixture проверяет один видимый footer; панель 612 px при viewport 900 px и scrollHeight 41027 px |
+| UI-21—24 | Кабинет имеет имя и разделы профиля/безопасности; переход к пользователям закрывает кабинет и открывает отдельный маршрут | ARIA имя, Escape, focus trap/return и отдельные маршруты |
+| UI-25—28 | Управление пользователями — отдельный экран; создание и удаление — отдельные окна; сброс и история раскрываются по запросу; общие крестики | Fixture выполнил смену пароля, создание, сброс пароля и удаление только `fixture-created`; production учётные записи и API не использовались |
+| UI-29 | Обучение запускается пользователем, без автоматического перехвата фокуса | Регрессионный сценарий обучения |
+| UI-30—31 | Оценка 2×2, комментарий скрываемый; сохранение выключено до выбора результата, есть состояние черновика | Fixture проверяет черновик и фиктивное сохранение; рейтинг и комментарий сохраняются при переключении документа, включая ошибку B и устаревший ответ A |
+| UI-32—33 | Footer содержит продукт и версии; документ лаборатории имеет собственную прокрутку до панели сохранения | Версии в обоих footer; длинный текст прокручивается внутри панели, сохранение и footer остаются ниже неё |
+
+Локальный Playwright run прошёл на **320×800, 390×844, 640×450, 1024×900,
+1280×800 и 1440×900 CSS px**; горизонтального переполнения документа нет.
+При 640 CSS px кабинет, выход и создание пользователя остаются видимыми и
+помещаются в viewport на трёх маршрутах. Это проверка reflow, не проверка
+browser zoom: в доступном headless Chromium Ctrl+Plus не меняет CSS viewport;
+реальный zoom 200–400% остаётся непроверенным.
+При 1280 px сетка измерена как 256 / 384 / 640 px. Для длинной лабораторной
+редакции панель ограничена 544 px при viewport 800 px, scrollHeight 27278 px;
+сохранение и footer остаются ниже неё в DOM и доступны независимо от текста.
+Снимки, overlay и pixel-difference с целевым изображением сохранены в
+[каталоге visual review](visual-review/). Растровый diff является обзорной
+диагностикой, а не пороговой проверкой: макет и fixture-контент различаются.
+Ручной лингвистический review всех скрытых KY-подписей, физический touch,
+200–400% zoom и операции с реальными пользователями/паролями не выполнялись.
+
+Не мигрировать существующий Python frontend на React/Next.js ради этих
+исправлений. Не менять ранжирование, корпус или права доступа в UI-задаче.
+
+## 9. Follow-up замечания владельца: поиск, кабинет и лаборатория
+
+Повторный просмотр трёх экранов выявил отдельные проблемы уже после PR #54.
+Исправления остаются в этом плане, чтобы не создавать параллельный список:
+
+| Поверхность | Наблюдение | Реализация и проверка |
+|---|---|---|
+| Поиск: выдача и чтение | Метка «Открыт» ставилась до ответа, могла оставаться после ошибки и дублироваться; оглавление пропускало структурные заголовки из жирных `p > b > span`; выбор языка был обрезан и расположен в навигации; в фильтрах оставался декоративный SVG с пустым резервом; активный пункт «Поиск» визуально смещался | Метка очищается при смене результата/редакции и появляется только после успешной загрузки; оглавление распознаёт самостоятельные заголовки раздела/главы/статьи на RU/KY, назначает уникальные якоря и строит вложенные списки; язык поиска находится в фильтрах с полной шириной; SVG и его место удалены; ссылки навигации используют палитру Акылдаш. Проверка: ошибки и гонки загрузки, заголовки RU/KY и обычные упоминания, уникальные якоря, диапазон и доступность splitter |
+| Личный кабинет | Навигация выглядела ссылкой браузера; закрытие занимало строку текстом; подписи и значения профиля стояли в столбик; заголовок был крупным; появлялось горизонтальное переполнение; действие управления пользователями было неочевидным | Ссылки кабинета оформлены как действия с сохранением семантики `<a>`; крестик остаётся SVG-кнопкой 44×44 с доступной подписью; профиль выровнен в пары «поле — значение»; заголовок компактнее; длинные значения переносятся; администратор получает явную ссылку «Управление пользователями». Проверка: RU/KY, скрытие ссылки для не-администратора, фокус/закрытие диалога и ширина содержимого |
+| Лаборатория | Дублировалась роль рядом с именем; ссылки навигации не имели вида кнопок; оболочка, форма, рабочая область, сохранение и footer имели разные границы; пустое сообщение резервировало высоту; панели выглядели разрозненными карточками; основной заголовок переносился; мобильный экран наследовал искусственную высоту | В шапке показывается только имя, роль остаётся в профиле; навигация сохраняет ссылки и получает единый вид кнопок; все участки выровнены по общему shell; пустой live status не добавляет зазор; результаты и документ образуют общую поверхность с внутренней прокруткой на desktop; заголовок использует доступную ширину и размеры по макету Figma; mobile возвращается к естественному потоку с прокруткой документа. Проверка: desktop/mobile, пустой status, сохранение после длинного документа и отсутствие page overflow |
+
+Frontend повышен до **0.3.0** из-за добавления доступного изменения ширины
+панелей. Backend и его API не менялись. Fixture данные искусственные; preview
+слушает только loopback, запрещает запросы за пределы своего origin и не
+использует авторизационные cookies или production API. Браузерный прогон прошёл
+на 24 октября 2026 года; пять скриншотов сохранены в `current-progress` рядом
+с отчётом assignment. CI и независимое ревью проверяются для конкретного pushed
+SHA.
+
+## 7. Приёмка: что значит «вылизанный интерфейс»
+
+| Проверка | Условие |
+|---|---|
+| Оболочка | Один видимый header и footer на каждом маршруте, единые границы блоков |
+| Фильтры | Нет горизонтального скролла; полный текст действий, читаемые подписи и счётчики |
+| Начальное состояние | Не сообщает об отсутствии результатов до первого поиска |
+| Документ | Нет пустых селектов и активных бесполезных действий до выбора |
+| Колонки | Drag и клавиатура работают; min/max соблюдаются; скрытие/возврат и сброс сохраняют контекст |
+| Телефон | Основные действия видимы без горизонтального скролла, есть возврат из документа/фильтров |
+| Окна | Заголовок, крестик, Escape, trap/return focus; нет невидимого окна поверх целевого |
+| Лаборатория | Поиск → чтение → оценка → черновик → сохранение, панель до footer, данные не теряются |
+| Локализация | RU/KY-подписи, Ө ө Ү ү Ң ң, язык UI не подменяет язык документа |
+| Типографика | Реально загрузились Noto, основной текст 17–18 px / 1.6–1.7, длинные названия читаемы |
+| Таблицы | Собственная обозначенная прокрутка, основной текст и controls без обрезки |
+| Доступность | Контраст WCAG AA, видимый фокус, Tab/Shift+Tab/Enter/Escape, zoom/reflow, reduced motion |
+| Авторизация | Проверены вход, неверный пароль, истечение сессии и обязательная смена в безопасном тестовом окружении |
+| Снимки | 1440×900, 1280×800, 1024×768, 390×844; дополнительно 320 CSS px для reflow |
+
+Для визуального сравнения использовать изолированный детерминированный fixture
+и одинаковые состояния, а не изменчивую выдачу. Fixture не включается в
+production-путь и не обходит авторизацию. Сравнивать отдельно шапку,
+фильтры, выдачу, документ, окна, сохранение и footer. Сглаживание текста
+не требует нулевого pixel diff; совпадение растра не оправдывает обрезку,
+неработающий control или нечитаемый реальный контент.
+
+Локальные проверки, указанные в PR, включая Playwright, прошли. Changelog
+обновлён в этой ветке. Дальше остаются CI и ручное PR review по обычному
+процессу репозитория; автоматический reviewer не запускается. Production не
+меняется автоматически.
+
+## 8. Материалы и оставшаяся проверка
+
+Figma содержит целевые редактируемые состояния, а не исправленный live-сайт
+и не доказательство работоспособности функций. Учётные записи в ней
+обезличены, текст документа помечен как пример оформления.
+
+| Figma-экран | Ссылка |
+|---|---|
+| 01. Поиск с документом, 1440×900 | [Открыть](https://www.figma.com/design/3PE98PJYOXo7a35u2X5VqB?node-id=3-2) |
+| 02. Фильтры скрыты | [Открыть](https://www.figma.com/design/3PE98PJYOXo7a35u2X5VqB?node-id=3-173) |
+| 03. Начальный поиск | [Открыть](https://www.figma.com/design/3PE98PJYOXo7a35u2X5VqB?node-id=3-288) |
+| 04. Лаборатория и доступное сохранение | [Открыть](https://www.figma.com/design/3PE98PJYOXo7a35u2X5VqB?node-id=3-395) |
+| 05. Кабинет: профиль и закрытие | [Открыть](https://www.figma.com/design/3PE98PJYOXo7a35u2X5VqB?node-id=5-30) |
+| 06. Кабинет: безопасность | [Открыть](https://www.figma.com/design/3PE98PJYOXo7a35u2X5VqB?node-id=5-229) |
+| 07. Источники | [Открыть](https://www.figma.com/design/3PE98PJYOXo7a35u2X5VqB?node-id=5-428) |
+| 08. Пользователи: отдельный экран | [Открыть](https://www.figma.com/design/3PE98PJYOXo7a35u2X5VqB?node-id=5-605) |
+| 09–11. Телефон: выдача, чтение, фильтры | [Открыть](https://www.figma.com/design/3PE98PJYOXo7a35u2X5VqB?node-id=5-670) |
+| 12. Эталон 1280×800 | [Открыть](https://www.figma.com/design/3PE98PJYOXo7a35u2X5VqB?node-id=7-74) |
+| 13. Планшет: две панели | [Открыть](https://www.figma.com/design/3PE98PJYOXo7a35u2X5VqB?node-id=7-245) |
+| 14. Кабинет на телефоне | [Открыть](https://www.figma.com/design/3PE98PJYOXo7a35u2X5VqB?node-id=7-360) |
+| 15. Вход, создание и подтверждение удаления | [Открыть](https://www.figma.com/design/3PE98PJYOXo7a35u2X5VqB?node-id=8-118) |
+
+Макеты построены редактируемыми текстами, Auto Layout, SVG, локальными
+переменными цветов/отступов и экземплярами общих кнопок; целый интерфейс
+не вставлен одной картинкой. Прокрутка длинной выдачи/текста в Figma
+обозначает намеренное продолжение содержимого. Drag-разделители,
+закрытие и формы — спецификация будущего поведения, не работающий web-код.
+
+Локальные экспорты целевых экранов для просмотра без Figma:
+[поиск](../design/tunduk-search-target.png),
+[лаборатория](../design/tunduk-review-target.png),
+[кабинет](../design/tunduk-account-target.png).
+
+Контрольные свидетельства live-сайта:
+[поиск с кодексом](../design/audit-2026-10-23/search-document-1440.png),
+[мобильный поиск](../design/audit-2026-10-23/search-mobile-390.png),
+[фильтры телефона](../design/audit-2026-10-23/filters-mobile-390.png),
+[кабинет](../design/audit-2026-10-23/account-desktop.png),
+[кабинет телефона](../design/audit-2026-10-23/account-mobile-390.png),
+[лабораторный документ](../design/audit-2026-10-23/review-document-1440.png).
+
+Browser evidence текущей ветки:
+[desktop 1280×800](visual-review/desktop-1280x800.png),
+[mobile 390 px](visual-review/mobile-390px.png),
+[Figma overlay](visual-review/overlay-50.png) и
+[pixel difference](visual-review/pixel-difference.png). Overlay показывает
+различия компоновки между live-target frame и deterministic fixture; pixel
+diff не используется как pass/fail.
+
+Регрессия UI10: сетка поиска остаётся двухпанельной на ширине 1101 и 1175 px;
+третья панель включается при 1176 px, когда минимальные ширины трёх колонок
+помещаются. Проверка также меняет ширину окна при скрытых фильтрах и проверяет
+отсутствие горизонтального переполнения. Реальные browser zoom и экспертиза
+юридической корректности по законодательству не подтверждены этими тестами.
+
+Не проверялись реальные destructive/auth-сценарии: вход с неверным паролем,
+смена пароля, удаление/создание пользователей и отправка оценки в production.
+Наличие макета не считается доказательством этих функций.

docs/product/minjust-document-normalization-agent-task.md

@@ -0,0 +1,222 @@
+# Задание агенту: нормализация документов ЦБД Минюста КР
+
+## Цель
+
+Реализовать первую рабочую версию воспроизводимого нормализатора локального
+архива `data/minjust-cbd`. Нормализованные данные должны быть пригодны для
+последующей загрузки в OpenSearch, backend API и RAG, но подключение этих
+сервисов в текущую задачу не входит.
+
+## Текущее состояние
+
+- загрузчик находится в `backend/ingestion/minjust_cbd.py`;
+- сырой архив хранится в `data/minjust-cbd` и исключён из Git;
+- в read-only проверенном манифесте 209 958 документов;
+- один код, `6`, остаётся в таблице `errors` и отсутствует в `documents`;
+  это не подтверждает отсутствие документа в источнике: при последней
+  проверке OpenData API возвращал HTTP `404` для списка, `GetDocument(6)`,
+  контрольного `GetDocument(1096)` и `CheckAvailable`;
+- в нормализованном манифесте 209 958 успешных записей, schema `1`,
+  normalizer `1.0.0`; полная потоковая проверка всех файлов ещё выполняется.
+- документ содержит `metadata.json` и каталог `editions`;
+- редакция содержит `metadata.json`, `ru.html` и/или `ky.html`, иногда
+  изображения;
+- HTML создан Microsoft Word, может содержать некорректный
+  `<meta charset=unicode>`, служебные стили и неполную разметку;
+- файлы архива записаны загрузчиком в UTF-8;
+- часть документов одноязычная, а часть не содержит HTML-текста.
+
+## Обязательные ограничения
+
+1. Не изменять и не перезаписывать `data/minjust-cbd`.
+2. Не запускать полный проход по архиву во время автоматических тестов.
+3. Не подключать PostgreSQL, OpenSearch, OCR, embeddings, машинный перевод и
+   сетевые API.
+4. Сначала использовать стандартную библиотеку. Новая зависимость допустима
+   только если на реальных образцах доказано, что стандартный HTML-парсер не
+   обеспечивает корректность или безопасность.
+5. Все записи выполнять атомарно.
+6. Ошибка одного документа не должна останавливать длительный прогон.
+7. Повторный запуск должен пропускать неизменившиеся документы.
+8. Не изменять пользовательские файлы `logs/`, исходный DOCX и несвязанные
+   незакоммиченные изменения.
+
+## Размещение
+
+Использовать существующую backend-структуру:
+
+```text
+backend/
+  normalization/
+    minjust_cbd.py
+```
+
+Результат по умолчанию:
+
+```text
+data/minjust-normalized/
+  manifest.sqlite3
+  documents/<document_code>/document.json
+  documents/<document_code>/editions/<edition_code>/edition.json
+  documents/<document_code>/editions/<edition_code>/<lang>/content.html
+  documents/<document_code>/editions/<edition_code>/<lang>/content.txt
+  documents/<document_code>/editions/<edition_code>/<lang>/fragments.json
+```
+
+Каталог уже покрывается правилом игнорирования `data/`.
+
+## Канонические данные
+
+### `document.json`
+
+Сохранить как минимум:
+
+- `schema_version`;
+- `source_code`;
+- двуязычные `class`, `type`, `title`, `name`, `status`;
+- номера и даты без юридически неподтверждённых выводов;
+- флаги публичности;
+- органы, публикации, ключевые слова и классификаторы с сохранением дерева;
+- пути листьев иерархий для будущих фильтров;
+- ссылки из `References` без выдумывания связей;
+- `available_languages`;
+- список редакций;
+- путь к источнику и SHA-256 исходных файлов;
+- версию нормализатора и время обработки.
+
+Пустые строки привести к `null`, но не переводить значения и не заменять
+официальные формулировки собственными.
+
+### `edition.json`
+
+Сохранить:
+
+- исходный код редакции;
+- двуязычное название;
+- исходный тип;
+- доступные языки;
+- изображения без бинарных данных;
+- контрольные суммы источников;
+- признаки качества.
+
+Не считать дату из `Name` датой вступления редакции в силу и не назначать
+актуальную редакцию без подтверждённого правила источника.
+
+### Языковой вариант
+
+Для каждого имеющегося `ru.html` или `ky.html` сформировать:
+
+- `content.html` — безопасный HTML для frontend;
+- `content.txt` — извлечённый текст с сохранением смысловых переносов;
+- `fragments.json` — упорядоченные адресуемые блоки.
+
+Сырой HTML всегда читать как UTF-8, не доверяя его meta charset.
+
+## Очистка HTML
+
+- удалить `script`, `style`, `meta`, `link`, комментарии и служебные элементы;
+- удалить обработчики событий, inline-стили и опасные URL;
+- разрешить минимальный набор структурных тегов: заголовки, абзацы, `pre`,
+  списки, таблицы, безопасные ссылки, изображения и базовое текстовое
+  выделение;
+- нормализовать Unicode в NFC;
+- преобразовать неразрывные пробелы и избыточные пробелы только в
+  `content.txt`, не искажая отображаемый юридический текст;
+- не загружать внешние ресурсы;
+- относительные изображения связывать только с файлами внутри редакции;
+- неизвестную или сломанную разметку сохранять как текст, а не терять молча.
+
+## Фрагменты
+
+Минимальная версия должна создавать фрагмент для каждого содержательного
+блочного элемента. Распознавание статей и пунктов допускается только простыми
+проверяемыми правилами RU/KY; обычный абзац является fallback.
+
+Каждый фрагмент содержит:
+
+- стабильный `id`;
+- `document_code`, `edition_code`, `language`;
+- порядковую позицию;
+- тип блока;
+- чистый текст;
+- SHA-256 текста.
+
+Идентификатор должен быть детерминированным и включать документ, редакцию,
+язык и позицию. Не добавлять сложное сопоставление фрагментов между
+редакциями — это отдельная будущая задача.
+
+## Манифест и возобновление
+
+SQLite-манифест должен хранить:
+
+- код документа;
+- SHA-256 набора исходных файлов;
+- версию схемы и нормализатора;
+- время успешной обработки;
+- состояние и текст последней ошибки.
+
+Если checksum и версия нормализатора не изменились, документ пропускается.
+После успешной повторной обработки ошибка удаляется. Добавить `--limit` и
+понятный терминальный прогресс, пригодный для долгого запуска.
+
+## CLI и импорт из будущего backend
+
+CLI запускается из корня репозитория:
+
+```bash
+python3 backend/normalization/minjust_cbd.py
+```
+
+Предусмотреть параметры:
+
+- `--input`;
+- `--output`;
+- `--limit`;
+- `--refresh`;
+- `--log-level`.
+
+Основную функцию можно импортировать без запуска CLI. Не создавать
+планировщик, очередь задач или framework-интеграцию.
+
+## Проверки
+
+Добавить один компактный тестовый модуль, который проверяет:
+
+1. русскую редакцию;
+2. кыргызскую редакцию;
+3. двуязычную редакцию;
+4. Word HTML с опасным `script`, inline-стилем и `javascript:` URL;
+5. документ без HTML;
+6. повторный запуск и пропуск неизменившегося документа;
+7. продолжение после ошибки одного документа;
+8. детерминированные fragment ID и checksums.
+
+Провести пилотный read-only запуск на небольшой реальной выборке через
+`--limit`, не нормализовать весь архив в рамках разработки.
+
+## Документация и версия
+
+- описать запуск, структуру результата и ограничения в `backend/README.md`;
+- отметить реализацию в `docs/operations/project-status.md`;
+- это новая обратно совместимая backend-функция: увеличить minor-версию
+  backend по SemVer;
+- обновить все отображаемые backend-версии и footer, не меняя версию
+  Telegram-бота;
+- frontend по-прежнему помечать как не созданный.
+
+## Критерии приёмки
+
+- сырой архив не изменён;
+- тесты проходят;
+- `git diff --check` проходит;
+- пилотный запуск завершается без остановки на отдельных ошибках;
+- повторный пилотный запуск пропускает неизменившиеся документы;
+- unsafe HTML не попадает в `content.html`;
+- каждый фрагмент прослеживается до документа, редакции, языка и исходного
+  файла;
+- отсутствуют молча потерянные HTML или ошибки;
+- реализация не содержит PostgreSQL/OpenSearch/RAG-кода «на будущее».
+
+---
+
+Акылдаш · Telegram-бот v0.2.2 · Backend v0.7.1 · Frontend — не создан

docs/product/platform-development-plan-toktom-2026-10-24.md

@@ -0,0 +1,307 @@
+# План развития «Акылдаш»: конкурентный анализ «Токтом Онлайн»
+
+Дата: 24 октября 2026 года. Статус: предложение для продуктового решения;
+не утверждённый бюджет или срок выпуска. Изменения приложения этим документом
+не выполняются.
+
+## 1. Вывод и оценка шансов
+
+**На текущем этапе «Акылдаш» не готов заменить профессиональную СПС целиком.
+Шанс построить востребованный продукт есть, если начать с ограниченного
+практического сегмента и доказать качество данных и экономию времени.**
+
+Копирование всей широты конкурента потребует не только разработки, но и
+постоянной юридической редакции, получения материалов, сопровождения клиентов
+и продаж. Рекомендуемая стартовая гипотеза — поиск и контроль норм для
+небольших юридических и бухгалтерских команд, работающих с ОсОО/ЖЧК,
+налогообложением и трудовыми вопросами. Наличие отдельных поисковых улучшений
+по ОсОО и налогам делает этот сегмент удобным для проверки, но само по себе
+не подтверждает спрос.
+
+| Сценарий | Оценка | Что должно измениться |
+| --- | --- | --- |
+| Быстрая полная замена привычной СПС | Низкие шансы сейчас | Нужны надёжный выпуск, полнота материалов и профессиональные инструменты |
+| Дополнительный инструмент для одной практической задачи | Наиболее реалистичная гипотеза | Пилот должен показать измеримую пользу без обязательного отказа от прежней системы |
+| Основное рабочее место небольшой команды | Условно достижимо после пилота | Нужны удержание, обновления, персональная работа и подтверждённая готовность платить |
+| Массовая платформа с ИИ-консультантом | Долгосрочная гипотеза | Нужны проверяемые ответы, экономика обслуживания и контроль юридических ошибок |
+
+Проценты вероятности успеха не рассчитываются: нет данных о числе клиентов
+конкурента, продажах, удержании, нашей команде, бюджете и стоимости привлечения.
+Цены, скорость и качество поиска систем в одинаковых условиях не сравнивались.
+Техническая возможность создать функцию не доказывает коммерческое преимущество.
+
+## 2. Основание и ограничения исследования
+
+Изучено открытое [руководство «Токтом Онлайн»](https://online.toktom.kg/cms/Topic/273)
+целиком: портал, учётные записи, продукты, поиск и работа с документами.
+В таблице ниже номера означают разделы этого руководства. Описание функции
+подтверждает её документирование, но не результат испытания платной системы.
+Дата последнего обновления руководства не установлена; старый год в подвале
+не позволяет определить актуальность отдельных инструкций.
+
+Отдельная [страница продукта](https://online.toktom.kg/cms/Topic/292)
+заявляет ежедневное обновление и работу через интернет с синхронизацией
+персональных данных. Это заявления поставщика; их фактическое выполнение
+не проверялось. Актуальный тариф на этой странице предлагается запрашивать.
+
+База сравнения «Акылдаш»: актуальная на повторной сверке `origin/main`, commit
+`c8d0086a9f20485c5efe6f9d3ccd476dd9f07065` (2 ноября 2026 года). Матрица
+G01–G25, описание текущих возможностей в разделе 3 и этапы A–F в разделе 6
+повторно сверены с этой базой. Проверены:
+
+- [README](../../README.md), [обзор продукта](project-overview.md);
+- [API](../../backend/search/api.py), [поисковый интерфейс](../../backend/search/review.html),
+  [учётные записи](../../backend/search/auth.py), [запросы](../../backend/search/query.py);
+- [каталоги](search-catalog-v1.md), [план frontend](frontend-search-sps-plan.md),
+  [readiness gate](frontend-design-readiness-plan.md);
+- [состояние инфраструктуры и корпуса](../operations/CURRENT_STATE.md),
+  [доступ](../operations/ACCESS.md), а также актуальные реализации Search API,
+  учётных записей и поискового интерфейса.
+
+Матрица отражает возможности реализации на указанном commit, а не только
+состояние прежней базы исследования. В частности, в текущем внутреннем контуре
+администратор может создавать и удалять учётные записи и сбрасывать пароль;
+публичная регистрация и восстановление по email по-прежнему отсутствуют.
+Технические версии кода: Backend 0.13.3 (`APP_VERSION` в
+`backend/search/minjust_opensearch.py`), Frontend 0.3.3 (подвал
+`backend/search/review.html`), Telegram-бот 0.2.2 (`APP_VERSION` в
+`tools/telegram-bot/bot.py`). Корневой README указывает Backend 0.13.2;
+`backend/README.md` содержит более старые Backend 0.13.0 / Frontend 0.2.3.
+При расхождении использованы версия backend и подвал интерфейса в указанном
+commit. Эти версии не подтверждают развёртывание соответствующего кода.
+Живой production, полнота локального корпуса и пользовательская доступность
+не подтверждены текущими проверками. Нельзя считать функцию доступной клиентам
+только на основании наличия кода.
+
+## 3. Что уже есть у нас
+
+В реализации есть полнотекстовый поиск RU/KY, фильтры по виду, статусу, группе
+органа, юридической силе и дате; пагинация и сортировка по релевантности/дате.
+Есть API карточки и редакций, чтение выбранной редакции и языка, оглавление,
+поиск внутри текста, печать и переход на официальный источник.
+Это **не нужно разрабатывать заново**.
+
+Учётные записи SQLite, проверка полномочий на сервере,
+смена пароля и административные создание, удаление и сброс пароля доступны
+во внутреннем контуре. Лаборатория собирает оценки выдачи и комментарии
+проверяющих. Это не публичная регистрация, не восстановление пароля по email,
+не пользовательские заметки к нормам и не история исследований между устройствами.
+
+По состоянию, записанному в `CURRENT_STATE.md`, публичный запуск и готовность
+всего корпуса не подтверждены. В документе есть исторические проверки архива
+и ограниченного staging; успешная обработка одного документа не доказывает
+полноту и актуальность базы. RAG в README отмечен как ещё не созданный.
+
+## 4. Функциональные пробелы
+
+Обозначения: **нет** — в проверенных API, UI и профильных планах отсутствует
+готовая возможность; **частично** — есть основа, но сценарий неполон;
+**не подтверждено** — без аудита корпуса или рабочего сервиса вывод невозможен.
+«Нет» относится к реализации указанного commit, а не ко всем внешним наработкам.
+P0 — до публичного пилота; P1 — основное рабочее место; P2 — после спроса;
+P3 — только при отдельном обосновании.
+
+| ID | Возможность в руководстве «Токтом» | Состояние «Акылдаш» и необходимое дополнение | Приоритет |
+| --- | --- | --- | --- |
+| G01 | Регистрация, восстановление, соцвход (§1.1–1.2) | Частично: внутренние аккаунты есть; публичный onboarding и восстановление по email отсутствуют. Соцвход отложить | P1 / P3 |
+| G02 | Организация и профиль (§3.1.1) | Частично: есть кабинет, но нет полноценной модели организаций | P2 |
+| G03 | Счёт, платежи (§3.1.2) | Нет: коммерческий учёт и сверка оплат | P2 |
+| G04 | Продукты, сроки, промокоды (§3.2.1–3) | Нет: тарифные права и жизненный цикл подписки | P2 |
+| G05 | Подключение коллег (§3.2.4–5) | Нет: приглашения и права внутри организации; внутренние роли не заменяют это | P2 |
+| G06 | Настройки выдачи (§3.2.6) | Частично: параметры доступны, серверного сохранения предпочтений нет | P1 |
+| G07 | Тематические разделы (§3.3.1) | Частично: черновая таксономия есть, публичный тематический фильтр отсутствует | P1 |
+| G08 | Судебные, справочные, зарубежные материалы (§3.3.1) | Не подтверждено: специализированные полные коллекции и их поиск не показаны; наличие отдельных актов в ЦБД не исключается | P2 / P3 |
+| G09 | Новые документы (§3.3.3) | Нет отдельной пользовательской ленты поступлений | P1 |
+| G10 | Избранное, изменения (§3.3.4) | Нет серверного списка и пользовательского контроля изменений | P1 |
+| G11 | История документов/запросов (§3.3.5) | Нет синхронизированной истории исследования; URL браузера и история входов — другие данные | P1 |
+| G12 | Обзор обновлений (§3.3.6) | Нет журнала новых, изменённых и отменённых актов для пользователя | P0 / P1 |
+| G13 | Открытие по коду (§3.4.2) | Частично: API принимает код, отдельного пользовательского сценария нет | P1 |
+| G14 | Расширенные реквизиты (§3.4.3) | Частично: нужны номер, раздельные поля названия/текста, тематический отбор, множественные значения и поиск без обязательного q | P1 |
+| G15 | Детальные органы, публикация (§3.4.3.1) | Частично: API ограничен группами органов; нет полного реестра и фильтров по регистрации/источнику публикации | P2 |
+| G16 | Шаблоны запросов (§3.4.3.2) | Нет именованных сохранённых поисков | P1 |
+| G17 | Сортировка по органу/виду (§3.5.3) | Нет таких режимов и выбора направления; текущая дата имеет дополнительный приоритет статуса | P2 |
+| G18 | Word: выдача/документ (§3.5.4; 3.6.6) | Нет DOCX-экспорта; браузерная печать уже есть | P1 |
+| G19 | Справка и реквизиты (§3.6.1) | Частично: метаданные есть, полная читаемая паспортная карточка требует доработки | P1 |
+| G20 | Связи, обратные ссылки (§3.6.7–8) | Нет собственного проверенного графа связей и обратного индекса; исходные HTML-ссылки не равнозначны | P1 |
+| G21 | Предпросмотр, «Связной» (§3.6.9; 13) | Нет контекстного просмотра и связей на уровне конкретной нормы | P2 |
+| G22 | Графические копии (§3.6.10) | Частично на уровне архива: готовая выдача оригиналов не подтверждена; вложения staging не верифицированы | P2 |
+| G23 | Сравнение редакций (§3.6.12) | Нет сопоставления двух текстов и выделения изменений; переключатель редакций уже есть | P1 |
+| G24 | Языковое сравнение (§3.6.14) | Нет параллельного просмотра; переключение RU/KY уже есть | P1 |
+| G25 | Форум, сообщения (§2; 3.2.7–8) | Нет пользовательского сообщества; рабочий Telegram-бот команды его не заменяет | P3 |
+
+Редакции, языки, оглавление и печать (§3.6.2–5) в перечень отсутствующих
+функций не включены. Для сравнительного списка использовано
+[руководство поставщика](https://online.toktom.kg/cms/Topic/273).
+
+## 5. Стратегия отличия
+
+Это гипотезы развития, а не установленные преимущества над конкурентом.
+Отсутствие описания в его руководстве не доказывает отсутствия функции.
+
+1. **Проверяемая актуальность.** На каждой норме показывать источник, редакцию,
+   время последней успешной проверки и ограничения данных. Разделять дату
+   получения, принятия, вступления в силу и период применимости.
+2. **Практический двуязычный поиск.** Измерять RU и KY отдельно на реальных
+   задачах, сокращениях и опечатках. Не обещать кыргызскую морфологию только
+   из-за наличия ICU. Не подменять отсутствующий официальный текст переводом.
+3. **Рабочая задача вместо набора документов.** Проверить сценарий
+   «найти применимую норму → проверить редакцию → сохранить доказательство →
+   получить сигнал об изменении». Он должен занимать меньше времени у пилота.
+4. **Объяснение с проверяемыми ссылками.** После надёжного поиска добавить
+   ответы с точными цитатами и открытием фрагмента. При недостатке источников
+   система сообщает об этом; юридические выводы требуют проверки специалистом.
+
+Удобный интерфейс и низкая цена сами по себе не обеспечат переход клиентов.
+Открытые источники также не дают автоматического разрешения на любой способ
+их использования. Права на каждый новый источник проверяются отдельно;
+копирование базы и редакционных материалов конкурента в план не входит.
+
+## 6. Последовательность развития и приёмка
+
+Сроки ниже — предварительные диапазоны для команды из двух разработчиков
+с регулярным участием юриста и частичным участием дизайнера/эксплуатации.
+Это предположение для обсуждения, не оценка существующего штата. При иной
+команде и после обследования данных сроки нужно пересчитать. Переходы
+определяются результатами, а не истечением недель.
+
+### Этап A. Данные и воспроизводимый запуск — P0, ориентир 3–6 недель
+
+Зависимости: состояние официального API, доступный корпус и участие владельца
+инфраструктуры. Назначить ответственных за данные, эксплуатацию и юридическую
+проверку. Согласовать правила текущей редакции и обработки неизвестного статуса.
+
+- Завершить квалификацию источника и полный аудит корпуса; отдельно проверить
+  языки, порядок редакций, контрольные суммы, ошибки, вложения и пропуски.
+- Запустить воспроизводимый цикл проверки обновлений с журналом изменений
+  и безопасным переключением индекса. Из этого журнала строить G12 и G09.
+- Выполнить существующий readiness gate, зафиксировать baseline и ограничения.
+- Подготовить пилотное развёртывание, наблюдение за ошибками, проверенный backup
+  и восстановление в изолированной среде по существующим процедурам.
+
+Приёмка: завершённый отчёт о полноте с объяснёнными исключениями; повторный
+запуск не создаёт дубликатов; неудачное обновление сохраняет рабочий индекс;
+сквозные сценарии RU/KY проходят; восстановление проверено. Рекомендуемая цель
+актуализации — не более суток от доступности изменения у источника; сначала
+измерить достижимость и только затем обещать SLA пользователям.
+
+### Этап B. Поисковое рабочее место — P1, ориентир 4–6 недель
+
+Зависимость: этап A. Закрыть G07, G13–14, G18–19 и уточнить G06.
+Использовать готовые просмотр, печать и оглавление; не переписывать их.
+
+- Утвердить темы и устойчивые идентификаторы; не превращать черновые хеши
+  классификатора в публичный контракт без проверки.
+- Добавить точный номер и независимые поля поиска; разрешить отбор только
+  по реквизитам; определить семантику AND/OR и множественного выбора.
+- Сделать паспорт документа, пользовательский сценарий открытия по коду и
+  DOCX с редакцией, языком, источником и временем выгрузки. Не обещать PDF-
+  экспорт сверх печати до подтверждения отдельной потребности.
+
+Приёмка: 20 задач пилота успешно проходят путь от запроса до нужного фрагмента;
+документы без языка/текста имеют понятное состояние; файл экспорта воспроизводит
+выбранную редакцию; новые правила не ухудшают замороженный relevance baseline.
+
+### Этап C. Возвращение к работе и контроль — P1, ориентир 3–5 недель
+
+Зависимости: A–B; для внешних пользователей — выбранная модель доступа и
+проверенное восстановление аккаунта G01. Для закрытого пилота допустимы
+создаваемые администратором внутренние аккаунты без публичной регистрации.
+
+Закрыть G06, G10–11, G16: серверные избранное, история и шаблоны; G09/G12
+показать как пользовательскую ленту. Добавить настройки контроля и доставки
+уведомлений только после появления надёжного журнала обновлений. Выбор канала
+и согласие пользователя — отдельное решение; наличие бота команды не означает
+готовность продуктовых уведомлений.
+
+Приёмка: сохранённое доступно со второго устройства; данные разных аккаунтов
+изолированы; удаление/отключение контроля работает; повторная обработка события
+не дублирует сигнал. Правила хранения истории и удаления аккаунта документированы.
+
+### Этап D. Анализ нормы — P1/P2, ориентир 5–8 недель
+
+Зависимости: проверенные редакции, структура фрагментов и метаданные A–B.
+Закрыть G23–24 и базовую часть G20; затем G21, G22 и G15 по результатам пилота.
+Для связей сохранять источник, целевую редакцию и уверенность сопоставления.
+
+Приёмка: юрист проверяет не менее 30 разнообразных пар редакций, включая
+перенумерацию и перемещение статей; интерфейс отличает техническую правку от
+содержательной, а неопределённость показывает явно. Параллельный RU/KY-просмотр
+использует одну редакцию и не выдумывает соответствия. Неуверенные ссылки
+не выдаются как подтверждённые связи. Текстовый diff не считается юридическим
+заключением о дате применимости нормы.
+
+### Этап E. Платный командный продукт — P2, ориентир 4–8 недель
+
+Зависимость: подтверждённые повторное использование и готовность платить.
+Закрыть G02–05 и недостающую часть G01. Сначала выбрать одну понятную модель
+подписки и необходимый канал оплаты; не воспроизводить весь биллинг конкурента.
+
+Приёмка: организация приглашает и отзывает участника; сервер проверяет права
+и срок доступа; повторное платёжное событие не создаёт повторное начисление;
+просроченная подписка не уничтожает сохранённые данные. Стоимость эксплуатации,
+юридической редакции и поддержки учитывается в экономике тарифа.
+
+### Этап F. Новые источники и ответы — P2/P3, отдельная оценка
+
+G08, G17, G25 и оставшиеся расширения включать по измеренному спросу.
+Для судебной практики сначала исследовать законность получения, полноту,
+обезличивание и обновляемость; для экспертных материалов — лицензирование
+и редакционную ответственность. Международные акты проверять в существующем
+корпусе прежде, чем создавать отдельный загрузчик. Зарубежную базу и форум
+не ставить на критический путь первого продукта.
+
+RAG — отдельная разработка после A–D. Начать с поиска доказательств и цитат,
+затем краткого ответа. Приёмка: замороженный экспертный набор, проверка каждой
+ссылки и редакции, отказ при недостатке данных и ноль критических неподтверждённых
+юридических утверждений на приёмочном наборе. Это критерий допуска, а не гарантия
+безошибочности вне набора. Сравнение качества ИИ конкурентов пока не выполнено.
+
+## 7. Проверка рыночной гипотезы и условия остановки
+
+Параллельно этапу A провести 12–15 интервью с юристами и бухгалтерами, включая
+пользователей действующих СПС. Собирать обезличенные задачи, частоту,
+потери времени, критичные источники и причины отказа от нового сервиса.
+Цены сравнивать после получения актуальных коммерческих предложений.
+
+Предлагаемый пилот: 10–15 специалистов, 4 недели, 20 одинаковых задач с RU/KY
+и простыми/сложными запросами. С согласия участников сравнить время и долю
+правильных решений в текущем инструменте и «Акылдаш»; менять порядок систем,
+чтобы уменьшить эффект обучения. Результат оценивает юрист по первоисточнику.
+
+Цели ниже — предлагаемые пороги решения, не уже достигнутые показатели:
+
+| Измерение | Предлагаемый порог | Решение |
+| --- | --- | --- |
+| Качество поиска | Recall@10 ≥ 0,90 и MRR@10 ≥ 0,75 на независимо проверенном наборе, отдельно RU и KY | При недостижении улучшать поиск до расширения функций |
+| Практическая польза | Медианное время правильного выполнения задач меньше минимум на 25% | При отсутствии выигрыша пересмотреть сценарий и сегмент |
+| Возвращаемость | Не менее 60% активированных участников пользуются продуктом на четвёртой неделе | При провале сначала исследовать причины, затем решать о биллинге |
+| Готовность платить | Не менее трёх независимых организаций готовы на платный пилот по названной цене | Переходить к этапу E после проверки экономики |
+| Доверие | Нет критических ошибок редакции/источника в приёмочных задачах | Любая такая ошибка блокирует публичные обещания надёжности |
+
+Малый пилот помогает выбрать направление, но не даёт оценки доли рынка.
+Если пользователям необходимы источники, которые мы не можем законно получить,
+либо стоимость сопровождения превышает приемлемый тариф, сузить сегмент или
+остановить выбранную модель до дальнейших вложений.
+
+## 8. Ближайший рабочий цикл
+
+1. Назначить владельца продукта и юридического редактора; согласовать сегмент.
+2. Зафиксировать состояние корпуса и readiness gate на актуальной main.
+3. Провести интервью, собрать задачи и заморозить критерии пилота.
+4. Превратить этап A и минимальную часть B в отдельные задачи с зависимостями
+   и критериями приёмки. Согласовать связь с существующим планом frontend,
+   не отменяя его gate этим документом.
+5. После пилота пересчитать сроки, стоимость и порядок C–F; выбрать, какие
+   пробелы действительно мешают продаже, а какие можно отложить.
+
+Для реализации сохранять существующую архитектуру Python/SQLite/OpenSearch,
+использовать текущие API и компоненты, добавлять зависимости только по
+обоснованной необходимости. Изменения проводить отдельными PR с проверками,
+версией при изменении кода, независимым review и changelog. Production-действия
+и изменение инфраструктуры требуют действующих процедур доступа и backup.
+
+---
+
+Повторная сверка реализации: `main` `c8d0086a9f20485c5efe6f9d3ccd476dd9f07065`.
+Backend v0.13.3 · Frontend v0.3.3 · Telegram-бот v0.2.2. Это версии
+исследованного кода; они не подтверждают развёртывание этих версий.

docs/product/project-overview.md

@@ -44,4 +44,4 @@
 
 ---
 
-Акылдаш · Telegram-бот v0.2.2 · Backend — не создан · Frontend — не создан
+Акылдаш · Telegram-бот v0.2.2 · Backend v0.12.2 · Frontend v0.1.2

docs/product/search-catalog-v1.md

@@ -0,0 +1,128 @@
+# Справочники Search API v1
+
+Статус: рабочий контракт Search API v1. Тематическая иерархия вынесена в
+отдельный черновой каталог и не входит в фильтры API v1.
+
+`code` — неизменяемый идентификатор, независимый от языка. Клиент хранит и
+передаёт только `code`; русское и кыргызское названия являются подписями и могут
+исправляться без изменения кода.
+
+## Типы документов
+
+| Code | RU | KY |
+| --- | --- | --- |
+| `constitution` | Конституция | Конституция |
+| `constitutional_law` | Конституционный Закон | Конституциалык Мыйзам |
+| `code` | Кодекс | Кодекс |
+| `law` | Закон | Мыйзам |
+| `decree` | Указ | Жарлык |
+| `resolution` | Постановление | Токтом |
+| `order` | Распоряжение | Распоряжение |
+| `instruction` | Инструкция | Инструкция |
+| `rules` | Правила | Правила |
+| `procedure` | Порядок | Порядок |
+| `provision` | Положение | Жобо |
+| `regulation` | Регламент | Регламент |
+| `charter` | Устав | Жобо (Устав) |
+| `program` | Программа | Программа |
+| `plan` | План | План |
+| `strategy` | Стратегия | Стратегия |
+| `concept` | Концепция | Концепция |
+| `doctrine` | Доктрина | Доктрина |
+| `agreement` | Соглашение | Соглашение |
+| `declaration` | Декларация | Декларация |
+| `registry` | Реестр | Реестр |
+| `norms` | Нормативы | Нормативы |
+| `model` | Модель | Модель |
+| `matrix` | Матрица | Матрица |
+| `study` | Исследование | Исследование |
+| `report` | Доклад | Доклад |
+| `principles` | Основные принципы | Основные принципы |
+| `unspecified` | Не указан | Көрсөтүлгөн эмес |
+
+## Статусы
+
+| Code | RU | KY |
+| --- | --- | --- |
+| `active` | Действует | Күчүндө |
+| `repealed` | Утратил силу | Күчүн жоготту |
+| `unspecified` | Не указан | Көрсөтүлгөн эмес |
+
+## Юридическая сила
+
+Это укрупнённая группировка для фильтра Search API, а не полная иерархия
+нормативных правовых актов из статьи 6 Закона КР «О нормативных правовых
+актах». В этой группировке Конституция и конституционные законы относятся к
+конституционному уровню, кодексы и законы — к законодательному, указы и
+постановления, перечисленные законом как виды НПА, — к подзаконному.
+
+| Code | RU | KY |
+| --- | --- | --- |
+| `constitutional` | Конституционный уровень | Конституциялык деңгээл |
+| `legislative` | Законодательный уровень | Мыйзам деңгээли |
+| `subordinate` | Подзаконный уровень | Мыйзам алдындагы деңгээл |
+
+Для прочих типов значение не назначается автоматически: одного названия типа
+недостаточно, чтобы установить юридическую силу утверждающего НПА. Основание:
+[статьи 4 и 6 Закона КР «О нормативных правовых актах»](https://cbd.minjust.gov.kg/4-3987/edition/53304/ru).
+Эта группировка реализована как фильтр `legal_force` Search API v1.
+
+## Органы принятия
+
+Орган содержит два уровня: стабильную группу и конкретный орган. В v1 группы
+следующие:
+
+| Code | RU | KY |
+| --- | --- | --- |
+| `president` | Президент | Президент |
+| `parliament` | Органы законодательной власти | Мыйзам чыгаруу бийлик органдары |
+| `cabinet` | Правительство и Кабинет Министров | Өкмөт жана Министрлер Кабинети |
+| `ministries_and_committees` | Министерства и государственные комитеты | Министрликтер жана мамлекеттик комитеттер |
+| `administrative_agencies` | Административные ведомства | Административдик ведомстволор |
+| `national_bank` | Национальный банк | Улуттук банк |
+| `other_state_bodies` | Иные государственные органы | Башка мамлекеттик органдар |
+| `local_representative_bodies` | Представительные органы местного самоуправления | Жергиликтүү өз алдынча башкаруунун өкүлчүлүктүү органдары |
+| `other` | Прочие органы | Башка органдар |
+
+Конкретные министерства, муниципальные и айылные кенеши не получают ID из
+подписи: в выгрузке ЦБД их поле `Code` часто равно `null`. До появления
+первичного неизменяемого идентификатора API v1 выдаёт и принимает только код
+группы органа. Полный каталог конкретных органов — отдельная версия (`v2`),
+когда источник предоставит такие идентификаторы либо будет утверждён вручную
+поддерживаемый реестр.
+
+## Темы
+
+Полная исходная иерархия `GeneralClassifiers` сохранена отдельно в
+[`search-topic-taxonomy-v1.json`](search-topic-taxonomy-v1.json). Над исходными
+ветвями добавлены предложенные смысловые группы; исходные подписи и вложенность
+не переставляются. Поле `document_count` показывает число документов, где узел
+встречается. Предлагаются группы: конституционный строй и права; государство и
+публичное управление; право, суд и правопорядок; международные отношения;
+оборона и безопасность; экономика, финансы и предпринимательство; труд и
+социальная защита; здравоохранение; образование, наука и культура; земля,
+природные ресурсы и окружающая среда; сельское хозяйство; транспорт, связь,
+строительство и жильё; информация и СМИ; гражданские, семейные и жилищные
+отношения; общие и межотраслевые вопросы.
+
+Каталог является черновиком: группа корневой рубрики предложена по русской
+подписи, рубрики с несколькими совпадениями правил или без совпадений помещены
+в `review_required` и отмечены `manual_review`; остальные помечены
+`provisional_lexical`. В корпусе 2 065 узлов и 687 вариантов корневых рубрик;
+328 корневых вариантов ожидают ручной классификации. Отсутствующие в источнике
+кыргызские подписи оставлены пустыми: они отсутствуют у 1 524 узлов, новые
+переводы не придуманы. Внутренние `source-*` ID являются
+временными хешами кода источника и цепочки подписей; при `Code: null` они
+зависят от подписей и не утверждаются как публичные стабильные коды.
+
+Тематическая навигация и фильтр не входят в Search API v1. До включения в API
+нужно вручную утвердить смысловые группы, идентификаторы и недостающие KY-
+подписи. Источник — нормализованные данные ЦБД Минюста; команда для пересборки
+каталога находится в `tools/build_search_topic_taxonomy.py`.
+
+## Правила совместимости
+
+- Код из этой таблицы нельзя переиспользовать и нельзя менять его значение.
+- Новое значение добавляется только новой записью; удалённое остаётся доступно
+  для старых документов.
+- Запрос с неизвестным кодом возвращает `400`.

docs/product/search-relevance-review-interface-plan.md

@@ -0,0 +1,179 @@
+# План внутреннего интерфейса оценки поисковой выдачи
+
+## Цель
+
+Создать закрытую лабораторию релевантности: юрист оценивает фактическую выдачу
+нашего OpenSearch по практическим запросам. Цель — улучшать собственное
+ранжирование, а не воспроизводить алгоритм сайта Минюста КР.
+
+ЦБД Минюста используется как официальный источник текста, реквизитов, статуса
+и редакции акта. Порядок результатов и оценка их полезности определяются в
+нашем сервисе.
+
+Это внутренний рабочий инструмент, а не публичный frontend MVP. Он не включает
+регистрацию, личные кабинеты, публичный дизайн, сложные фильтры или сравнение
+редакций.
+
+## Сценарий юриста
+
+1. Указать поисковый запрос и язык.
+2. Получить первые 10–20 результатов в точном порядке OpenSearch.
+3. Увидеть позицию каждого результата: `#1`, `#2` и далее.
+4. Открыть выбранный документ по клику на название в правой панели страницы.
+5. Поставить каждому просмотренному результату оценку и комментарий.
+6. Сохранить снимок выдачи и оценок.
+7. Передать накопленные записи на анализ ранжирования.
+
+## Оценка результата
+
+| Балл | Значение |
+| ---: | --- |
+| 0 | Нерелевантен: совпали слова, но акт не отвечает на вопрос. |
+| 1 | Косвенно полезен: относится к теме, но прямого ответа нет. |
+| 2 | Частично полезен: отвечает не полностью или требует другого акта. |
+| 3 | Прямо и достаточно отвечает на запрос. |
+
+Оценка относится к отдельному документу, а не ко всей выдаче. Результат без
+оценки считается непросмотренным, а не нерелевантным.
+
+## Интерфейс
+
+Рекомендуемый экран — две панели.
+
+- Вверху: поле запроса, переключатель RU/KY, выбор числа результатов и кнопка
+  «Найти».
+- Слева: карточки результатов в порядке выдачи. Карточка содержит позицию,
+  название, тип, статус, дату, номер и фрагмент текста.
+- Справа: заголовок, реквизиты, очищенный HTML выбранной редакции и ссылка на
+  официальный источник.
+- В карточке: кнопки оценки `0`, `1`, `2`, `3` и раскрываемое поле
+  комментария.
+- Внизу: имя или псевдоним проверяющего, общий комментарий и кнопка
+  «Сохранить оценку».
+
+Правая панель предпочтительнее popup: она не блокируется браузером, сохраняет
+контекст выдачи и работает на одном экране с оценкой.
+
+### Доступность оценки и документа
+
+Оценка реализуется нативной группой `radio` внутри `fieldset` с `legend`
+«Оценка результата». У каждого значения есть видимая подпись: «0 —
+нерелевантен», «1 — косвенно полезен», «2 — частично полезен», «3 — прямо
+отвечает». Нельзя передавать смысл оценки только цветом. Все элементы управления
+доступны с клавиатуры, имеют видимый `:focus-visible`; выбранный результат
+обозначается текстом и визуальным состоянием.
+
+На узком экране список результатов занимает всю страницу. Кнопка «Открыть
+документ» открывает полноэкранный нативный `<dialog>` с явной кнопкой
+«Закрыть». При закрытии фокус возвращается на исходную кнопку «Открыть
+документ».
+
+### Состояния
+
+- Во время поиска и сохранения показывается состояние загрузки; повторная
+  отправка на это время недоступна. Стабильная пустая область `role="status"`
+  в DOM объявляет начало поиска, число результатов и успешное сохранение.
+- Пустая выдача сообщает: «По запросу „…“ ничего не найдено» и предлагает
+  «Изменить запрос».
+- Ошибка поиска сообщает причину и предлагает «Повторить поиск»; текст ошибки
+  выводится в `role="alert"`.
+- Ошибка сохранения сообщает: «Не удалось сохранить. Проверьте подключение и
+  повторите». Черновик остаётся в браузере, текст ошибки выводится в
+  `role="alert"`.
+- После сохранения выводится: «Оценка сохранена · № … · дата и время» в
+  указанной стабильной области `role="status"`.
+
+До сохранения черновик хранится в `localStorage`. После успешного сохранения
+интерфейс показывает ID записи и время сохранения.
+
+## Backend и хранение
+
+Использовать существующие endpoint:
+
+- `GET /search` — получить ранжированный список результатов;
+- `GET /documents/{code}/editions/{edition}` — получить текст выбранной
+  редакции.
+
+Добавить два endpoint:
+
+- `POST /search-reviews` — валидирует и сохраняет оценку;
+- `GET /search-reviews/export` — отдаёт накопленные записи в JSON.
+
+Для первой версии достаточно отдельной SQLite-базы. Это стандартная библиотека
+Python, данные переживают перезапуск и легко выгружаются для анализа. Доступ к
+интерфейсу и всем endpoint `search-reviews`, включая экспорт, должен быть
+ограничен локальной сетью/VPN или аутентификацией reverse proxy.
+
+Одна запись представляет один сохранённый поисковый сеанс:
+
+| Поле | Назначение |
+| --- | --- |
+| `id`, `created_at` | Идентификатор и время сохранения. |
+| `reviewer` | Имя или псевдоним проверяющего. |
+| `query`, `language` | Исходный запрос и язык поиска. |
+| `index_name`, `algorithm_version` | Версия индекса и алгоритма на момент оценки. |
+| `top_result_code` | Код документа в позиции `#1`. |
+| `results_json` | Снимок результатов в исходном порядке с оценками и комментариями. |
+| `overall_comment` | Общий комментарий к выдаче. |
+
+В `results_json` для каждого результата сохраняются: `rank`, `document_code`,
+`edition_code`, название, реквизиты, фрагмент, оценка и комментарий. Снимок
+выдачи обязателен: после изменения алгоритма можно будет восстановить именно
+тот результат, который видел юрист.
+
+## Правила сохранения
+
+- Запрос не пустой, не длиннее 500 символов.
+- Оценка может быть только целым числом от 0 до 3 либо отсутствовать у
+  непросмотренного результата.
+- Комментарии имеют ограничение длины; пользовательские значения не вставляются
+  в HTML.
+- `GET /search` возвращает краткоживущий HMAC-подписанный снимок выдачи:
+  запрос, язык, индекс, результаты и их позиции. `POST /search-reviews`
+  принимает этот снимок и только оценки с комментариями. Сервер проверяет
+  подпись и срок, самостоятельно формирует `results_json` и отклоняет оценки
+  для отсутствующих либо подменённых позиций и документов.
+- Нельзя передавать персональные данные или закрытые материалы в комментариях.
+- Кнопка «Сохранить оценку» остаётся доступной до отправки: отсутствующие
+  обязательные поля проверяются после нажатия, ошибка показана рядом с полем и
+  фокус переводится на первое некорректное поле.
+
+## Анализ данных
+
+Экспорт должен содержать исходный JSON-снимок, чтобы его можно было обработать
+скриптом или открыть в табличном инструменте. Первый отчёт строит:
+
+- среднюю оценку для каждой позиции выдачи;
+- долю результатов с оценкой `3` в top-1, top-3 и top-10;
+- запросы, где нет результатов с оценкой `2` или `3`;
+- документы, которые часто получают низкую оценку в первых позициях;
+- комментарии для ручного разбора ошибок.
+
+Сырые оценки не должны автоматически менять веса поиска. Сначала команда
+разбирает причины: анализатор, синонимы, статус, отсутствие документа,
+неправильная формулировка запроса или юридическая неоднозначность.
+
+## Этапы реализации
+
+1. Утвердить шкалу 0–3, обязательность имени проверяющего и правила доступа.
+2. Добавить SQLite-хранилище, валидацию, сохранение и JSON-экспорт.
+3. Добавить статическую внутреннюю страницу в существующий Python-сервер, без
+   Next.js и отдельного публичного приложения.
+4. Подключить поиск, правую панель документа, черновик, адаптивный режим и
+   сохранение в закреплённой панели действий на широком экране.
+5. Добавить минимальные backend-проверки сохранения, повторного запуска,
+   экспорта и недопустимых оценок.
+6. Провести ручный прогон на десяти русскоязычных практических запросах с
+   двумя юристами.
+7. На собранных записях настроить OpenSearch и повторить тот же набор запросов.
+
+## Критерий готовности
+
+Юрист вводит запрос, видит порядок выдачи, открывает документ, выставляет
+оценки и комментарии, сохраняет их. Экспорт содержит запрос, язык, документ
+на позиции `#1`, полный порядок результатов, оценки, комментарии и версию
+индекса. Данные можно сравнить до и после изменения алгоритма.
+
+---
+
+Акылдаш · Telegram-бот v0.2.2 · Backend v0.7.1 · Frontend — не создан

docs/product/visual-review/README.md

@@ -0,0 +1,100 @@
+# Приёмка поискового экрана и лаборатории
+
+Проверка выполнена 23 октября 2026 года в Chromium 156.0.8078.4, Playwright
+1.64.1, headless, device scale factor 1. Макеты проверены при 1280×800,
+1440×900, 1024×900 и 390×844 CSS px; reflow дополнительно проверен при
+320×800 CSS px. Среда: Ubuntu 26.04 LTS под WSL2 Linux x86_64, Chromium
+156.0.8078.4 headless, масштаб 100%, device scale factor 1.
+
+## Снимки
+
+- [1280×800 — основной экран](desktop-1280x800.png)
+- [1440 px](desktop-1440px.png)
+- [1024 px](desktop-1024px.png)
+- [390 px — мобильный просмотр документа](mobile-390px.png)
+- [Лаборатория `/review` — подсказка на desktop](review-tour-desktop.png)
+- [Лаборатория `/review` — подсказка на mobile](review-tour-mobile.png)
+- [Overlay 50% с приложенным референсом](overlay-50.png)
+- [Карта абсолютной разницы пикселей](pixel-difference.png)
+
+Покропленные сравнения областей для отдельного просмотра:
+
+| Область | Overlay | Разница пикселей |
+|---|---|---|
+| Шапка и навигация | [Overlay](region-header-overlay.png) | [Diff](region-header-difference.png) |
+| Фильтры | [Overlay](region-filters-overlay.png) | [Diff](region-filters-difference.png) |
+| Результаты | [Overlay](region-results-overlay.png) | [Diff](region-results-difference.png) |
+| Документ | [Overlay](region-document-overlay.png) | [Diff](region-document-difference.png) |
+| Footer | [Overlay](region-footer-overlay.png) | [Diff](region-footer-difference.png) |
+
+## Фактическая проверка
+
+- Снимок референса 1586×992 пропорционально вписан в 1280×800. Границы
+  крупных зон расходятся с реализацией не более чем на 1 CSS px: колонки
+  x=0/226/648/1280; рабочая область начинается около y=126, заканчивается
+  на y=744; footer — y=744–800.
+- Вторая строка навигации измерена по макету: поиск x=26–123, «Источники»
+  x=146–245, язык x=285–373, статус x=381–486, начало демо-подписи x=511.
+  Референсная подпись и элементы попадают в эти координаты с расхождением
+  около 1–2 px; у статуса остаётся несколько лишних пикселей по ширине.
+- Горизонтального переполнения при 1440, 1024 и 390 px нет.
+- При 320 px также нет горизонтального переполнения.
+- Загружены Noto Sans и Noto Serif, включая кириллические наборы; повторяющихся
+  HTML id нет, ошибок JavaScript в сценарии не зарегистрировано.
+- В fixture проверены ответы 200 для SVG и PNG favicon; локализация проверена
+  на фильтрах, результатах, счётчике совпадений и открытом статусе.
+- Мобильная панель фильтров удерживает фокус в цикле, делает фон inert,
+  показывает 3 px focus ring, закрывается по Escape и возвращает фокус на
+  кнопку открытия.
+- Playwright проверил сохранение второго фильтра при удалении первого, URL,
+  открытие редакции, поиск по документу
+  (1-е и 2-е совпадения), независимость языка текста от языка интерфейса,
+  отображение поисковых подписей и выбранного статуса на кыргызском,
+  разворачивание документа, действия профиля/пользователей/выхода, мобильную
+  панель и возврат к результатам, изоляцию `/review`, ошибки поиска и редакции,
+  повтор после ошибки и отсутствие доступных редакций.
+- Проверены print CSS (служебные панели скрыты, документ и официальный источник
+  остаются), горизонтальная прокрутка широкой таблицы и изображения внутри
+  документа без общей прокрутки страницы, длинные названия, `prefers-reduced-motion`,
+  ошибки/повтор после ошибки, состояние без редакций, загрузка и сохранение
+  остальных URL-фильтров при удалении одного.
+- Для фильтров и открытых `<dialog>` проверены Tab/Shift+Tab, Escape и возврат
+  фокуса. При Tab с последней кнопки в кабинете обнаружено и исправлено
+  выпадение фокуса на `body`; повторный прогон подтверждает цикл внутри диалога.
+  Полный скринридерный аудит этим не заменяется.
+- Обучающая подсказка `/review` проверена на всех четырёх шагах при 1280×800
+  и 390×844: карточка не шире 320 px, использует Noto Sans/Noto Serif,
+  полупрозрачный фон и располагается у целевого элемента без пересечения.
+  Снимки первого шага сохранены для desktop и mobile.
+
+Для снимков Playwright перехватывал API и отдавал локальные детерминированные
+fixture-ответы. Подпись «Демонстрационные данные» добавлялась только в тестовой
+странице перед снимком. Эти юридические тексты и результаты не входят в код
+продукта. Для overlay и difference исходный растр 1586×992 вписывается
+в 1280×800 с сохранением пропорций и полем около 1 px по бокам. В эталоне
+нет кнопки кабинета; в интерфейсе она сохранена для доступности действий
+учётной записи и остаётся заметным дополнительным элементом справа во второй
+строке. Макет показывает язык поиска как удаляемый чип, интерфейс использует
+доступный select; это функциональное расхождение пока оставлено явно видимым.
+Содержимое документа, системный формат даты и сглаживание текста также не
+совпадают попиксельно с концептом.
+
+## Повторный запуск
+
+Из корня репозитория выполните `cd tools/frontend-visual-review`, затем
+`npm ci`, `npx playwright install chromium` и `npm test`. Скрипт читает текущий
+`backend/search/review.html`, перехватывает API детерминированными fixture-
+ответами и обновляет перечисленные выше снимки. Overlay и pixel-difference
+создаются, если найден исходный файл по стандартному пути или передан путь в
+переменной `REFERENCE_IMAGE`.
+
+## Оставшиеся визуальные отличия
+
+Сглаживание текста и содержимое документа отличаются от растрового макета.
+Поля даты показывают системный формат Chromium. Переключатель языка интерфейса
+и поле языка поиска остаются разными состояниями; в макете язык показан как
+удаляемый чип. Дополнительная кнопка кабинета отсутствует в концепте. Не
+проверялись полный набор ошибок авторизации, скринридер, видимый фокус на каждом
+шаге, длинные реальные редакции и таблицы из корпуса. Автоматические снимки
+показывают композицию, но не подтверждают юридическое содержимое или доступность
+во всех браузерах.