Compare commits
1 Commits
fix/backup
...
fix/cd-ssh
| Author | SHA1 | Date | |
|---|---|---|---|
| 09fa15af0b |
@@ -23,8 +23,6 @@ jobs:
|
|||||||
- run: python -m pip install -r requirements.txt
|
- run: python -m pip install -r requirements.txt
|
||||||
- run: python -m pytest -q
|
- run: python -m pytest -q
|
||||||
- run: node --check app/static/admin.js
|
- run: node --check app/static/admin.js
|
||||||
- run: sh -n infra/postgres-backup.sh
|
|
||||||
- run: sh -n infra/install-postgres-backup-cron.sh
|
|
||||||
|
|
||||||
deploy:
|
deploy:
|
||||||
if: (github.event_name == 'push' && github.ref == 'refs/heads/main') || github.event_name == 'workflow_dispatch'
|
if: (github.event_name == 'push' && github.ref == 'refs/heads/main') || github.event_name == 'workflow_dispatch'
|
||||||
@@ -39,15 +37,9 @@ jobs:
|
|||||||
steps:
|
steps:
|
||||||
- uses: actions/checkout@v4
|
- uses: actions/checkout@v4
|
||||||
- name: Prepare release
|
- name: Prepare release
|
||||||
id: prepare
|
|
||||||
shell: bash
|
shell: bash
|
||||||
run: |
|
run: |
|
||||||
set -euo pipefail
|
set -euo pipefail
|
||||||
backend_version="$(sed -n 's/^BACKEND_VERSION = "\(.*\)"$/\1/p' app/version.py)"
|
|
||||||
case "$backend_version" in
|
|
||||||
''|*[!0-9.]*) exit 1 ;;
|
|
||||||
esac
|
|
||||||
echo "backend_version=$backend_version" >> "$GITHUB_OUTPUT"
|
|
||||||
tar --exclude=.git --exclude=.env -cf "$RUNNER_TEMP/$RELEASE_NAME" .
|
tar --exclude=.git --exclude=.env -cf "$RUNNER_TEMP/$RELEASE_NAME" .
|
||||||
printf '%s\n' "$PROD_SSH_KEY" > "$RUNNER_TEMP/deploy_key"
|
printf '%s\n' "$PROD_SSH_KEY" > "$RUNNER_TEMP/deploy_key"
|
||||||
printf '%s\n' "$PROD_KNOWN_HOSTS" > "$RUNNER_TEMP/known_hosts"
|
printf '%s\n' "$PROD_KNOWN_HOSTS" > "$RUNNER_TEMP/known_hosts"
|
||||||
@@ -59,11 +51,12 @@ jobs:
|
|||||||
shell: bash
|
shell: bash
|
||||||
run: |
|
run: |
|
||||||
set -euo pipefail
|
set -euo pipefail
|
||||||
scp -i "$RUNNER_TEMP/deploy_key" \
|
ssh -i "$RUNNER_TEMP/deploy_key" \
|
||||||
-o BatchMode=yes \
|
-o BatchMode=yes \
|
||||||
-o UserKnownHostsFile="$RUNNER_TEMP/known_hosts" \
|
-o UserKnownHostsFile="$RUNNER_TEMP/known_hosts" \
|
||||||
"$RUNNER_TEMP/$RELEASE_NAME" \
|
"$PROD_USER@$PROD_HOST" \
|
||||||
"$PROD_USER@$PROD_HOST:$RELEASE_NAME"
|
"cat > \"\$HOME/$RELEASE_NAME\"" \
|
||||||
|
< "$RUNNER_TEMP/$RELEASE_NAME"
|
||||||
env:
|
env:
|
||||||
PROD_HOST: ${{ secrets.PROD_HOST }}
|
PROD_HOST: ${{ secrets.PROD_HOST }}
|
||||||
PROD_USER: ${{ secrets.PROD_USER }}
|
PROD_USER: ${{ secrets.PROD_USER }}
|
||||||
@@ -75,30 +68,22 @@ jobs:
|
|||||||
-o BatchMode=yes \
|
-o BatchMode=yes \
|
||||||
-o UserKnownHostsFile="$RUNNER_TEMP/known_hosts" \
|
-o UserKnownHostsFile="$RUNNER_TEMP/known_hosts" \
|
||||||
"$PROD_USER@$PROD_HOST" \
|
"$PROD_USER@$PROD_HOST" \
|
||||||
"PROD_PATH='$PROD_PATH' RELEASE_NAME='$RELEASE_NAME' EXPECTED_BACKEND_VERSION='$EXPECTED_BACKEND_VERSION' bash -s" <<'REMOTE'
|
"PROD_PATH='$PROD_PATH' RELEASE_NAME='$RELEASE_NAME' bash -s" <<'REMOTE'
|
||||||
set -euo pipefail
|
set -euo pipefail
|
||||||
cd "$PROD_PATH"
|
cd "$PROD_PATH"
|
||||||
release="$HOME/$RELEASE_NAME"
|
release="$HOME/$RELEASE_NAME"
|
||||||
test -f "$release"
|
mkdir -p "$HOME/backups/miem_workers"
|
||||||
archive_version="$(tar -xOf "$release" ./app/version.py | sed -n 's/^BACKEND_VERSION = "\(.*\)"$/\1/p')"
|
backup="$HOME/backups/miem_workers/miem_workers-$(date +%Y%m%d-%H%M%S).sql"
|
||||||
test "$archive_version" = "$EXPECTED_BACKEND_VERSION"
|
docker compose exec -T postgres sh -c 'pg_dump -U "$POSTGRES_USER" "$POSTGRES_DB"' > "$backup"
|
||||||
docker run --rm \
|
docker run --rm \
|
||||||
-v "$release:/src/release.tar:ro" \
|
-v "$release:/src/release.tar:ro" \
|
||||||
-v "$PROD_PATH":/dst \
|
-v "$PROD_PATH":/dst \
|
||||||
alpine:3.20 sh -c 'tar -xf /src/release.tar -C /dst'
|
alpine:3.20 sh -c 'tar -xf /src/release.tar -C /dst'
|
||||||
/srv/miem_workers/infra/install-postgres-backup-cron.sh
|
|
||||||
docker compose up -d --build
|
docker compose up -d --build
|
||||||
runtime_version="$(docker compose exec -T api python -c 'from app.version import BACKEND_VERSION; print(BACKEND_VERSION)')"
|
curl --fail --silent --show-error http://127.0.0.1:8000/api/health
|
||||||
test "$runtime_version" = "$EXPECTED_BACKEND_VERSION"
|
|
||||||
health="$(curl --fail --silent --show-error http://127.0.0.1:8000/api/health)"
|
|
||||||
case "$health" in
|
|
||||||
*"\"status\":\"ok\""*"\"backend_version\":\"$EXPECTED_BACKEND_VERSION\""*) ;;
|
|
||||||
*) echo "Unexpected health response: $health" >&2; exit 1 ;;
|
|
||||||
esac
|
|
||||||
docker compose ps
|
docker compose ps
|
||||||
rm -f "$release"
|
rm -f "$release"
|
||||||
REMOTE
|
REMOTE
|
||||||
env:
|
env:
|
||||||
PROD_HOST: ${{ secrets.PROD_HOST }}
|
PROD_HOST: ${{ secrets.PROD_HOST }}
|
||||||
PROD_USER: ${{ secrets.PROD_USER }}
|
PROD_USER: ${{ secrets.PROD_USER }}
|
||||||
EXPECTED_BACKEND_VERSION: ${{ steps.prepare.outputs.backend_version }}
|
|
||||||
|
|||||||
28
CHANGELOG.md
28
CHANGELOG.md
@@ -1,34 +1,8 @@
|
|||||||
# Changelog
|
# Changelog
|
||||||
|
|
||||||
## 0.8.14
|
|
||||||
|
|
||||||
- Production CD больше не создаёт backup при каждом deploy; еженедельная задача
|
|
||||||
сохраняет один полный PostgreSQL backup с атомарной заменой; ошибки и
|
|
||||||
пропущенные из-за lock запуски пишутся в system log.
|
|
||||||
|
|
||||||
## 0.8.12
|
|
||||||
|
|
||||||
- Передача версии в production deploy ограничена безопасным форматом.
|
|
||||||
|
|
||||||
## 0.8.11
|
|
||||||
|
|
||||||
- CSS-ассеты админки получают версию в URL и обновляются после релиза без ручной очистки кэша браузера.
|
|
||||||
|
|
||||||
## 0.8.10
|
|
||||||
|
|
||||||
- Production deploy проверяет совпадение версии release-архива и запущенного API.
|
|
||||||
|
|
||||||
## 0.8.9
|
|
||||||
|
|
||||||
- Контейнеры API, worker и PostgreSQL автоматически перезапускаются после остановки или перезагрузки хоста.
|
|
||||||
|
|
||||||
## 0.8.8
|
|
||||||
|
|
||||||
- Исправлено вертикальное выравнивание кнопки и ссылки в действиях фильтров справочника.
|
|
||||||
|
|
||||||
## 0.8.7
|
## 0.8.7
|
||||||
|
|
||||||
- Production CD оставляет только последний PostgreSQL backup после успешного деплоя.
|
- Production CD передаёт release-архив через SSH вместо SFTP.
|
||||||
|
|
||||||
## 0.8.6
|
## 0.8.6
|
||||||
|
|
||||||
|
|||||||
@@ -122,7 +122,7 @@ docker compose exec postgres pg_dump -U miem miem_workers > backup.sql
|
|||||||
docker compose down
|
docker compose down
|
||||||
```
|
```
|
||||||
|
|
||||||
Production deploy выполняется job `deploy` workflow `CI` после успешного `test` на push в `main` или вручную. Для него нужны Actions secrets `PROD_HOST`, `PROD_USER`, `PROD_SSH_KEY` и `PROD_KNOWN_HOSTS`; `.env` и ключи в репозиторий не добавляются. PostgreSQL backup выполняется на VPS раз в неделю user cron deploy-пользователя через `infra/postgres-backup.sh`: `pg_dumpall` сохраняет весь кластер в `~/backups/postgres/postgres-latest.sql`. Новый dump сначала создаётся во временный файл и заменяет старый только после успешного завершения; предыдущие dump-файлы `miem_workers` удаляются после успешного создания нового. Одновременно выполняется только один production deploy.
|
Production deploy выполняется job `deploy` workflow `CI` после успешного `test` на push в `main` или вручную. Для него нужны Actions secrets `PROD_HOST`, `PROD_USER`, `PROD_SSH_KEY` и `PROD_KNOWN_HOSTS`; `.env` и ключи в репозиторий не добавляются. Перед обновлением workflow сохраняет PostgreSQL backup в домашний каталог deploy-пользователя, пересобирает `api` и `worker` и проверяет `/api/health`. Одновременно выполняется только один production deploy.
|
||||||
|
|
||||||
## Проверки
|
## Проверки
|
||||||
|
|
||||||
@@ -135,4 +135,4 @@ node --check app/static/admin.js
|
|||||||
|
|
||||||
Тесты с данными используют временную SQLite; отдельные API smoke-тесты запускают приложение с его текущей конфигурацией. Браузерная проверка: `pip install playwright`, `python -m playwright install chromium`, затем `python tests/browser_admin.py`. Она проверяет реальный рендеринг страниц, клавиатуру, диалог, фильтры и восстановление прогресса после ошибки. Скриншоты сохраняются во временную папку; путь выводится в конце.
|
Тесты с данными используют временную SQLite; отдельные API smoke-тесты запускают приложение с его текущей конфигурацией. Браузерная проверка: `pip install playwright`, `python -m playwright install chromium`, затем `python tests/browser_admin.py`. Она проверяет реальный рендеринг страниц, клавиатуру, диалог, фильтры и восстановление прогресса после ошибки. Скриншоты сохраняются во временную папку; путь выводится в конце.
|
||||||
|
|
||||||
Версия сервиса: `0.8.14`. Админка всегда показывает версии backend и frontend в footer.
|
Версия сервиса: `0.8.7`. Админка всегда показывает версии backend и frontend в footer.
|
||||||
|
|||||||
@@ -183,7 +183,6 @@
|
|||||||
}
|
}
|
||||||
|
|
||||||
.button {
|
.button {
|
||||||
box-sizing: border-box;
|
|
||||||
min-height: 40px;
|
min-height: 40px;
|
||||||
padding: 10px 14px;
|
padding: 10px 14px;
|
||||||
border: 0;
|
border: 0;
|
||||||
|
|||||||
@@ -4,7 +4,7 @@
|
|||||||
<meta charset="utf-8">
|
<meta charset="utf-8">
|
||||||
<meta name="viewport" content="width=device-width, initial-scale=1">
|
<meta name="viewport" content="width=device-width, initial-scale=1">
|
||||||
<title>{% block title %}MIEM Employees{% endblock %}</title>
|
<title>{% block title %}MIEM Employees{% endblock %}</title>
|
||||||
<link rel="stylesheet" href="/static/admin.css?v={{ frontend_version }}">
|
<link rel="stylesheet" href="/static/admin.css">
|
||||||
</head>
|
</head>
|
||||||
<body class="admin">
|
<body class="admin">
|
||||||
<a class="admin__skip-link" href="#main-content">Перейти к содержимому</a>
|
<a class="admin__skip-link" href="#main-content">Перейти к содержимому</a>
|
||||||
|
|||||||
@@ -4,7 +4,7 @@
|
|||||||
<meta charset="utf-8">
|
<meta charset="utf-8">
|
||||||
<meta name="viewport" content="width=device-width, initial-scale=1">
|
<meta name="viewport" content="width=device-width, initial-scale=1">
|
||||||
<title>Вход · MIEM Employees</title>
|
<title>Вход · MIEM Employees</title>
|
||||||
<link rel="stylesheet" href="/static/admin.css?v={{ frontend_version }}">
|
<link rel="stylesheet" href="/static/admin.css">
|
||||||
</head>
|
</head>
|
||||||
<body class="admin">
|
<body class="admin">
|
||||||
<main class="admin__main">
|
<main class="admin__main">
|
||||||
|
|||||||
@@ -1,3 +1,3 @@
|
|||||||
APP_VERSION = "0.8.14"
|
APP_VERSION = "0.8.7"
|
||||||
FRONTEND_VERSION = "0.8.14"
|
FRONTEND_VERSION = "0.8.7"
|
||||||
BACKEND_VERSION = "0.8.14"
|
BACKEND_VERSION = "0.8.7"
|
||||||
|
|||||||
@@ -1,7 +1,6 @@
|
|||||||
services:
|
services:
|
||||||
postgres:
|
postgres:
|
||||||
image: postgres:16-alpine
|
image: postgres:16-alpine
|
||||||
restart: always
|
|
||||||
environment:
|
environment:
|
||||||
POSTGRES_DB: ${POSTGRES_DB:-miem_workers}
|
POSTGRES_DB: ${POSTGRES_DB:-miem_workers}
|
||||||
POSTGRES_USER: ${POSTGRES_USER:-miem}
|
POSTGRES_USER: ${POSTGRES_USER:-miem}
|
||||||
@@ -16,7 +15,6 @@ services:
|
|||||||
|
|
||||||
api:
|
api:
|
||||||
build: .
|
build: .
|
||||||
restart: always
|
|
||||||
command: uvicorn app.main:app --host 0.0.0.0 --port 8000
|
command: uvicorn app.main:app --host 0.0.0.0 --port 8000
|
||||||
env_file: .env
|
env_file: .env
|
||||||
environment:
|
environment:
|
||||||
@@ -29,7 +27,6 @@ services:
|
|||||||
|
|
||||||
worker:
|
worker:
|
||||||
build: .
|
build: .
|
||||||
restart: always
|
|
||||||
command: python -m app.worker
|
command: python -m app.worker
|
||||||
env_file: .env
|
env_file: .env
|
||||||
environment:
|
environment:
|
||||||
|
|||||||
@@ -1,10 +0,0 @@
|
|||||||
#!/bin/sh
|
|
||||||
set -eu
|
|
||||||
|
|
||||||
temporary=$(mktemp)
|
|
||||||
app_dir=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
|
|
||||||
trap 'rm -f -- "$temporary"' EXIT HUP INT TERM
|
|
||||||
|
|
||||||
crontab -l 2>/dev/null | grep -v 'postgres-backup.sh' > "$temporary" || true
|
|
||||||
printf '%s\n' "30 3 * * 0 flock -w 3600 /tmp/miem-postgres-backup.lock $app_dir/infra/postgres-backup.sh || logger -t miem-postgres-backup -- 'backup skipped or failed'" >> "$temporary"
|
|
||||||
crontab "$temporary"
|
|
||||||
@@ -1,20 +0,0 @@
|
|||||||
#!/bin/sh
|
|
||||||
set -eu
|
|
||||||
umask 077
|
|
||||||
|
|
||||||
app_dir=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
|
|
||||||
backup_dir="$HOME/backups/postgres"
|
|
||||||
backup="$backup_dir/postgres-latest.sql"
|
|
||||||
temporary="$backup.tmp.$$"
|
|
||||||
|
|
||||||
log() { logger -t miem-postgres-backup -- "$*" 2>/dev/null || true; }
|
|
||||||
|
|
||||||
mkdir -p "$backup_dir"
|
|
||||||
trap 'status=$?; rm -f -- "$temporary"; [ "$status" -eq 0 ] || log "backup failed"; exit "$status"' EXIT HUP INT TERM
|
|
||||||
cd "$app_dir"
|
|
||||||
|
|
||||||
docker compose exec -T postgres sh -c 'pg_dumpall -U "$POSTGRES_USER"' > "$temporary"
|
|
||||||
test -s "$temporary"
|
|
||||||
mv "$temporary" "$backup"
|
|
||||||
find "$HOME/backups/miem_workers" -maxdepth 1 -type f -name 'miem_workers-*.sql' -delete 2>/dev/null || true
|
|
||||||
log "created $backup"
|
|
||||||
@@ -1,6 +1,6 @@
|
|||||||
[project]
|
[project]
|
||||||
name = "miem-workers"
|
name = "miem-workers"
|
||||||
version = "0.8.14"
|
version = "0.8.7"
|
||||||
description = "MIEM employees parser, admin API, and web admin"
|
description = "MIEM employees parser, admin API, and web admin"
|
||||||
requires-python = ">=3.11"
|
requires-python = ">=3.11"
|
||||||
dependencies = [
|
dependencies = [
|
||||||
|
|||||||
@@ -18,7 +18,7 @@ def test_health_returns_versions():
|
|||||||
response = TestClient(app).get("/api/health")
|
response = TestClient(app).get("/api/health")
|
||||||
|
|
||||||
assert response.status_code == 200
|
assert response.status_code == 200
|
||||||
assert response.json()["backend_version"] == "0.8.14"
|
assert response.json()["backend_version"] == "0.8.7"
|
||||||
|
|
||||||
|
|
||||||
def test_api_employees_and_stats_require_admin_session():
|
def test_api_employees_and_stats_require_admin_session():
|
||||||
|
|||||||
Reference in New Issue
Block a user