diff --git a/README.md b/README.md index 2671c9e..bd16256 100644 --- a/README.md +++ b/README.md @@ -141,7 +141,7 @@ node --check app/static/admin.js Тесты с данными используют временную SQLite; отдельные API smoke-тесты запускают приложение с его текущей конфигурацией. Браузерная проверка: `pip install playwright`, `python -m playwright install chromium`, затем `python tests/browser_admin.py`. Она проверяет реальный рендеринг страниц, клавиатуру, диалог, фильтры и восстановление прогресса после ошибки. Скриншоты сохраняются во временную папку; путь выводится в конце. -Версия сервиса: `0.10.0`. Админка всегда показывает версии backend и frontend в footer. +Версия сервиса: `0.10.1`. Админка всегда показывает версии backend и frontend в footer. ## Разовый импорт публикаций diff --git a/app/services/crawler.py b/app/services/crawler.py index 40074c1..6a742e8 100644 --- a/app/services/crawler.py +++ b/app/services/crawler.py @@ -2,7 +2,8 @@ import gzip import hashlib import json import re -import time +import time +import unicodedata from datetime import datetime, timezone import requests @@ -398,8 +399,11 @@ def _employee_publications_table_exists(db: Session) -> bool: return inspect(db.connection()).has_table(EmployeePublication.__tablename__) -def _sync_employee_publications(db: Session, employee: Employee, parsed: dict) -> None: - publications = _publication_payloads(parsed) +def _sync_employee_publications(db: Session, employee: Employee, parsed: dict) -> None: + publications = _publication_payloads(parsed) + imported = [item for item in db.scalars(select(EmployeePublication).where( + EmployeePublication.employee_id == employee.id + )).all() if _csv_enrichment(item) is not None] seen_hashes = set() for publication in publications: source_hash = _publication_hash(publication) @@ -420,8 +424,10 @@ def _sync_employee_publications(db: Session, employee: Employee, parsed: dict) - EmployeePublication.source_hash == source_hash, ) ) - if not existing: - existing = EmployeePublication(employee_id=employee.id, source_hash=source_hash, title=_publication_title(publication)) + if not existing: + existing = _match_imported_publication(imported, publication) + if not existing: + existing = EmployeePublication(employee_id=employee.id, source_hash=source_hash, title=_publication_title(publication)) db.add(existing) _apply_publication(existing, publication, source_hash) @@ -432,8 +438,39 @@ def _sync_employee_publications(db: Session, employee: Employee, parsed: dict) - EmployeePublication.source_hash.not_in(seen_hashes), ) ).all() - for item in stale: - db.delete(item) + for item in stale: + if _csv_enrichment(item) is None: + db.delete(item) + + +def _csv_enrichment(publication: EmployeePublication) -> dict | None: + raw = publication.raw_data + metadata = raw.get("csv_enrichment") if isinstance(raw, dict) else None + return metadata if isinstance(metadata, dict) else None + + +def _match_imported_publication(imported: list[EmployeePublication], publication: dict) -> EmployeePublication | None: + def doi(value): + return re.sub(r"^(?:https?://(?:dx\.)?doi\.org/|doi:\s*)", "", (value or "").strip(), flags=re.I).lower() + + def title(value): + return " ".join(unicodedata.normalize("NFKC", value or "").casefold().replace("ё", "е").split()) + + identifier = doi(publication.get("doi_url")) + year = _int_or_none(publication.get("year")) + name = title(publication.get("title") or publication.get("text")) + matches = [item for item in imported if + (identifier and doi(item.doi_url) == identifier) or + (name and title(item.title) == name and item.year in (None, year))] + if len(matches) > 1: + raise ValueError("Ambiguous imported publication; synchronization rolled back") + if not matches: + return None + match = matches[0] + if ((identifier and doi(match.doi_url) and identifier != doi(match.doi_url)) or + (year and match.year and year != match.year)): + raise ValueError("Conflicting imported publication; synchronization rolled back") + return match def _publication_payloads(parsed: dict) -> list[dict]: @@ -447,7 +484,9 @@ def _publication_payloads(parsed: dict) -> list[dict]: return publications -def _apply_publication(target: EmployeePublication, publication: dict, source_hash: str) -> None: +def _apply_publication(target: EmployeePublication, publication: dict, source_hash: str) -> None: + enrichment = _csv_enrichment(target) + preserved = {field: getattr(target, field) for field in ("title", "year", "doi_url")} target.publication_id = _clean_optional(publication.get("publication_id") or publication.get("id")) target.title = _publication_title(publication) target.year = _int_or_none(publication.get("year")) @@ -462,7 +501,12 @@ def _apply_publication(target: EmployeePublication, publication: dict, source_ha target.annotation = publication.get("annotation") if isinstance(publication.get("annotation"), dict) else None target.description = publication.get("description") if isinstance(publication.get("description"), dict) else None target.authors = publication.get("authors") if isinstance(publication.get("authors"), list) else None - target.raw_data = publication.get("raw_data") if isinstance(publication.get("raw_data"), dict) else publication + target.raw_data = publication.get("raw_data") if isinstance(publication.get("raw_data"), dict) else publication + if enrichment is not None: + target.raw_data = {**target.raw_data, "csv_enrichment": enrichment} + for field in ("title", "year", "doi_url"): + if not getattr(target, field) or (field == "title" and not (publication.get("title") or publication.get("text"))): + setattr(target, field, preserved[field]) target.source_hash = source_hash diff --git a/app/version.py b/app/version.py index d6851c2..8b1b005 100644 --- a/app/version.py +++ b/app/version.py @@ -1,3 +1,3 @@ -APP_VERSION = "0.10.0" -FRONTEND_VERSION = "0.10.0" -BACKEND_VERSION = "0.10.0" +APP_VERSION = "0.10.1" +FRONTEND_VERSION = "0.10.1" +BACKEND_VERSION = "0.10.1" diff --git a/docs/publication-import.md b/docs/publication-import.md index 85c8a01..3f859bd 100644 --- a/docs/publication-import.md +++ b/docs/publication-import.md @@ -91,12 +91,27 @@ commit также возможна. Безопасный повторный dry- При необходимости владелец перемещает `.pending` в архив перед повтором. **До применения нужен свежий backup БД.** Во время импорта владелец должен -исключить crawl и другие записи публикаций. Текущий crawler удаляет отсутствующие -в ответе ВШЭ записи и заменяет `raw_data` существующих публикаций. Поэтому -обогащение может исчезнуть после следующего crawl: сохранение сторонних данных -нужно решить отдельным изменением до возобновления обходов. Импортер не меняет -эту логику. Не выполняйте production apply до независимого ревью и решения -вопроса сохранности. Здесь не приведены команды рестарта сервисов. +исключить конкурентные записи публикаций на время транзакции, согласовав окно +работы; эта подготовка не отключает crawler. Не выполняйте production apply до +независимого ревью и развёртывания исправления crawler из этого PR. + +До исправления `_upsert_employee` запускал синхронизацию публикаций даже для +неизменённой карточки. При пустом списке публикаций или отсутствии таблицы +синхронизация пропускалась. При непустом списке `_sync_employee_publications` +удалял все записи сотрудника, чей `source_hash` отсутствовал среди хешей ответа +ВШЭ, включая CSV-вставки. Найденные по `publication_id`/хешу записи полностью +получали новый `raw_data`, поэтому теряли CSV-метаданные даже без удаления. + +Исправление сохраняет записи с dict `raw_data.csv_enrichment` при очистке +устаревших публикаций. При обновлении сохраняется этот ключ и заполненные +title/year/doi_url, если ВШЭ вернул пустые значения. Непустые значения ВШЭ +продолжают обновлять канонические поля, а исходные CSV-значения остаются в +метаданных. Если статья впервые появилась у ВШЭ, crawler сопоставляет её с +импортированной записью по DOI или названию/году до новой вставки, сохраняет id +и добавляет HSE publication_id. Конфликт/неоднозначность откатывает весь savepoint +синхронизации публикаций и регистрирует CrawlError; карточка сотрудника продолжает +обрабатываться. Удаление обычных устаревших HSE-записей остаётся прежним. Здесь +не приведены команды рестарта или отключения сервисов. ## Команды владельцу (не выполнялись) diff --git a/pyproject.toml b/pyproject.toml index ce3adff..1978fae 100644 --- a/pyproject.toml +++ b/pyproject.toml @@ -1,6 +1,6 @@ [project] name = "miem-workers" -version = "0.10.0" +version = "0.10.1" description = "MIEM employees parser, admin API, and web admin" requires-python = ">=3.11" dependencies = [ diff --git a/tests/test_api.py b/tests/test_api.py index 9cae74e..34dff5e 100644 --- a/tests/test_api.py +++ b/tests/test_api.py @@ -18,7 +18,7 @@ def test_health_returns_versions(): response = TestClient(app).get("/api/health") assert response.status_code == 200 - assert response.json()["backend_version"] == "0.10.0" + assert response.json()["backend_version"] == "0.10.1" def test_api_employees_and_stats_require_admin_session(): diff --git a/tests/test_crawler.py b/tests/test_crawler.py index c1c2256..7adbb6e 100644 --- a/tests/test_crawler.py +++ b/tests/test_crawler.py @@ -434,7 +434,7 @@ def test_upsert_employee_saves_publications_and_reuses_existing_rows(db_session) assert publications[0].authors == [{"id": "1", "title_ru": "Автор"}] -def test_upsert_employee_records_publication_errors_without_failing_employee(monkeypatch, db_session): +def test_upsert_employee_records_publication_errors_without_failing_employee(monkeypatch, db_session): run = CrawlRun(source_url="https://miem.hse.ru/persons", status="running") db_session.add(run) db_session.commit() @@ -573,3 +573,82 @@ def _parsed_employee_with_news(profile_id: str) -> dict: } ] return parsed + + +def test_csv_enrichment_survives_repeated_crawl_without_duplicate(db_session): + from scripts.import_publications import plan + from app.services.crawler import _sync_employee_publications + + run = CrawlRun(source_url="https://miem.hse.ru/persons", status="running") + db_session.add(run) + db_session.commit() + employee, _ = _upsert_employee(db_session, run, _parsed_employee_with_publication("csv-preserved")) + db_session.commit() + existing = db_session.query(EmployeePublication).filter_by(employee_id=employee.id).one() + rows = [(number, {"Название публикации": title, "Год": str(year), "DOI": identifier, + "Авторы НИУ ВШЭ": employee.full_name, "Квартиль scopus": "Q1"}) + for number, title, year, identifier in ( + (2, existing.title, existing.year, ""), + (3, "CSV only", 2024, "10.1234/csv-only"), + (4, "Later HSE", 2024, "10.1234/later"))] + actions, _ = plan(rows, [{"id": employee.id, "full_name": employee.full_name}], + [{field: getattr(existing, field) for field in + ("id", "employee_id", "title", "year", "doi_url", "raw_data")}]) + for action in actions: + if action["result"] == "insert": + db_session.add(EmployeePublication(**action["values"])) + else: + for field, value in action["values"].items(): + setattr(existing, field, value) + db_session.add(EmployeePublication(employee_id=employee.id, title="Obsolete HSE", + source_hash="obsolete", raw_data={"id": "obsolete"})) + db_session.commit() + original_id = existing.id + imported_ids = {p.title: p.id for p in db_session.query(EmployeePublication).all()} + + parsed = _parsed_employee_with_publication("csv-preserved") + publication = parsed["sections"][0]["publications"][0] + publication.pop("year") + publication.pop("doi_url") + publication["raw_data"]["fresh"] = True + for _ in range(2): + _sync_employee_publications(db_session, employee, parsed) + db_session.commit() + remaining = db_session.query(EmployeePublication).filter_by(employee_id=employee.id).all() + assert len(remaining) == 3 + assert all(p.raw_data["csv_enrichment"]["Квартиль scopus"] == "Q1" for p in remaining) + refreshed = db_session.get(EmployeePublication, original_id) + assert refreshed.raw_data["fresh"] is True + assert refreshed.year == 2023 and refreshed.doi_url == "https://doi.org/10.1/test" + assert db_session.get(EmployeePublication, imported_ids["CSV only"]) is not None + + parsed["sections"][0]["publications"].append({ + "publication_id": "later-id", "title": "Later HSE", "year": 2024, + "doi_url": "http://dx.doi.org/10.1234/LATER", "raw_data": {"id": "later-id"}}) + for _ in range(2): + _sync_employee_publications(db_session, employee, parsed) + db_session.commit() + assert db_session.query(EmployeePublication).filter_by(employee_id=employee.id).count() == 3 + adopted = db_session.get(EmployeePublication, imported_ids["Later HSE"]) + assert adopted.publication_id == "later-id" + assert adopted.raw_data["csv_enrichment"]["Квартиль scopus"] == "Q1" + + +def test_ambiguous_csv_match_rolls_back_publication_sync(db_session): + from app.services.crawler import _try_sync_employee_publications + run = CrawlRun(source_url="https://miem.hse.ru/persons", status="running") + db_session.add(run) + db_session.commit() + employee, _ = _upsert_employee(db_session, run, _parsed_employee("csv-ambiguous")) + for index in range(2): + db_session.add(EmployeePublication(employee_id=employee.id, title="Same", year=2024, + doi_url="https://doi.org/10.1234/same", source_hash=f"csv-{index}", + raw_data={"csv_enrichment": {"Год": "2024"}})) + db_session.commit() + parsed = {"sections": [{"type": "publications", "publications": [ + {"publication_id": "new", "title": "New"}, + {"publication_id": "same", "title": "Same", "doi_url": "https://doi.org/10.1234/same", "year": 2024}]}]} + _try_sync_employee_publications(db_session, run, employee, parsed) + db_session.commit() + assert db_session.query(EmployeePublication).filter_by(employee_id=employee.id).count() == 2 + assert db_session.query(CrawlError).filter_by(crawl_run_id=run.id, error_type="ValueError").count() == 1