fix: preserve imported publication enrichment during crawls

This commit is contained in:
codex committed 2026-10-05 11:57:44 +03:00
1 parent 05a62d18e6
commit 72afb31049
7 files changed
+160 -22

No files matched your search

+1 -1
View File
@@ -141,7 +141,7 @@ node --check app/static/admin.js
Тесты с данными используют временную SQLite; отдельные API smoke-тесты запускают приложение с его текущей конфигурацией. Браузерная проверка: `pip install playwright`, `python -m playwright install chromium`, затем `python tests/browser_admin.py`. Она проверяет реальный рендеринг страниц, клавиатуру, диалог, фильтры и восстановление прогресса после ошибки. Скриншоты сохраняются во временную папку; путь выводится в конце.
Версия сервиса: `0.10.0`. Админка всегда показывает версии backend и frontend в footer.
Версия сервиса: `0.10.1`. Админка всегда показывает версии backend и frontend в footer.
## Разовый импорт публикаций
+53 -9
View File
@@ -2,7 +2,8 @@ import gzip
import hashlib
import json
import re
import time
import time
import unicodedata
from datetime import datetime, timezone
import requests
@@ -398,8 +399,11 @@ def _employee_publications_table_exists(db: Session) -> bool:
return inspect(db.connection()).has_table(EmployeePublication.__tablename__)
def _sync_employee_publications(db: Session, employee: Employee, parsed: dict) -> None:
publications = _publication_payloads(parsed)
def _sync_employee_publications(db: Session, employee: Employee, parsed: dict) -> None:
publications = _publication_payloads(parsed)
imported = [item for item in db.scalars(select(EmployeePublication).where(
EmployeePublication.employee_id == employee.id
)).all() if _csv_enrichment(item) is not None]
seen_hashes = set()
for publication in publications:
source_hash = _publication_hash(publication)
@@ -420,8 +424,10 @@ def _sync_employee_publications(db: Session, employee: Employee, parsed: dict) -
EmployeePublication.source_hash == source_hash,
)
)
if not existing:
existing = EmployeePublication(employee_id=employee.id, source_hash=source_hash, title=_publication_title(publication))
if not existing:
existing = _match_imported_publication(imported, publication)
if not existing:
existing = EmployeePublication(employee_id=employee.id, source_hash=source_hash, title=_publication_title(publication))
db.add(existing)
_apply_publication(existing, publication, source_hash)
@@ -432,8 +438,39 @@ def _sync_employee_publications(db: Session, employee: Employee, parsed: dict) -
EmployeePublication.source_hash.not_in(seen_hashes),
)
).all()
for item in stale:
db.delete(item)
for item in stale:
if _csv_enrichment(item) is None:
db.delete(item)
def _csv_enrichment(publication: EmployeePublication) -> dict | None:
raw = publication.raw_data
metadata = raw.get("csv_enrichment") if isinstance(raw, dict) else None
return metadata if isinstance(metadata, dict) else None
def _match_imported_publication(imported: list[EmployeePublication], publication: dict) -> EmployeePublication | None:
def doi(value):
return re.sub(r"^(?:https?://(?:dx\.)?doi\.org/|doi:\s*)", "", (value or "").strip(), flags=re.I).lower()
def title(value):
return " ".join(unicodedata.normalize("NFKC", value or "").casefold().replace("ё", "е").split())
identifier = doi(publication.get("doi_url"))
year = _int_or_none(publication.get("year"))
name = title(publication.get("title") or publication.get("text"))
matches = [item for item in imported if
(identifier and doi(item.doi_url) == identifier) or
(name and title(item.title) == name and item.year in (None, year))]
if len(matches) > 1:
raise ValueError("Ambiguous imported publication; synchronization rolled back")
if not matches:
return None
match = matches[0]
if ((identifier and doi(match.doi_url) and identifier != doi(match.doi_url)) or
(year and match.year and year != match.year)):
raise ValueError("Conflicting imported publication; synchronization rolled back")
return match
def _publication_payloads(parsed: dict) -> list[dict]:
@@ -447,7 +484,9 @@ def _publication_payloads(parsed: dict) -> list[dict]:
return publications
def _apply_publication(target: EmployeePublication, publication: dict, source_hash: str) -> None:
def _apply_publication(target: EmployeePublication, publication: dict, source_hash: str) -> None:
enrichment = _csv_enrichment(target)
preserved = {field: getattr(target, field) for field in ("title", "year", "doi_url")}
target.publication_id = _clean_optional(publication.get("publication_id") or publication.get("id"))
target.title = _publication_title(publication)
target.year = _int_or_none(publication.get("year"))
@@ -462,7 +501,12 @@ def _apply_publication(target: EmployeePublication, publication: dict, source_ha
target.annotation = publication.get("annotation") if isinstance(publication.get("annotation"), dict) else None
target.description = publication.get("description") if isinstance(publication.get("description"), dict) else None
target.authors = publication.get("authors") if isinstance(publication.get("authors"), list) else None
target.raw_data = publication.get("raw_data") if isinstance(publication.get("raw_data"), dict) else publication
target.raw_data = publication.get("raw_data") if isinstance(publication.get("raw_data"), dict) else publication
if enrichment is not None:
target.raw_data = {**target.raw_data, "csv_enrichment": enrichment}
for field in ("title", "year", "doi_url"):
if not getattr(target, field) or (field == "title" and not (publication.get("title") or publication.get("text"))):
setattr(target, field, preserved[field])
target.source_hash = source_hash
+3 -3
View File
@@ -1,3 +1,3 @@
APP_VERSION = "0.10.0"
FRONTEND_VERSION = "0.10.0"
BACKEND_VERSION = "0.10.0"
APP_VERSION = "0.10.1"
FRONTEND_VERSION = "0.10.1"
BACKEND_VERSION = "0.10.1"
+21 -6
View File
@@ -91,12 +91,27 @@ commit также возможна. Безопасный повторный dry-
При необходимости владелец перемещает `.pending` в архив перед повтором.
**До применения нужен свежий backup БД.** Во время импорта владелец должен
исключить crawl и другие записи публикаций. Текущий crawler удаляет отсутствующие
в ответе ВШЭ записи и заменяет `raw_data` существующих публикаций. Поэтому
обогащение может исчезнуть после следующего crawl: сохранение сторонних данных
нужно решить отдельным изменением до возобновления обходов. Импортер не меняет
эту логику. Не выполняйте production apply до независимого ревью и решения
вопроса сохранности. Здесь не приведены команды рестарта сервисов.
исключить конкурентные записи публикаций на время транзакции, согласовав окно
работы; эта подготовка не отключает crawler. Не выполняйте production apply до
независимого ревью и развёртывания исправления crawler из этого PR.
До исправления `_upsert_employee` запускал синхронизацию публикаций даже для
неизменённой карточки. При пустом списке публикаций или отсутствии таблицы
синхронизация пропускалась. При непустом списке `_sync_employee_publications`
удалял все записи сотрудника, чей `source_hash` отсутствовал среди хешей ответа
ВШЭ, включая CSV-вставки. Найденные по `publication_id`/хешу записи полностью
получали новый `raw_data`, поэтому теряли CSV-метаданные даже без удаления.
Исправление сохраняет записи с dict `raw_data.csv_enrichment` при очистке
устаревших публикаций. При обновлении сохраняется этот ключ и заполненные
title/year/doi_url, если ВШЭ вернул пустые значения. Непустые значения ВШЭ
продолжают обновлять канонические поля, а исходные CSV-значения остаются в
метаданных. Если статья впервые появилась у ВШЭ, crawler сопоставляет её с
импортированной записью по DOI или названию/году до новой вставки, сохраняет id
и добавляет HSE publication_id. Конфликт/неоднозначность откатывает весь savepoint
синхронизации публикаций и регистрирует CrawlError; карточка сотрудника продолжает
обрабатываться. Удаление обычных устаревших HSE-записей остаётся прежним. Здесь
не приведены команды рестарта или отключения сервисов.
## Команды владельцу (не выполнялись)
+1 -1
View File
@@ -1,6 +1,6 @@
[project]
name = "miem-workers"
version = "0.10.0"
version = "0.10.1"
description = "MIEM employees parser, admin API, and web admin"
requires-python = ">=3.11"
dependencies = [
+1 -1
View File
@@ -18,7 +18,7 @@ def test_health_returns_versions():
response = TestClient(app).get("/api/health")
assert response.status_code == 200
assert response.json()["backend_version"] == "0.10.0"
assert response.json()["backend_version"] == "0.10.1"
def test_api_employees_and_stats_require_admin_session():
+80 -1
View File
@@ -434,7 +434,7 @@ def test_upsert_employee_saves_publications_and_reuses_existing_rows(db_session)
assert publications[0].authors == [{"id": "1", "title_ru": "Автор"}]
def test_upsert_employee_records_publication_errors_without_failing_employee(monkeypatch, db_session):
def test_upsert_employee_records_publication_errors_without_failing_employee(monkeypatch, db_session):
run = CrawlRun(source_url="https://miem.hse.ru/persons", status="running")
db_session.add(run)
db_session.commit()
@@ -573,3 +573,82 @@ def _parsed_employee_with_news(profile_id: str) -> dict:
}
]
return parsed
def test_csv_enrichment_survives_repeated_crawl_without_duplicate(db_session):
from scripts.import_publications import plan
from app.services.crawler import _sync_employee_publications
run = CrawlRun(source_url="https://miem.hse.ru/persons", status="running")
db_session.add(run)
db_session.commit()
employee, _ = _upsert_employee(db_session, run, _parsed_employee_with_publication("csv-preserved"))
db_session.commit()
existing = db_session.query(EmployeePublication).filter_by(employee_id=employee.id).one()
rows = [(number, {"Название публикации": title, "Год": str(year), "DOI": identifier,
"Авторы НИУ ВШЭ": employee.full_name, "Квартиль scopus": "Q1"})
for number, title, year, identifier in (
(2, existing.title, existing.year, ""),
(3, "CSV only", 2024, "10.1234/csv-only"),
(4, "Later HSE", 2024, "10.1234/later"))]
actions, _ = plan(rows, [{"id": employee.id, "full_name": employee.full_name}],
[{field: getattr(existing, field) for field in
("id", "employee_id", "title", "year", "doi_url", "raw_data")}])
for action in actions:
if action["result"] == "insert":
db_session.add(EmployeePublication(**action["values"]))
else:
for field, value in action["values"].items():
setattr(existing, field, value)
db_session.add(EmployeePublication(employee_id=employee.id, title="Obsolete HSE",
source_hash="obsolete", raw_data={"id": "obsolete"}))
db_session.commit()
original_id = existing.id
imported_ids = {p.title: p.id for p in db_session.query(EmployeePublication).all()}
parsed = _parsed_employee_with_publication("csv-preserved")
publication = parsed["sections"][0]["publications"][0]
publication.pop("year")
publication.pop("doi_url")
publication["raw_data"]["fresh"] = True
for _ in range(2):
_sync_employee_publications(db_session, employee, parsed)
db_session.commit()
remaining = db_session.query(EmployeePublication).filter_by(employee_id=employee.id).all()
assert len(remaining) == 3
assert all(p.raw_data["csv_enrichment"]["Квартиль scopus"] == "Q1" for p in remaining)
refreshed = db_session.get(EmployeePublication, original_id)
assert refreshed.raw_data["fresh"] is True
assert refreshed.year == 2023 and refreshed.doi_url == "https://doi.org/10.1/test"
assert db_session.get(EmployeePublication, imported_ids["CSV only"]) is not None
parsed["sections"][0]["publications"].append({
"publication_id": "later-id", "title": "Later HSE", "year": 2024,
"doi_url": "http://dx.doi.org/10.1234/LATER", "raw_data": {"id": "later-id"}})
for _ in range(2):
_sync_employee_publications(db_session, employee, parsed)
db_session.commit()
assert db_session.query(EmployeePublication).filter_by(employee_id=employee.id).count() == 3
adopted = db_session.get(EmployeePublication, imported_ids["Later HSE"])
assert adopted.publication_id == "later-id"
assert adopted.raw_data["csv_enrichment"]["Квартиль scopus"] == "Q1"
def test_ambiguous_csv_match_rolls_back_publication_sync(db_session):
from app.services.crawler import _try_sync_employee_publications
run = CrawlRun(source_url="https://miem.hse.ru/persons", status="running")
db_session.add(run)
db_session.commit()
employee, _ = _upsert_employee(db_session, run, _parsed_employee("csv-ambiguous"))
for index in range(2):
db_session.add(EmployeePublication(employee_id=employee.id, title="Same", year=2024,
doi_url="https://doi.org/10.1234/same", source_hash=f"csv-{index}",
raw_data={"csv_enrichment": {"Год": "2024"}}))
db_session.commit()
parsed = {"sections": [{"type": "publications", "publications": [
{"publication_id": "new", "title": "New"},
{"publication_id": "same", "title": "Same", "doi_url": "https://doi.org/10.1234/same", "year": 2024}]}]}
_try_sync_employee_publications(db_session, run, employee, parsed)
db_session.commit()
assert db_session.query(EmployeePublication).filter_by(employee_id=employee.id).count() == 2
assert db_session.query(CrawlError).filter_by(crawl_run_id=run.id, error_type="ValueError").count() == 1