diff --git a/README.md b/README.md index c8d3207..ffcf194 100644 --- a/README.md +++ b/README.md @@ -110,7 +110,9 @@ Compose запускает `api`, `worker` и `postgres`. API привязан Подтверждения хранятся отдельно от перезаписываемых парсером данных, в `app/data/council_evidence.json`; по умолчанию файл пустой. Формат, привязка к сотруднику/работе, правила конфликта, монографии и нормативные уточнения: [docs/council-evidence.md](docs/council-evidence.md). Непубличные документы и контакты на страницу не выводятся. РИНЦ или поле `hse_list` не подтверждают RSCI. Неизвестные виды, конфликтующие годы и неподтверждённые основания не создают положительного заключения. -Доступны поиск, сортировка, страницы по 25 сотрудников и XLSX всех найденных сотрудников. Отрасль и остальные параметры сохраняются при переходах и экспорте. Листы «Сотрудники», «Публикации» и «Параметры» используют тот же расчёт, включают причины проверки и источники; внешние ссылки проверяются, строки не выполняются как формулы Excel. Фильтр специальности по журналам К1 и ручным тематическим связям остаётся отдельным вспомогательным подбором с ограниченным охватом, а не условием соответствия пунктам 5–6. +Доступны поиск, сортировка, страницы по 25 сотрудников и XLSX всех найденных сотрудников. Отрасль и остальные параметры сохраняются при переходах и экспорте. XLSX содержит компактные листы «Сотрудники» (12 столбцов) и «Публикации» (14 столбцов), а правила и выбранные фильтры вынесены в «Параметры»; внешние ссылки проверяются, строки не выполняются как формулы Excel. Фильтр специальности по журналам К1 и ручным тематическим связям остаётся отдельным вспомогательным подбором с ограниченным охватом, а не условием соответствия пунктам 5–6. + +В XLSX «Научная степень» — текущая выбранная степень, а «Всего» — уникальное объединение Q1 ИЛИ Q2 ИЛИ К1; отдельные К2/RSCI не увеличивают этот столбец. Поэтому экспортный итог может отличаться от общего счётчика сайта. «Всего из ЛК» и «Общее количество всех публикаций без дублей» учитывают все годы. Отсутствующий тип материала обозначается «не указан», положительное сообщение о периоде объединяется в «В пределах пяти лет». Версия 1.0.0 меняет набор и порядок столбцов несовместимо с прежними шаблонами обработки XLSX. После изменения JSON/PDF пересоберите образ и пересоздайте API: данные включены в образ и кешируются в процессе. @@ -184,8 +186,7 @@ node --check app/static/admin.js сохраняют прежний смысл; число работ по выбранной специальности указано внутри карточки сотрудника. Фильтр сохраняется при поиске, смене страницы и экспорте XLSX. На листах «Сотрудники» и «Публикации» XLSX отдельная колонка содержит коды и названия -подтверждённых специальностей, включая выгрузку без фильтра. При выбранном фильтре -добавлены число подходящих работ сотрудника и отметка «Да/Нет» для каждой публикации. +подтверждённых специальностей, включая выгрузку без фильтра. Число подходящих работ сотрудника и отметка «Да/Нет» для каждой публикации в компактный XLSX не включаются. `app/data/k1_specialties.json` содержит все 773 журнала из `k1_journals.json`, коды действующих специальностей, ISSN, страницы и строки исходного перечня, историю diff --git a/app/services/council_export.py b/app/services/council_export.py index ea082d7..2af1815 100644 --- a/app/services/council_export.py +++ b/app/services/council_export.py @@ -1,4 +1,4 @@ -"""XLSX report containing the same public evidence as the council page.""" +"""Compact XLSX report from council data, with an explicit Q1/Q2/K1 total.""" from io import BytesIO @@ -26,63 +26,52 @@ def council_xlsx(result: dict) -> bytes: def specialties_text(codes): return "\n".join(label for code, label in specialty_labels.items() if code in codes) or "Не подтверждены" - _append(employees, ["№", "ФИО", "Учёная степень", "Q1", "Q2", "К1", "ВСЕГО", "ЛК сотрудника ВШЭ", "Все публикации", - "Профиль ВШЭ", "Примечание", "Специальности ВАК", "Работ по выбранной специальности", - "Текущая степень", "Степень подтверждена", "Пункт", "Отрасль оценки", "Минимум", - "Подтверждено", "К2 предварительно", "RSCI предварительно", "Итог", "Причины проверки"]) - _append(publications, ["№ сотрудника", "ФИО", "Название публикации", "Год", "Тип материала", "Источники", - "Критерии", "Q1", "Q2", "К1", "В ВСЕГО", "ЛК сотрудника ВШЭ", "DOI", "Ссылка на сайте", "Строки выгрузки ВШЭ", "Специальности ВАК", "По выбранной специальности", - "К2", "RSCI", "Подтверждённый зачёт", "Дата публикации", "Причины проверки", "Подтверждённые основания", - "Журнал и идентификаторы", "Квартильные категории и источники", "Аналитическая связь журнала", "Рассмотрение статьи"]) + _append(employees, ["№", "ФИО", "Научная степень", "Q1", "Q2", "К1", "К2", "Всего", + "Всего из ЛК", "Общее количество всех публикаций без дублей", "Специальности ВАК", "Профиль ВШЭ"]) + _append(publications, ["№", "ФИО", "Название", "Год", "Тип материала", "Критерии", + "Q1", "Q2", "К1", "К2", "RSCI", "Специальность ВАК", "DOI", "Ссылка на сайт"]) for number, candidate in enumerate(result["candidates"], 1): - note = "Совпадение ФИО: данные ВШЭ не присвоены автоматически" if candidate["ambiguous"] else "" specialty_codes = {code for article in candidate["articles"] for code in article["specialty_codes"]} - _append(employees, [number, candidate["name"], candidate["degree"], candidate["q1_count"], candidate["q2_count"], - candidate["k1_count"], candidate["total_count"], - candidate["db_count"], candidate["count"], - candidate["profile_url"], note, specialties_text(specialty_codes), - candidate["specialty_count"] if result["specialty"] else None, - candidate["selected_degree"], "Да" if candidate["degree_confirmed"] else "Нет", candidate["clause"], - result["branch"], candidate["minimum"], candidate["confirmed_count"], - candidate["k2_count"], candidate["rsci_count"], - candidate["assessment_status"], "; ".join(candidate["assessment_reasons"])]) + total = sum(article["q1"] or article["q2"] or article["k1"] for article in candidate["articles"]) + _append(employees, [number, candidate["name"], candidate["selected_degree"], + *[candidate[f"{key}_count"] for key in ("q1", "q2", "k1", "k2")], total, + candidate["db_count"], candidate["count"], specialties_text(specialty_codes), candidate["profile_url"]]) for article in candidate["articles"]: - _append(publications, [number, candidate["name"], article["title"], article["year"], article["type_label"], - "; ".join(article["origins"]), "; ".join(article["criteria"]), - *["Да" if article[key] else "Нет" for key in ("q1", "q2", "k1", "qualifies", "in_db")], - article["doi_url"], article["url"], ", ".join(map(str, article["rows"])), specialties_text(article["specialty_codes"]), - ("Да" if article["matches_specialty"] else "Нет") if result["specialty"] else None, - *["Да" if article[key] else "Нет" for key in ("k2", "rsci", "confirmed")], article["publication_date"], - "; ".join(article["confirmation_reasons"]), - "; ".join(f"{b['basis']} · {b.get('system', '')} · {b.get('category', '')} · {b.get('metric', '')} · год метрики {b.get('metric_year', '')} · применимо к {b['applicable_year']} · {b['source']} · {b.get('source_url') or ''}" for b in article["confirmed_bases"]), - "; ".join(f"{r['name']} · {r['id']} · ISSN {r['issn']} / {r['eissn']} · {r['catalog']}" for r in article["catalog_records"]), - "; ".join(f"{m['system']} · {m['metric']} · {m['category']} · {m['edition'] or ''} · {m['quartile']} · год метрики {m['year']} · выпуск {m['release_year'] or ''} · {m['source']} · {m['source_url'] or ''} · строка {m['source_row'] or ''} · страница {m['source_pdf_page'] or ''}" for r in article["catalog_records"] for m in r["metrics"]), - "; ".join(t for r in article["catalog_records"] for t in r["thematic"]), article["thematic_status"]]) + criteria = list(dict.fromkeys("В пределах пяти лет" if value.startswith( + ("В пределах пяти лет", "В пределах пятилетнего периода")) else value for value in article["criteria"])) + _append(publications, [number, candidate["name"], article["title"], article["year"], + article["type_label"] if article["types"] else "не указан", "; ".join(criteria), + *["Да" if article[key] else "Нет" for key in ("q1", "q2", "k1", "k2", "rsci")], + specialties_text(article["specialty_codes"]), article["doi_url"], article["url"]]) _append(parameters, ["Параметр", "Значение"]) for values in [ ["Отрасль оценки", result["branch"]], ["Период оценки", "Пять календарных лет, включая текущий год Москвы; день и месяц не учитываются"], - ["Статус счётчиков", "Q1/Q2/К1/К2/RSCI и ВСЕГО предварительные; подтверждённый зачёт показан отдельно. К2 самостоятельно допустим только для пункта 5."], + ["Статус счётчиков", "Q1/Q2/К1/К2/RSCI показывают наличие соответствующего основания у уникальной работы в календарном периоде. Это не заключение о включении сотрудника в совет; подтверждённый зачёт и причины проверки доступны на сайте."], ["Предел заключения", "Только публикационные критерии; не автоматическое включение в совет. Отсутствие доказательств не означает отсутствие публикаций."], ["Границы и виды", "Год публикации должен быть согласован между источниками; допустимость иных видов требует подтверждения. Без него соответствующие работы не подтверждают минимум."], ["Специальность ВАК", f"{result['specialty']}. — {result['specialty_name']}" if result["specialty"] else "Все специальности"], ["Подбор по специальности", "Хотя бы одна публикация за пять календарных лет в журнале К1 по Перечню ВАК на 15.09.2026 либо с ручной тематической связью; содержание статьи не проверяется."], ["Начало периода", result["start"]], ["Конец периода", result["end"]], ["Поиск по ФИО", result["q"]], ["Сортировать по", {"full_name": "ФИО", "q1_count": "Q1", "q2_count": "Q2", "k1_count": "К1", "k2_count": "К2", "rsci_count": "RSCI", "confirmed_count": "Подтверждено", - "total_count": "ВСЕГО", "db_count": "ЛК сотрудника ВШЭ", "count": "Все публикации"}[result["sort"]]], + "total_count": "ВСЕГО на сайте", "db_count": "ЛК сотрудника ВШЭ", "count": "Все публикации"}[result["sort"]]], ["Направление", "По возрастанию" if result["direction"] == "asc" else "По убыванию"], ["Сотрудников в выгрузке", result["matched"]], ["Всего сотрудников в списке", result["total"]], - ["Отбор по степени", "Высшая степень из истории: доктор выше кандидата/PhD; отсутствие подтверждения доктора не переводит оценку на пункт 6. Отсутствие публикаций не исключает сотрудника."], + ["Научная степень", "Текущая выбранная степень сотрудника: доктор выше кандидата/PhD. История степеней не перечисляется. Отсутствие публикаций не исключает сотрудника."], ["Счётчики Q1/Q2/К1", "Уникальные публикации в пятилетнем периоде по году. Q1/Q2 — отметки Scopus или Web of Science. " "День и месяц публикации не учитываются; для неизвестного типа нужно подтвердить, что это статья. " "Материалы с известным другим типом исключены. К1 — совпадение названия журнала с итоговой категорией " "в справочнике из ВАК категории.pdf; историческая категория не подтверждается. " "Без названия журнала К1 не подтверждён."], + ["К2 / RSCI", "К2 — применимое основание из текущего справочника ВАК либо проверенной записи. RSCI учитывается по отдельному источнику, отметка РИНЦ его не заменяет. Оба основания показаны в Публикациях; К2 также вынесен в Сотрудники."], ["Специальности ВАК в строках", "Коды и названия из 12 специальностей, доступных на сайте. Для публикации — справочные специальности журнала К1 либо ручная тематическая связь за пять календарных лет; для сотрудника — объединение этих специальностей без дублей. Не подтверждены — нет достаточных данных по этим правилам."], - ["Работ / По выбранной специальности", "При выбранном фильтре показаны число соответствующих публикаций сотрудника и отметка Да/Нет для каждой работы. Без фильтра ячейки пустые; список специальностей остаётся заполненным."], - ["ВСЕГО", "Предварительные уникальные работы Q1/Q2/К1/RSCI либо К2 для доктора; пересечения учитываются один раз."], - ["ЛК сотрудника ВШЭ / Все публикации", "Все годы и категории. ЛК сотрудника ВШЭ — публикации из личного кабинета. " - "Все публикации объединяет записи личного кабинета и выгрузку из базы ВШЭ без дублей; источники указаны на листе Публикации."], + ["Всего", "Число уникальных работ с хотя бы одним основанием Q1 ИЛИ Q2 ИЛИ К1. Пересечения учитываются один раз. К2 и RSCI самостоятельно не увеличивают этот столбец; итог может отличаться от общего счётчика на сайте."], + ["Всего из ЛК", "Число уникальных публикаций из личного кабинета сотрудника ВШЭ за все годы, независимо от категорий."], + ["Общее количество всех публикаций без дублей", "Все годы и категории; объединение личного кабинета сотрудника и выгрузки из базы ВШЭ без дублей. Дедупликация — по DOI либо согласованным названию и году."], + ["Лист Публикации", "Все доступные уникальные работы найденных сотрудников за все годы. № соответствует номеру сотрудника на листе Сотрудники. Отсутствующий тип — не указан; сообщение В пределах пяти лет выводится один раз."], + ["Автоматический зачёт на сайте", "Известная статья с журналом и Q1/Q2 из источника за применимый год автоматически засчитывается при согласованном годе в периоде и отсутствии конфликтов. Подтверждение степени и тематическое рассмотрение проверяются отдельно."], + ["Ручные корректировки", "Учитываются правки статьи, журнала, квартиля и специальностей из редактора. Квартиль относится к году публикации; тематическая связь журнала действует независимо от года. Ручной квартиль без источника требует проверки."], + ["Совпадение ФИО", "При одинаковом ФИО нескольких сотрудников данные выгрузки ВШЭ не присваиваются автоматически; используются записи личного кабинета каждого сотрудника."], ]: _append(parameters, values) for group in result["criteria_groups"]: @@ -95,8 +84,8 @@ def council_xlsx(result: dict) -> bytes: _append(parameters, ["Проверка каталога", issue]) for meta in result["category_metadata"]: _append(parameters, [meta["file"], f"Источник {meta['source']}; SHA-256 {meta['source_sha256']}; проверено строк {meta['source_rows']}"]) - for sheet, widths in [(employees, [7, 34, 40, 10, 10, 10, 12, 20, 22, 45, 55, 80, 28, 40, 20, 10, 28, 12, 16, 16, 16, 50, 70]), - (publications, [16, 34, 65, 12, 40, 45, 65, 10, 10, 10, 12, 20, 45, 45, 22, 80, 28, 10, 10, 20, 18, 70, 75, 60, 90, 75, 60]), + for sheet, widths in [(employees, [7, 34, 40, 10, 10, 10, 10, 12, 18, 28, 70, 45]), + (publications, [7, 34, 65, 12, 24, 80, 10, 10, 10, 10, 10, 70, 45, 45]), (parameters, [32, 95])]: sheet.freeze_panes = "A2" sheet.auto_filter.ref = sheet.dimensions diff --git a/app/version.py b/app/version.py index 5e0863a..6a17eff 100644 --- a/app/version.py +++ b/app/version.py @@ -1,3 +1,3 @@ -APP_VERSION = "0.20.0" -FRONTEND_VERSION = "0.20.0" -BACKEND_VERSION = "0.20.0" +APP_VERSION = "1.0.0" +FRONTEND_VERSION = "1.0.0" +BACKEND_VERSION = "1.0.0" diff --git a/docs/council-evidence.md b/docs/council-evidence.md index 114a8b8..9fb91e0 100644 --- a/docs/council-evidence.md +++ b/docs/council-evidence.md @@ -6,7 +6,7 @@ ## Хранение и привязка -Файл предназначен для проверенных администратором записей и не обслуживается как публичный файл. Он отделён от `current_data` и `raw_data`, которые перезаписывает парсер; миграция БД не требуется. Перед заменой заполненного файла сохраните его резервную копию. Не помещайте в репозиторий сканы дипломов, контакты, секреты и текст непубличных документов. В `source` храните короткую ссылку на запись проверки или публичный источник. Подтверждения степени целиком и их внутренние ссылки не выводятся публично; основания публикаций и ссылки `source_url` видны на странице и в XLSX. +Файл предназначен для проверенных администратором записей и не обслуживается как публичный файл. Он отделён от `current_data` и `raw_data`, которые перезаписывает парсер; миграция БД не требуется. Перед заменой заполненного файла сохраните его резервную копию. Не помещайте в репозиторий сканы дипломов, контакты, секреты и текст непубличных документов. В `source` храните короткую ссылку на запись проверки или публичный источник. Подтверждения степени целиком и их внутренние ссылки не выводятся публично; основания публикаций и ссылки `source_url` видны на странице. Компактный XLSX содержит только выбранные столбцы; подробные подтверждения и причины проверки в него не включаются. Экспортный «Всего» считает уникальное объединение Q1/Q2/К1 без самостоятельных К2/RSCI. Ключ сотрудника — точный `employees.profile_key`, не ФИО. Публикация привязывается внутри сотрудника по нормализованному DOI (`10.…`, без URL, в нижнем регистре) либо точному `employee_publications.source_hash`. Если записаны оба идентификатора, они должны обозначать одну работу. После изменения исходных записей проверяйте актуальность привязки; ФИО и нечёткое название не используются для ручных подтверждений. Несколько записей сохраняются как независимые доказательства; существенные конфликты дат, видов, категорий и идентичности требуют проверки. diff --git a/pyproject.toml b/pyproject.toml index ea0f71e..e089cea 100644 --- a/pyproject.toml +++ b/pyproject.toml @@ -1,6 +1,6 @@ [project] name = "miem-workers" -version = "0.20.0" +version = "1.0.0" description = "MIEM employees parser, admin API, and web admin" requires-python = ">=3.11" dependencies = [ diff --git a/tests/browser_council.py b/tests/browser_council.py index e322ee7..d0b3e1f 100644 --- a/tests/browser_council.py +++ b/tests/browser_council.py @@ -163,7 +163,7 @@ def main(): assert dict(filtered["Параметры"].values)["Специальность ВАК"].startswith("1.2.2.") headers = {cell.value: cell.column for cell in filtered["Сотрудники"][1]} assert filtered["Сотрудники"].cell(2, headers["Специальности ВАК"]).value.startswith("1.2.2.") - assert filtered["Сотрудники"].cell(2, headers["Работ по выбранной специальности"]).value == 1 + assert "Работ по выбранной специальности" not in headers pending_download.value.save_as(str(output / "specialty-export.xlsx")) page.get_by_label("Специальность ВАК").select_option("") page.get_by_label("Поиск по ФИО").fill("Сотрудник 25") diff --git a/tests/test_api.py b/tests/test_api.py index 0f0f0a2..92e1b7f 100644 --- a/tests/test_api.py +++ b/tests/test_api.py @@ -18,7 +18,7 @@ def test_health_returns_versions(): response = TestClient(app).get("/api/health") assert response.status_code == 200 - assert response.json()["backend_version"] == "0.20.0" + assert response.json()["backend_version"] == "1.0.0" def test_api_employees_and_stats_require_admin_session(): diff --git a/tests/test_council.py b/tests/test_council.py index 116c79b..9212b64 100644 --- a/tests/test_council.py +++ b/tests/test_council.py @@ -219,7 +219,7 @@ def test_public_page_data_minimization_and_safe_links(db_session, export): assert "<script>" in response.text and "