feat!: simplify council XLSX report columns
CI / test (pull_request) Successful in 9m30s
CI / Fingerprint diagnostics (production deployment temporarily disabled) (pull_request) Has been skipped

This commit is contained in:
codex committed 2026-10-09 13:05:30 +03:00
1 parent 9910fc77d6
commit f4fb966b78
9 files changed
+110 -81

No files matched your search

+4 -3
View File
@@ -110,7 +110,9 @@ Compose запускает `api`, `worker` и `postgres`. API привязан
Подтверждения хранятся отдельно от перезаписываемых парсером данных, в `app/data/council_evidence.json`; по умолчанию файл пустой. Формат, привязка к сотруднику/работе, правила конфликта, монографии и нормативные уточнения: [docs/council-evidence.md](docs/council-evidence.md). Непубличные документы и контакты на страницу не выводятся. РИНЦ или поле `hse_list` не подтверждают RSCI. Неизвестные виды, конфликтующие годы и неподтверждённые основания не создают положительного заключения. Подтверждения хранятся отдельно от перезаписываемых парсером данных, в `app/data/council_evidence.json`; по умолчанию файл пустой. Формат, привязка к сотруднику/работе, правила конфликта, монографии и нормативные уточнения: [docs/council-evidence.md](docs/council-evidence.md). Непубличные документы и контакты на страницу не выводятся. РИНЦ или поле `hse_list` не подтверждают RSCI. Неизвестные виды, конфликтующие годы и неподтверждённые основания не создают положительного заключения.
Доступны поиск, сортировка, страницы по 25 сотрудников и XLSX всех найденных сотрудников. Отрасль и остальные параметры сохраняются при переходах и экспорте. Листы «Сотрудники», «Публикации» и «Параметры» используют тот же расчёт, включают причины проверки и источники; внешние ссылки проверяются, строки не выполняются как формулы Excel. Фильтр специальности по журналам К1 и ручным тематическим связям остаётся отдельным вспомогательным подбором с ограниченным охватом, а не условием соответствия пунктам 5–6. Доступны поиск, сортировка, страницы по 25 сотрудников и XLSX всех найденных сотрудников. Отрасль и остальные параметры сохраняются при переходах и экспорте. XLSX содержит компактные листы «Сотрудники» (12 столбцов) и «Публикации» (14 столбцов), а правила и выбранные фильтры вынесены в «Параметры»; внешние ссылки проверяются, строки не выполняются как формулы Excel. Фильтр специальности по журналам К1 и ручным тематическим связям остаётся отдельным вспомогательным подбором с ограниченным охватом, а не условием соответствия пунктам 5–6.
В XLSX «Научная степень» — текущая выбранная степень, а «Всего» — уникальное объединение Q1 ИЛИ Q2 ИЛИ К1; отдельные К2/RSCI не увеличивают этот столбец. Поэтому экспортный итог может отличаться от общего счётчика сайта. «Всего из ЛК» и «Общее количество всех публикаций без дублей» учитывают все годы. Отсутствующий тип материала обозначается «не указан», положительное сообщение о периоде объединяется в «В пределах пяти лет». Версия 1.0.0 меняет набор и порядок столбцов несовместимо с прежними шаблонами обработки XLSX.
После изменения JSON/PDF пересоберите образ и пересоздайте API: данные включены в образ и кешируются в процессе. После изменения JSON/PDF пересоберите образ и пересоздайте API: данные включены в образ и кешируются в процессе.
@@ -184,8 +186,7 @@ node --check app/static/admin.js
сохраняют прежний смысл; число работ по выбранной специальности указано внутри сохраняют прежний смысл; число работ по выбранной специальности указано внутри
карточки сотрудника. Фильтр сохраняется при поиске, смене страницы и экспорте XLSX. карточки сотрудника. Фильтр сохраняется при поиске, смене страницы и экспорте XLSX.
На листах «Сотрудники» и «Публикации» XLSX отдельная колонка содержит коды и названия На листах «Сотрудники» и «Публикации» XLSX отдельная колонка содержит коды и названия
подтверждённых специальностей, включая выгрузку без фильтра. При выбранном фильтре подтверждённых специальностей, включая выгрузку без фильтра. Число подходящих работ сотрудника и отметка «Да/Нет» для каждой публикации в компактный XLSX не включаются.
добавлены число подходящих работ сотрудника и отметка «Да/Нет» для каждой публикации.
`app/data/k1_specialties.json` содержит все 773 журнала из `k1_journals.json`, коды `app/data/k1_specialties.json` содержит все 773 журнала из `k1_journals.json`, коды
действующих специальностей, ISSN, страницы и строки исходного перечня, историю действующих специальностей, ISSN, страницы и строки исходного перечня, историю
+28 -39
View File
@@ -1,4 +1,4 @@
"""XLSX report containing the same public evidence as the council page.""" """Compact XLSX report from council data, with an explicit Q1/Q2/K1 total."""
from io import BytesIO from io import BytesIO
@@ -26,63 +26,52 @@ def council_xlsx(result: dict) -> bytes:
def specialties_text(codes): def specialties_text(codes):
return "\n".join(label for code, label in specialty_labels.items() if code in codes) or "Не подтверждены" return "\n".join(label for code, label in specialty_labels.items() if code in codes) or "Не подтверждены"
_append(employees, ["№", "ФИО", "Учёная степень", "Q1", "Q2", "К1", "ВСЕГО", "ЛК сотрудника ВШЭ", "Все публикации", _append(employees, ["№", "ФИО", "Научная степень", "Q1", "Q2", "К1", "К2", "Всего",
"Профиль ВШЭ", "Примечание", "Специальности ВАК", "Работ по выбранной специальности", "Всего из ЛК", "Общее количество всех публикаций без дублей", "Специальности ВАК", "Профиль ВШЭ"])
"Текущая степень", "Степень подтверждена", "Пункт", "Отрасль оценки", "Минимум", _append(publications, ["№", "ФИО", "Название", "Год", "Тип материала", "Критерии",
"Подтверждено", "К2 предварительно", "RSCI предварительно", "Итог", "Причины проверки"]) "Q1", "Q2", "К1", "К2", "RSCI", "Специальность ВАК", "DOI", "Ссылка на сайт"])
_append(publications, ["№ сотрудника", "ФИО", "Название публикации", "Год", "Тип материала", "Источники",
"Критерии", "Q1", "Q2", "К1", "В ВСЕГО", "ЛК сотрудника ВШЭ", "DOI", "Ссылка на сайте", "Строки выгрузки ВШЭ", "Специальности ВАК", "По выбранной специальности",
"К2", "RSCI", "Подтверждённый зачёт", "Дата публикации", "Причины проверки", "Подтверждённые основания",
"Журнал и идентификаторы", "Квартильные категории и источники", "Аналитическая связь журнала", "Рассмотрение статьи"])
for number, candidate in enumerate(result["candidates"], 1): for number, candidate in enumerate(result["candidates"], 1):
note = "Совпадение ФИО: данные ВШЭ не присвоены автоматически" if candidate["ambiguous"] else ""
specialty_codes = {code for article in candidate["articles"] for code in article["specialty_codes"]} specialty_codes = {code for article in candidate["articles"] for code in article["specialty_codes"]}
_append(employees, [number, candidate["name"], candidate["degree"], candidate["q1_count"], candidate["q2_count"], total = sum(article["q1"] or article["q2"] or article["k1"] for article in candidate["articles"])
candidate["k1_count"], candidate["total_count"], _append(employees, [number, candidate["name"], candidate["selected_degree"],
candidate["db_count"], candidate["count"], *[candidate[f"{key}_count"] for key in ("q1", "q2", "k1", "k2")], total,
candidate["profile_url"], note, specialties_text(specialty_codes), candidate["db_count"], candidate["count"], specialties_text(specialty_codes), candidate["profile_url"]])
candidate["specialty_count"] if result["specialty"] else None,
candidate["selected_degree"], "Да" if candidate["degree_confirmed"] else "Нет", candidate["clause"],
result["branch"], candidate["minimum"], candidate["confirmed_count"],
candidate["k2_count"], candidate["rsci_count"],
candidate["assessment_status"], "; ".join(candidate["assessment_reasons"])])
for article in candidate["articles"]: for article in candidate["articles"]:
_append(publications, [number, candidate["name"], article["title"], article["year"], article["type_label"], criteria = list(dict.fromkeys("В пределах пяти лет" if value.startswith(
"; ".join(article["origins"]), "; ".join(article["criteria"]), ("В пределах пяти лет", "В пределах пятилетнего периода")) else value for value in article["criteria"]))
*["Да" if article[key] else "Нет" for key in ("q1", "q2", "k1", "qualifies", "in_db")], _append(publications, [number, candidate["name"], article["title"], article["year"],
article["doi_url"], article["url"], ", ".join(map(str, article["rows"])), specialties_text(article["specialty_codes"]), article["type_label"] if article["types"] else "не указан", "; ".join(criteria),
("Да" if article["matches_specialty"] else "Нет") if result["specialty"] else None, *["Да" if article[key] else "Нет" for key in ("q1", "q2", "k1", "k2", "rsci")],
*["Да" if article[key] else "Нет" for key in ("k2", "rsci", "confirmed")], article["publication_date"], specialties_text(article["specialty_codes"]), article["doi_url"], article["url"]])
"; ".join(article["confirmation_reasons"]),
"; ".join(f"{b['basis']} · {b.get('system', '')} · {b.get('category', '')} · {b.get('metric', '')} · год метрики {b.get('metric_year', '')} · применимо к {b['applicable_year']} · {b['source']} · {b.get('source_url') or ''}" for b in article["confirmed_bases"]),
"; ".join(f"{r['name']} · {r['id']} · ISSN {r['issn']} / {r['eissn']} · {r['catalog']}" for r in article["catalog_records"]),
"; ".join(f"{m['system']} · {m['metric']} · {m['category']} · {m['edition'] or ''} · {m['quartile']} · год метрики {m['year']} · выпуск {m['release_year'] or ''} · {m['source']} · {m['source_url'] or ''} · строка {m['source_row'] or ''} · страница {m['source_pdf_page'] or ''}" for r in article["catalog_records"] for m in r["metrics"]),
"; ".join(t for r in article["catalog_records"] for t in r["thematic"]), article["thematic_status"]])
_append(parameters, ["Параметр", "Значение"]) _append(parameters, ["Параметр", "Значение"])
for values in [ for values in [
["Отрасль оценки", result["branch"]], ["Отрасль оценки", result["branch"]],
["Период оценки", "Пять календарных лет, включая текущий год Москвы; день и месяц не учитываются"], ["Период оценки", "Пять календарных лет, включая текущий год Москвы; день и месяц не учитываются"],
["Статус счётчиков", "Q1/Q2/К1/К2/RSCI и ВСЕГО предварительные; подтверждённый зачёт показан отдельно. К2 самостоятельно допустим только для пункта 5."], ["Статус счётчиков", "Q1/Q2/К1/К2/RSCI показывают наличие соответствующего основания у уникальной работы в календарном периоде. Это не заключение о включении сотрудника в совет; подтверждённый зачёт и причины проверки доступны на сайте."],
["Предел заключения", "Только публикационные критерии; не автоматическое включение в совет. Отсутствие доказательств не означает отсутствие публикаций."], ["Предел заключения", "Только публикационные критерии; не автоматическое включение в совет. Отсутствие доказательств не означает отсутствие публикаций."],
["Границы и виды", "Год публикации должен быть согласован между источниками; допустимость иных видов требует подтверждения. Без него соответствующие работы не подтверждают минимум."], ["Границы и виды", "Год публикации должен быть согласован между источниками; допустимость иных видов требует подтверждения. Без него соответствующие работы не подтверждают минимум."],
["Специальность ВАК", f"{result['specialty']}. — {result['specialty_name']}" if result["specialty"] else "Все специальности"], ["Специальность ВАК", f"{result['specialty']}. — {result['specialty_name']}" if result["specialty"] else "Все специальности"],
["Подбор по специальности", "Хотя бы одна публикация за пять календарных лет в журнале К1 по Перечню ВАК на 15.09.2026 либо с ручной тематической связью; содержание статьи не проверяется."], ["Подбор по специальности", "Хотя бы одна публикация за пять календарных лет в журнале К1 по Перечню ВАК на 15.09.2026 либо с ручной тематической связью; содержание статьи не проверяется."],
["Начало периода", result["start"]], ["Конец периода", result["end"]], ["Поиск по ФИО", result["q"]], ["Начало периода", result["start"]], ["Конец периода", result["end"]], ["Поиск по ФИО", result["q"]],
["Сортировать по", {"full_name": "ФИО", "q1_count": "Q1", "q2_count": "Q2", "k1_count": "К1", "k2_count": "К2", "rsci_count": "RSCI", "confirmed_count": "Подтверждено", ["Сортировать по", {"full_name": "ФИО", "q1_count": "Q1", "q2_count": "Q2", "k1_count": "К1", "k2_count": "К2", "rsci_count": "RSCI", "confirmed_count": "Подтверждено",
"total_count": "ВСЕГО", "db_count": "ЛК сотрудника ВШЭ", "count": "Все публикации"}[result["sort"]]], "total_count": "ВСЕГО на сайте", "db_count": "ЛК сотрудника ВШЭ", "count": "Все публикации"}[result["sort"]]],
["Направление", "По возрастанию" if result["direction"] == "asc" else "По убыванию"], ["Направление", "По возрастанию" if result["direction"] == "asc" else "По убыванию"],
["Сотрудников в выгрузке", result["matched"]], ["Всего сотрудников в списке", result["total"]], ["Сотрудников в выгрузке", result["matched"]], ["Всего сотрудников в списке", result["total"]],
["Отбор по степени", "Высшая степень из истории: доктор выше кандидата/PhD; отсутствие подтверждения доктора не переводит оценку на пункт 6. Отсутствие публикаций не исключает сотрудника."], ["Научная степень", "Текущая выбранная степень сотрудника: доктор выше кандидата/PhD. История степеней не перечисляется. Отсутствие публикаций не исключает сотрудника."],
["Счётчики Q1/Q2/К1", "Уникальные публикации в пятилетнем периоде по году. Q1/Q2 — отметки Scopus или Web of Science. " ["Счётчики Q1/Q2/К1", "Уникальные публикации в пятилетнем периоде по году. Q1/Q2 — отметки Scopus или Web of Science. "
"День и месяц публикации не учитываются; для неизвестного типа нужно подтвердить, что это статья. " "День и месяц публикации не учитываются; для неизвестного типа нужно подтвердить, что это статья. "
"Материалы с известным другим типом исключены. К1 — совпадение названия журнала с итоговой категорией " "Материалы с известным другим типом исключены. К1 — совпадение названия журнала с итоговой категорией "
"в справочнике из ВАК категории.pdf; историческая категория не подтверждается. " "в справочнике из ВАК категории.pdf; историческая категория не подтверждается. "
"Без названия журнала К1 не подтверждён."], "Без названия журнала К1 не подтверждён."],
["К2 / RSCI", "К2 — применимое основание из текущего справочника ВАК либо проверенной записи. RSCI учитывается по отдельному источнику, отметка РИНЦ его не заменяет. Оба основания показаны в Публикациях; К2 также вынесен в Сотрудники."],
["Специальности ВАК в строках", "Коды и названия из 12 специальностей, доступных на сайте. Для публикации — справочные специальности журнала К1 либо ручная тематическая связь за пять календарных лет; для сотрудника — объединение этих специальностей без дублей. Не подтверждены — нет достаточных данных по этим правилам."], ["Специальности ВАК в строках", "Коды и названия из 12 специальностей, доступных на сайте. Для публикации — справочные специальности журнала К1 либо ручная тематическая связь за пять календарных лет; для сотрудника — объединение этих специальностей без дублей. Не подтверждены — нет достаточных данных по этим правилам."],
["Работ / По выбранной специальности", "При выбранном фильтре показаны число соответствующих публикаций сотрудника и отметка Да/Нет для каждой работы. Без фильтра ячейки пустые; список специальностей остаётся заполненным."], ["Всего", "Число уникальных работ с хотя бы одним основанием Q1 ИЛИ Q2 ИЛИ К1. Пересечения учитываются один раз. К2 и RSCI самостоятельно не увеличивают этот столбец; итог может отличаться от общего счётчика на сайте."],
["ВСЕГО", "Предварительные уникальные работы Q1/Q2/К1/RSCI либо К2 для доктора; пересечения учитываются один раз."], ["Всего из ЛК", "Число уникальных публикаций из личного кабинета сотрудника ВШЭ за все годы, независимо от категорий."],
["ЛК сотрудника ВШЭ / Все публикации", "Все годы и категории. ЛК сотрудника ВШЭ — публикации из личного кабинета. " ["Общее количество всех публикаций без дублей", "Все годы и категории; объединение личного кабинета сотрудника и выгрузки из базы ВШЭ без дублей. Дедупликация — по DOI либо согласованным названию и году."],
"Все публикации объединяет записи личного кабинета и выгрузку из базы ВШЭ без дублей; источники указаны на листе Публикации."], ["Лист Публикации", "Все доступные уникальные работы найденных сотрудников за все годы. № соответствует номеру сотрудника на листе Сотрудники. Отсутствующий тип — не указан; сообщение В пределах пяти лет выводится один раз."],
["Автоматический зачёт на сайте", "Известная статья с журналом и Q1/Q2 из источника за применимый год автоматически засчитывается при согласованном годе в периоде и отсутствии конфликтов. Подтверждение степени и тематическое рассмотрение проверяются отдельно."],
["Ручные корректировки", "Учитываются правки статьи, журнала, квартиля и специальностей из редактора. Квартиль относится к году публикации; тематическая связь журнала действует независимо от года. Ручной квартиль без источника требует проверки."],
["Совпадение ФИО", "При одинаковом ФИО нескольких сотрудников данные выгрузки ВШЭ не присваиваются автоматически; используются записи личного кабинета каждого сотрудника."],
]: ]:
_append(parameters, values) _append(parameters, values)
for group in result["criteria_groups"]: for group in result["criteria_groups"]:
@@ -95,8 +84,8 @@ def council_xlsx(result: dict) -> bytes:
_append(parameters, ["Проверка каталога", issue]) _append(parameters, ["Проверка каталога", issue])
for meta in result["category_metadata"]: for meta in result["category_metadata"]:
_append(parameters, [meta["file"], f"Источник {meta['source']}; SHA-256 {meta['source_sha256']}; проверено строк {meta['source_rows']}"]) _append(parameters, [meta["file"], f"Источник {meta['source']}; SHA-256 {meta['source_sha256']}; проверено строк {meta['source_rows']}"])
for sheet, widths in [(employees, [7, 34, 40, 10, 10, 10, 12, 20, 22, 45, 55, 80, 28, 40, 20, 10, 28, 12, 16, 16, 16, 50, 70]), for sheet, widths in [(employees, [7, 34, 40, 10, 10, 10, 10, 12, 18, 28, 70, 45]),
(publications, [16, 34, 65, 12, 40, 45, 65, 10, 10, 10, 12, 20, 45, 45, 22, 80, 28, 10, 10, 20, 18, 70, 75, 60, 90, 75, 60]), (publications, [7, 34, 65, 12, 24, 80, 10, 10, 10, 10, 10, 70, 45, 45]),
(parameters, [32, 95])]: (parameters, [32, 95])]:
sheet.freeze_panes = "A2" sheet.freeze_panes = "A2"
sheet.auto_filter.ref = sheet.dimensions sheet.auto_filter.ref = sheet.dimensions
+3 -3
View File
@@ -1,3 +1,3 @@
APP_VERSION = "0.20.0" APP_VERSION = "1.0.0"
FRONTEND_VERSION = "0.20.0" FRONTEND_VERSION = "1.0.0"
BACKEND_VERSION = "0.20.0" BACKEND_VERSION = "1.0.0"
+1 -1
View File
@@ -6,7 +6,7 @@
## Хранение и привязка ## Хранение и привязка
Файл предназначен для проверенных администратором записей и не обслуживается как публичный файл. Он отделён от `current_data` и `raw_data`, которые перезаписывает парсер; миграция БД не требуется. Перед заменой заполненного файла сохраните его резервную копию. Не помещайте в репозиторий сканы дипломов, контакты, секреты и текст непубличных документов. В `source` храните короткую ссылку на запись проверки или публичный источник. Подтверждения степени целиком и их внутренние ссылки не выводятся публично; основания публикаций и ссылки `source_url` видны на странице и в XLSX. Файл предназначен для проверенных администратором записей и не обслуживается как публичный файл. Он отделён от `current_data` и `raw_data`, которые перезаписывает парсер; миграция БД не требуется. Перед заменой заполненного файла сохраните его резервную копию. Не помещайте в репозиторий сканы дипломов, контакты, секреты и текст непубличных документов. В `source` храните короткую ссылку на запись проверки или публичный источник. Подтверждения степени целиком и их внутренние ссылки не выводятся публично; основания публикаций и ссылки `source_url` видны на странице. Компактный XLSX содержит только выбранные столбцы; подробные подтверждения и причины проверки в него не включаются. Экспортный «Всего» считает уникальное объединение Q1/Q2/К1 без самостоятельных К2/RSCI.
Ключ сотрудника — точный `employees.profile_key`, не ФИО. Публикация привязывается внутри сотрудника по нормализованному DOI (`10.…`, без URL, в нижнем регистре) либо точному `employee_publications.source_hash`. Если записаны оба идентификатора, они должны обозначать одну работу. После изменения исходных записей проверяйте актуальность привязки; ФИО и нечёткое название не используются для ручных подтверждений. Несколько записей сохраняются как независимые доказательства; существенные конфликты дат, видов, категорий и идентичности требуют проверки. Ключ сотрудника — точный `employees.profile_key`, не ФИО. Публикация привязывается внутри сотрудника по нормализованному DOI (`10.…`, без URL, в нижнем регистре) либо точному `employee_publications.source_hash`. Если записаны оба идентификатора, они должны обозначать одну работу. После изменения исходных записей проверяйте актуальность привязки; ФИО и нечёткое название не используются для ручных подтверждений. Несколько записей сохраняются как независимые доказательства; существенные конфликты дат, видов, категорий и идентичности требуют проверки.
+1 -1
View File
@@ -1,6 +1,6 @@
[project] [project]
name = "miem-workers" name = "miem-workers"
version = "0.20.0" version = "1.0.0"
description = "MIEM employees parser, admin API, and web admin" description = "MIEM employees parser, admin API, and web admin"
requires-python = ">=3.11" requires-python = ">=3.11"
dependencies = [ dependencies = [
+1 -1
View File
@@ -163,7 +163,7 @@ def main():
assert dict(filtered["Параметры"].values)["Специальность ВАК"].startswith("1.2.2.") assert dict(filtered["Параметры"].values)["Специальность ВАК"].startswith("1.2.2.")
headers = {cell.value: cell.column for cell in filtered["Сотрудники"][1]} headers = {cell.value: cell.column for cell in filtered["Сотрудники"][1]}
assert filtered["Сотрудники"].cell(2, headers["Специальности ВАК"]).value.startswith("1.2.2.") assert filtered["Сотрудники"].cell(2, headers["Специальности ВАК"]).value.startswith("1.2.2.")
assert filtered["Сотрудники"].cell(2, headers["Работ по выбранной специальности"]).value == 1 assert "Работ по выбранной специальности" not in headers
pending_download.value.save_as(str(output / "specialty-export.xlsx")) pending_download.value.save_as(str(output / "specialty-export.xlsx"))
page.get_by_label("Специальность ВАК").select_option("") page.get_by_label("Специальность ВАК").select_option("")
page.get_by_label("Поиск по ФИО").fill("Сотрудник 25") page.get_by_label("Поиск по ФИО").fill("Сотрудник 25")
+1 -1
View File
@@ -18,7 +18,7 @@ def test_health_returns_versions():
response = TestClient(app).get("/api/health") response = TestClient(app).get("/api/health")
assert response.status_code == 200 assert response.status_code == 200
assert response.json()["backend_version"] == "0.20.0" assert response.json()["backend_version"] == "1.0.0"
def test_api_employees_and_stats_require_admin_session(): def test_api_employees_and_stats_require_admin_session():
+57 -23
View File
@@ -219,7 +219,7 @@ def test_public_page_data_minimization_and_safe_links(db_session, export):
assert "&lt;script&gt;" in response.text and "<script>" not in response.text assert "&lt;script&gt;" in response.text and "<script>" not in response.text
assert "javascript:" not in response.text and "private@example.org" not in response.text assert "javascript:" not in response.text and "private@example.org" not in response.text
assert "/admin/employees/" not in response.text and "/admin/logout" not in response.text assert "/admin/employees/" not in response.text and "/admin/logout" not in response.text
assert "Backend 0.20.0 · Frontend 0.20.0" in response.text assert "Backend 1.0.0 · Frontend 1.0.0" in response.text
assert "Вход в админку" in response.text assert "Вход в админку" in response.text
assert client.get("/admin/directory", follow_redirects=False).status_code in (302, 303, 401, 403) assert client.get("/admin/directory", follow_redirects=False).status_code in (302, 303, 401, 403)
assert "Сотрудники не найдены" in client.get("/admin/council?q=missing").text assert "Сотрудники не найдены" in client.get("/admin/council?q=missing").text
@@ -262,21 +262,23 @@ def test_xlsx_exports_all_filtered_workers_in_order_and_deduplicated_evidence(db
book = load_workbook(BytesIO(response.content)) book = load_workbook(BytesIO(response.content))
assert book.sheetnames == ["Сотрудники", "Публикации", "Параметры"] assert book.sheetnames == ["Сотрудники", "Публикации", "Параметры"]
people, works = book["Сотрудники"], book["Публикации"] people, works = book["Сотрудники"], book["Публикации"]
assert [cell.value for cell in people[1]][:13] == [ assert [cell.value for cell in people[1]] == [
"№", "ФИО", "Учёная степень", "Q1", "Q2", "К1", "ВСЕГО", "ЛК сотрудника ВШЭ", "Все публикации", "№", "ФИО", "Научная степень", "Q1", "Q2", "К1", "К2", "Всего", "Всего из ЛК",
"Профиль ВШЭ", "Примечание", "Специальности ВАК", "Работ по выбранной специальности" "Общее количество всех публикаций без дублей", "Специальности ВАК", "Профиль ВШЭ"
] ]
assert people["J2"].value == "https://www.hse.ru/staff/test" assert [cell.value for cell in works[1]] == [
assert people["K2"].value is None "№", "ФИО", "Название", "Год", "Тип материала", "Критерии", "Q1", "Q2", "К1", "К2",
assert people.max_column == 23 "RSCI", "Специальность ВАК", "DOI", "Ссылка на сайт"
assert works["L1"].value == "ЛК сотрудника ВШЭ" ]
assert people["L2"].value == "https://www.hse.ru/staff/test"
assert people.max_column == 12 and works.max_column == 14
assert people.max_row == 29 and works.max_row == 29 assert people.max_row == 29 and works.max_row == 29
assert people["B2"].value == "Петров 27" and people["B29"].value == "Петров 00" assert people["B2"].value == "Петров 27" and people["B29"].value == "Петров 00"
assert [people.cell(2, n).value for n in [4, 5, 6, 7, 8, 9]] == [1, 1, 0, 1, 1, 1] assert [people.cell(2, n).value for n in range(4, 11)] == [1, 1, 0, 0, 1, 1, 1]
assert works["C2"].value == "Shared work" and works["E2"].value == "Статья" assert works["C2"].value == "Shared work" and works["E2"].value == "Статья"
assert "Данные ВШЭ" in works["F2"].value and "ЛК сотрудника ВШЭ" in works["F2"].value assert "Scopus Q1" in works["F2"].value and "Web of Science Q2" in works["F2"].value
assert "Scopus Q1" in works["G2"].value and "Web of Science Q2" in works["G2"].value assert works["M2"].value == "https://doi.org/10.1234/shared"
assert works["M2"].value == "https://doi.org/10.1234/shared" and works["O2"].value == "2, 3" assert works["N2"].value == "https://publications.hse.ru/view/27"
assert people["D2"].data_type == "n" and people.freeze_panes == "A2" assert people["D2"].data_type == "n" and people.freeze_panes == "A2"
assert works.auto_filter.ref == works.dimensions assert works.auto_filter.ref == works.dimensions
text = " ".join(str(cell.value) for sheet in book for row in sheet for cell in row) text = " ".join(str(cell.value) for sheet in book for row in sheet for cell in row)
@@ -388,7 +390,7 @@ def test_renamed_k1_journal_matches_current_and_documented_previous_name(db_sess
assert f"К1 · {canonical} (справочник ВАК)" in candidate["articles"][0]["criteria"] assert f"К1 · {canonical} (справочник ВАК)" in candidate["articles"][0]["criteria"]
from app.services.council_export import council_xlsx from app.services.council_export import council_xlsx
book = load_workbook(BytesIO(council_xlsx(result))) book = load_workbook(BytesIO(council_xlsx(result)))
assert [book["Сотрудники"].cell(2, column).value for column in (6, 7)] == [1, 1] assert [book["Сотрудники"].cell(2, column).value for column in (6, 8)] == [1, 1]
def test_k1_rename_note_is_preserved_separately(): def test_k1_rename_note_is_preserved_separately():
@@ -450,10 +452,10 @@ def test_sort_category_counters_and_xlsx(db_session, export, sort, direction):
from app.services.council_export import council_xlsx from app.services.council_export import council_xlsx
book = load_workbook(BytesIO(council_xlsx(result))) book = load_workbook(BytesIO(council_xlsx(result)))
headers = [cell.value for cell in book["Сотрудники"][1]] headers = [cell.value for cell in book["Сотрудники"][1]]
assert headers[3:7] == ["Q1", "Q2", "К1", "ВСЕГО"] assert headers[3:8] == ["Q1", "Q2", "К1", "К2", "Всего"]
assert "CSV по критериям" not in headers assert "CSV по критериям" not in headers
anna_row = 3 if direction == "asc" else 2 anna_row = 3 if direction == "asc" else 2
assert [book["Сотрудники"].cell(anna_row, column).value for column in range(4, 8)] == [1, 1, 1, 1] assert [book["Сотрудники"].cell(anna_row, column).value for column in range(4, 9)] == [1, 1, 1, 0, 1]
def test_specialty_filters_use_eligible_source_journal_not_merged_evidence(db_session, export): def test_specialty_filters_use_eligible_source_journal_not_merged_evidence(db_session, export):
@@ -510,7 +512,7 @@ def test_specialty_page_pagination_search_and_export_agree(db_session, export):
assert book["Сотрудники"].max_row == 29 assert book["Сотрудники"].max_row == 29
params = dict(book["Параметры"].values) params = dict(book["Параметры"].values)
assert params["Специальность ВАК"].startswith("1.2.2.") assert params["Специальность ВАК"].startswith("1.2.2.")
assert "По специальности 1.2.2" in book["Публикации"]["G2"].value assert "По специальности 1.2.2" in book["Публикации"]["F2"].value
empty = client.get("/admin/council?specialty=2.2.14") empty = client.get("/admin/council?specialty=2.2.14")
assert "Сотрудники не найдены" in empty.text assert "Сотрудники не найдены" in empty.text
finally: finally:
@@ -561,18 +563,17 @@ def test_xlsx_specialties_are_explicit_with_and_without_filter(db_session, expor
assert 'Математическое моделирование' in candidate['Специальности ВАК'] assert 'Математическое моделирование' in candidate['Специальности ВАК']
assert '2.3.5.' in candidate['Специальности ВАК'] assert '2.3.5.' in candidate['Специальности ВАК']
assert '5.2.2.' not in candidate['Специальности ВАК'] # Only the site's twelve specialties. assert '5.2.2.' not in candidate['Специальности ВАК'] # Only the site's twelve specialties.
assert candidate['Работ по выбранной специальности'] == (2 if specialty else None) assert 'Работ по выбранной специальности' not in staff[0]
records = {values[2]: dict(zip(works[0], values)) for values in works[1:]} records = {values[2]: dict(zip(works[0], values)) for values in works[1:]}
assert '1.2.2.' in records['Matching']['Специальности ВАК'] assert '1.2.2.' in records['Matching']['Специальность ВАК']
assert records['Matching']['По выбранной специальности'] == ('Да' if specialty else None) assert 'По выбранной специальности' not in works[0]
for title in ('Book', 'Unknown journal', 'Old journal'): for title in ('Book', 'Unknown journal', 'Old journal'):
assert records[title]['Специальности ВАК'] == 'Не подтверждены' assert records[title]['Специальность ВАК'] == 'Не подтверждены'
assert records[title]['По выбранной специальности'] == ('Нет' if specialty else None)
if not specialty: if not specialty:
unmatched = next(dict(zip(staff[0], values)) for values in staff[1:] if values[1] == other.full_name) unmatched = next(dict(zip(staff[0], values)) for values in staff[1:] if values[1] == other.full_name)
assert unmatched['Специальности ВАК'] == 'Не подтверждены' assert unmatched['Специальности ВАК'] == 'Не подтверждены'
assert book['Сотрудники'].auto_filter.ref.endswith(f'W{len(staff)}') assert book['Сотрудники'].auto_filter.ref.endswith(f'L{len(staff)}')
assert book['Публикации'].auto_filter.ref.endswith(f'AA{len(works)}') assert book['Публикации'].auto_filter.ref.endswith(f'N{len(works)}')
def test_employee_without_degree_publications_are_not_parsed(db_session, export, monkeypatch): def test_employee_without_degree_publications_are_not_parsed(db_session, export, monkeypatch):
@@ -583,3 +584,36 @@ def test_employee_without_degree_publications_are_not_parsed(db_session, export,
pytest.fail('Ineligible employee publications must not be parsed') pytest.fail('Ineligible employee publications must not be parsed')
monkeypatch.setattr(council, '_database_article', unexpected) monkeypatch.setattr(council, '_database_article', unexpected)
assert council.council_candidates(db_session)['total'] == 0 assert council.council_candidates(db_session)['total'] == 0
def test_xlsx_compact_total_current_degree_and_normalized_criteria(db_session, export):
export([row(**{'Название журнала': 'Бизнес-информатика', 'Квартиль wos': 'Q2'})])
person = employee(db_session)
person.current_data = {'sections': [{'title': 'Учёные степени', 'items': [
'Кандидат технических наук', 'Доктор технических наук']} ]}
publication(db_session, person, title='Shared work', doi='https://doi.org/10.1234/shared', kind='ARTICLE')
publication(db_session, person, title='Other publication', kind=None)
db_session.commit()
result = council.council_candidates(db_session, date(2026, 10, 8))
candidate = result['candidates'][0]
other = next(a for a in candidate['articles'] if a['title'] == 'Other publication')
# Isolate the export rule: other qualifying council bases do not add to its total.
other.update(k2=True, rsci=True, qualifies=True)
candidate.update(k2_count=1, rsci_count=1, total_count=2)
shared = next(a for a in candidate['articles'] if a['title'] == 'Shared work')
shared['criteria'].extend(['В пределах пяти лет', 'В пределах пяти лет по году; точную дату нужно проверить'])
from app.services.council_export import council_xlsx
book = load_workbook(BytesIO(council_xlsx(result)))
staff = dict(zip([c.value for c in book['Сотрудники'][1]], [c.value for c in book['Сотрудники'][2]]))
assert staff['Научная степень'] == 'Доктор технических наук'
assert staff['Q1'] == staff['Q2'] == staff['К1'] == staff['К2'] == staff['Всего'] == 1
assert staff['Всего из ЛК'] == staff['Общее количество всех публикаций без дублей'] == 2
rows = {values[2]: dict(zip(next(book['Публикации'].values), values)) for values in list(book['Публикации'].values)[1:]}
assert rows['Other publication']['Тип материала'] == 'не указан'
assert rows['Other publication']['К2'] == rows['Other publication']['RSCI'] == 'Да'
assert rows['Shared work']['Критерии'].count('В пределах пяти лет') == 1
assert 'точную дату' not in rows['Shared work']['Критерии']
params = dict(book['Параметры'].values)
assert 'Q1 ИЛИ Q2 ИЛИ К1' in params['Всего']
assert 'источники указаны на листе' not in ' '.join(str(v) for v in params.values())
assert not any('Работ / По выбранной специальности' == key for key in params)
+14 -9
View File
@@ -169,15 +169,14 @@ def test_http_validation_context_and_export_parity(db_session, proofs, monkeypat
book = load_workbook(BytesIO(client.get("/admin/council/export.xlsx" + query).content)) book = load_workbook(BytesIO(client.get("/admin/council/export.xlsx" + query).content))
headers = [c.value for c in book["Сотрудники"][1]] headers = [c.value for c in book["Сотрудники"][1]]
row = dict(zip(headers, [c.value for c in book["Сотрудники"][2]])) row = dict(zip(headers, [c.value for c in book["Сотрудники"][2]]))
assert row["Подтверждено"] == 9 and row["Минимум"] == 9 assert row["Всего"] == 9 and row["Научная степень"] == degree
assert row["Итог"] in page.text assert dict(book["Параметры"].values)["Отрасль оценки"] == "технические"
assert row["Отрасль оценки"] == "технические"
assert not any("ходатайств" in str(c.value).lower() for sheet in book for cells in sheet for c in cells) assert not any("ходатайств" in str(c.value).lower() for sheet in book for cells in sheet for c in cells)
assert "council-date" not in page.text and "Монографии" not in page.text assert "council-date" not in page.text and "Монографии" not in page.text
assert "Дата ходатайства" not in page.text assert "Дата ходатайства" not in page.text
legacy = client.get("/admin/council/export.xlsx?petition_date=2000-01-01&branch=экономические") legacy = client.get("/admin/council/export.xlsx?petition_date=2000-01-01&branch=экономические")
legacy_book = load_workbook(BytesIO(legacy.content)) legacy_book = load_workbook(BytesIO(legacy.content))
assert legacy_book["Сотрудники"]["Q2"].value == "экономические" assert dict(legacy_book["Параметры"].values)["Отрасль оценки"] == "экономические"
finally: finally:
app.dependency_overrides.clear() app.dependency_overrides.clear()
@@ -323,8 +322,11 @@ def test_manual_monograph_bases_respect_preliminary_type_policy(db_session, proo
book = load_workbook(BytesIO(council_xlsx(full_result))) book = load_workbook(BytesIO(council_xlsx(full_result)))
headers = [cell.value for cell in book["Сотрудники"][1]] headers = [cell.value for cell in book["Сотрудники"][1]]
exported = dict(zip(headers, [cell.value for cell in book["Сотрудники"][2]])) exported = dict(zip(headers, [cell.value for cell in book["Сотрудники"][2]]))
assert exported["ВСЕГО"] == int(admitted) assert exported["Всего"] == (int(admitted) if basis in {"Q1", "Q2", "К1"} else 0)
assert exported[{"К1": "К1", "К2": "К2 предварительно", "RSCI": "RSCI предварительно", "Q1": "Q1", "Q2": "Q2"}[basis]] == int(admitted) publication = dict(zip([cell.value for cell in book["Публикации"][1]], [cell.value for cell in book["Публикации"][2]]))
assert publication[basis] == ("Да" if admitted else "Нет")
if basis != "RSCI":
assert exported[basis] == int(admitted)
def test_admitted_type_needs_sourced_policy_and_consistent_material(db_session, proofs): def test_admitted_type_needs_sourced_policy_and_consistent_material(db_session, proofs):
@@ -397,7 +399,8 @@ def test_automatic_source_quartile_calendar_years(db_session, proofs, year, kind
book = load_workbook(BytesIO(council_xlsx(council.council_candidates(db_session, today=date(2026, 10, 8))))) book = load_workbook(BytesIO(council_xlsx(council.council_candidates(db_session, today=date(2026, 10, 8)))))
headers = [cell.value for cell in book['Сотрудники'][1]] headers = [cell.value for cell in book['Сотрудники'][1]]
exported = dict(zip(headers, [cell.value for cell in book['Сотрудники'][2]])) exported = dict(zip(headers, [cell.value for cell in book['Сотрудники'][2]]))
assert exported['Подтверждено'] == int(expected) assert exported['Q2'] == candidate['q2_count']
assert exported['Всего'] == candidate['q2_count']
def test_automatic_quartile_identity_conflict_and_messages(db_session, proofs): def test_automatic_quartile_identity_conflict_and_messages(db_session, proofs):
@@ -441,9 +444,11 @@ def test_branch_selection_threshold_and_export(db_session, proofs):
book = load_workbook(BytesIO(client.get('/admin/council/export.xlsx', params={'branch': branch}).content)) book = load_workbook(BytesIO(client.get('/admin/council/export.xlsx', params={'branch': branch}).content))
headers = [cell.value for cell in book['Сотрудники'][1]] headers = [cell.value for cell in book['Сотрудники'][1]]
row = dict(zip(headers, [cell.value for cell in book['Сотрудники'][2]])) row = dict(zip(headers, [cell.value for cell in book['Сотрудники'][2]]))
assert row['Минимум'] == (9 if branch == 'технические' else 11) assert row['Всего'] == 10
assert row['Отрасль оценки'] == branch
parameters = dict(book['Параметры'].values) parameters = dict(book['Параметры'].values)
assert parameters['Отрасль оценки'] == branch
threshold = next(value for key, value in parameters.items() if key.startswith('Доктор · ') and branch in key.split(' · ')[1].split(', '))
assert threshold.startswith('9 ' if branch == 'технические' else '11 ')
assert parameters['Начало периода'] == datetime(2022, 1, 1) assert parameters['Начало периода'] == datetime(2022, 1, 1)
assert parameters['Конец периода'] == datetime(2026, 12, 31) assert parameters['Конец периода'] == datetime(2026, 12, 31)
finally: finally: