From 1b58ab6b77d00739fd14dbab7e31047b36314996 Mon Sep 17 00:00:00 2001 From: codex Date: Mon, 16 Nov 2026 15:41:20 +0300 Subject: [PATCH 1/3] Improve directory filters and add XLSX export --- README.md | 2 +- app/admin.py | 115 +++++++++++++---------- app/services/admin_data.py | 37 +++++++- app/services/council_export.py | 13 +-- app/services/directory_export.py | 29 ++++++ app/services/xlsx.py | 12 +++ app/static/admin.css | 115 ++++++++++++++++++----- app/static/guide.js | 12 +-- app/templates/directory.html | 156 +++++++++++++++---------------- app/templates/guide_content.html | 5 +- app/version.py | 6 +- pyproject.toml | 2 +- tests/test_admin_templates.py | 1 - tests/test_api.py | 64 ++++++++++++- tests/test_council.py | 2 +- tests/test_training_filter.py | 2 +- 16 files changed, 388 insertions(+), 185 deletions(-) create mode 100644 app/services/directory_export.py create mode 100644 app/services/xlsx.py diff --git a/README.md b/README.md index a88d140..27f7c08 100644 --- a/README.md +++ b/README.md @@ -47,7 +47,7 @@ uvicorn app.main:app --reload - «Сотрудники»: поиск, фильтры, сортировка, пагинация и выбор колонок. По умолчанию показаны ФИО, статус, должности, дата последнего обнаружения и внешний профиль. В диалоге колонок доступны наборы «Проверка», «Контакты» и «Все поля»; ранее сохранённый выбор сохраняется. - «Запуски»: история обходов, ошибки и доступный индикатор прогресса. -Все фильтры применяются кнопкой «Применить фильтры» с переходом на первую страницу. «Сбросить» очищает условия; при устаревшем номере страницы каталог возвращает первую. Подписи полей показывают выбранные условия, над таблицей указан диапазон результатов. Пояснения дат и статусов находятся под фильтрами. +Поиск по ФИО или ссылке, ППС, сортировка и число строк видны всегда. Остальные условия находятся в «Дополнительных фильтрах». «Применить фильтры» обновляет список и возвращает на первую страницу, «Сбросить» очищает условия. «Скачать XLSX» выгружает все колонки и все строки, найденные с применёнными условиями, в выбранном порядке. Пояснения дат и статусов находятся под фильтрами. Каталог поддерживает навигацию с клавиатуры и системный диалог колонок с Escape и возвратом фокуса. На узких экранах таблица прокручивается внутри страницы, колонка ФИО закреплена. Используется системный шрифт без внешних загрузок. diff --git a/app/admin.py b/app/admin.py index 884bd52..4d21fdc 100644 --- a/app/admin.py +++ b/app/admin.py @@ -1,5 +1,5 @@ from copy import deepcopy -from typing import Literal +from typing import Annotated, Literal from pydantic import BaseModel, Field, ConfigDict from fastapi import APIRouter, BackgroundTasks, Depends, Form, Query, Request, HTTPException from fastapi.responses import HTMLResponse, RedirectResponse, Response @@ -15,6 +15,8 @@ from app.security import (SESSION_COOKIE, LOGIN_CSRF_COOKIE, SESSION_SECONDS, US optional_user, sign_session, authenticate, can_use_council, check_csrf) import secrets from app.services.admin_data import ( + DIRECTORY_COLUMNS, + EMPLOYEE_SORTS, employee_detail_payload, format_admin_datetime, list_employees_page, @@ -26,6 +28,7 @@ from app.services.crawl_control import get_running_run, run_crawl_if_idle from app.services.crawler import refresh_dismissed_status, refresh_employee from app.services.council import CouncilInputError, council_candidates, _journal_key from app.services.council_export import council_xlsx +from app.services.directory_export import directory_xlsx from app.version import BACKEND_VERSION, FRONTEND_VERSION router = APIRouter(prefix="/admin", dependencies=[Depends(check_csrf)]) @@ -109,67 +112,64 @@ def employees( return RedirectResponse("/admin/directory", status_code=303) -@router.get("/directory", response_class=HTMLResponse) -def directory( - request: Request, - status: str | None = None, - q: str | None = None, - started_from: str | None = None, - started_to: str | None = None, - has_email: str | None = None, - has_academic_degree: str | None = None, - pps: bool = False, - has_training: Literal["", "true", "false"] = "", - training_since_year: str = Query(default="", pattern=r"^([1-9][0-9]{3})?$"), - sort: str = "full_name", - direction: str = "asc", - limit: int = 50, - offset: int = 0, - db: Session = Depends(get_db), - settings: Settings = Depends(get_settings), -): - require_user(request, settings, db) - parsed_started_from = _parse_date(started_from) - parsed_started_to = _parse_date(started_to) - parsed_has_email = None if has_email in (None, "") else has_email == "true" - parsed_has_academic_degree = None if has_academic_degree in (None, "") else has_academic_degree == "true" - try: - page = list_employees_page( +class DirectoryFilters(BaseModel): + status: str = "" + q: str = "" + started_from: str = "" + started_to: str = "" + has_email: str = "" + has_academic_degree: str = "" + pps: bool = False + has_training: Literal["", "true", "false"] = "" + training_since_year: str = Field(default="", pattern=r"^([1-9][0-9]{3})?$") + sort: str = "full_name" + direction: str = "asc" + limit: int = 50 + offset: int = 0 + + def employee_page(self, db: Session, *, paginate: bool = True) -> dict: + return list_employees_page( db, - status=status, - q=q, - started_from=parsed_started_from, - started_to=parsed_started_to, - has_email=parsed_has_email, - has_academic_degree=parsed_has_academic_degree, - pps=pps, - has_training=has_training == "true" if has_training else None, - training_since_year=int(training_since_year) if training_since_year else None, - sort=sort, - direction=direction, - limit=limit, - offset=offset, + status=self.status, + q=self.q, + started_from=_parse_date(self.started_from), + started_to=_parse_date(self.started_to), + has_email=self.has_email == "true" if self.has_email else None, + has_academic_degree=self.has_academic_degree == "true" if self.has_academic_degree else None, + pps=self.pps, + has_training=self.has_training == "true" if self.has_training else None, + training_since_year=int(self.training_since_year) if self.training_since_year else None, + sort=self.sort, + direction=self.direction, + limit=self.limit, + offset=self.offset, + paginate=paginate, ) + + +@router.get("/directory", response_class=HTMLResponse) +def directory(request: Request, filters: Annotated[DirectoryFilters, Query()], + db: Session = Depends(get_db), settings: Settings = Depends(get_settings)): + require_user(request, settings, db) + try: + page = filters.employee_page(db) except SQLAlchemyError: db.rollback() return _render(request, "directory_error.html", {}, status_code=503) + export_url = request.url_for("directory_export").include_query_params( + **filters.model_dump(exclude={"limit", "offset"}, exclude_defaults=True) + ) return _render( request, "directory.html", { "page": page, + "directory_columns": DIRECTORY_COLUMNS, + "export_url": export_url, "filters": { - "status": status or "", - "q": q or "", - "started_from": started_from or "", - "started_to": started_to or "", - "has_email": has_email or "", - "has_academic_degree": has_academic_degree or "", - "pps": pps, - "has_training": has_training, - "training_since_year": training_since_year, - "sort": sort, - "direction": direction, + **filters.model_dump(), + "sort": filters.sort if filters.sort in EMPLOYEE_SORTS else "full_name", + "direction": "desc" if filters.direction == "desc" else "asc", "limit": page["limit"], "offset": page["offset"], }, @@ -177,6 +177,19 @@ def directory( ) +@router.get("/directory/export.xlsx") +def directory_export(request: Request, filters: Annotated[DirectoryFilters, Query()], + db: Session = Depends(get_db), settings: Settings = Depends(get_settings)): + require_user(request, settings, db) + try: + content = directory_xlsx(filters.employee_page(db, paginate=False)["employees"]) + except (SQLAlchemyError, OSError, ValueError): + db.rollback() + raise HTTPException(503, "Не удалось выгрузить сотрудников. Попробуйте ещё раз") + return Response(content, media_type="application/vnd.openxmlformats-officedocument.spreadsheetml.sheet", + headers={"Content-Disposition": 'attachment; filename="employees.xlsx"', "Cache-Control": "no-store"}) + + @router.get("/council", response_class=HTMLResponse) def council(request: Request, q: str = "", offset: int = 0, sort: str = "total_count", direction: str = "desc", specialty: str = "", branch: str = "технические", db: Session = Depends(get_db), settings: Settings = Depends(get_settings)): diff --git a/app/services/admin_data.py b/app/services/admin_data.py index 0021af7..f284ea1 100644 --- a/app/services/admin_data.py +++ b/app/services/admin_data.py @@ -7,7 +7,7 @@ from typing import Any from zoneinfo import ZoneInfo from sqlalchemy import Select, Text, and_, desc, func, or_, select -from sqlalchemy.orm import Session +from sqlalchemy.orm import Session, selectinload from app.models import CrawlError, CrawlRun, CrawlRunEmployeeChange, Employee, EmployeeNewsLink from app.services.academic_degrees import academic_degrees @@ -21,6 +21,25 @@ EMPLOYEE_SORTS = { "hse_start_year": Employee.current_data["hse_start_year"].as_integer(), } +# Table key, column title, and the corresponding value in the display payload. +DIRECTORY_COLUMNS = ( + ("full_name", "ФИО", "full_name"), + ("status", "Статус", "status_display"), + ("positions", "Должности", "positions_text"), + ("hse_start_year", "Год начала", "hse_start_year"), + ("email", "Email", "email_text"), + ("phone", "Телефон", "phone_text"), + ("address", "Адрес", "address"), + ("academic_degree", "Учёная степень", "academic_degree_text"), + ("publications_count", "Публикации", "publications_count"), + ("courses_count", "Курсы", "courses_count"), + ("news_count", "Новости", "news_count"), + ("first_seen_at", "Впервые найден", "first_seen_display"), + ("last_seen_at", "Последний раз найден", "last_seen_display"), + ("dismissed_at", "Дата увольнения", "dismissed_display"), + ("profile", "Профиль", "canonical_url"), +) + _TRAINING_LABEL = "повышение квалификации" _TRAINING_KIND = re.compile(r",\s*повышение квалификации\s*(?:,|$)", re.IGNORECASE) _TRAINING_MENTION = re.compile( @@ -162,6 +181,7 @@ def list_employees_page( direction: str = "asc", limit: int = 50, offset: int = 0, + paginate: bool = True, ) -> dict[str, Any]: limit = limit if limit in {25, 50, 100} else 50 offset = max(0, offset) @@ -175,7 +195,9 @@ def list_employees_page( ) sort_column = EMPLOYEE_SORTS.get(sort, Employee.full_name) order = desc(sort_column) if direction == "desc" else sort_column - ordered_stmt = base_stmt.order_by(order) + ordered_stmt = base_stmt.order_by(order, Employee.id) + if not paginate: + ordered_stmt = ordered_stmt.options(selectinload(Employee.news_links)) if has_training is None and training_since_year is not None: has_training = True if pps or has_training is not None: @@ -190,19 +212,24 @@ def list_employees_page( continue if has_training is not None and _has_training(data, training_since_year) != has_training: continue - if offset and total < limit: + if paginate and offset and total < limit: first_page.append(employee) - if offset <= total < offset + limit: + if not paginate or offset <= total < offset + limit: employees.append(employee) total += 1 - if offset >= total: + if paginate and offset >= total: employees = first_page offset = 0 + elif not paginate: + employees = db.scalars(ordered_stmt).all() + total = len(employees) else: total = db.scalar(select(func.count()).select_from(base_stmt.subquery())) or 0 if offset >= total: offset = 0 employees = db.scalars(ordered_stmt.limit(limit).offset(offset)).all() + if not paginate: + offset = 0 return { "employees": [employee_display_payload(employee) for employee in employees], "total": total, diff --git a/app/services/council_export.py b/app/services/council_export.py index 29c50d4..00f060f 100644 --- a/app/services/council_export.py +++ b/app/services/council_export.py @@ -4,7 +4,6 @@ from io import BytesIO from textwrap import fill from openpyxl import Workbook -from openpyxl.cell.cell import ILLEGAL_CHARACTERS_RE from openpyxl.styles import Alignment, Font, PatternFill from openpyxl.utils import get_column_letter from openpyxl.worksheet.datavalidation import DataValidation @@ -13,23 +12,13 @@ from openpyxl.workbook.defined_name import DefinedName from app.version import BACKEND_VERSION, FRONTEND_VERSION from app.services.council_source import _name +from app.services.xlsx import append_text_row as _append SORT_LABELS = {"full_name": "ФИО", "q1_count": "Q1", "q2_count": "Q2", "k1_count": "К1", "k2_count": "К2", "rsci_count": "RSCI", "total_count": "Всего", "confirmed_count": "Подтверждено", "db_count": "ЛК сотрудника ВШЭ", "count": "Все публикации"} -def _append(sheet, values): - values = [ILLEGAL_CHARACTERS_RE.sub("", value) if isinstance(value, str) else value for value in values] - if any(isinstance(value, str) and len(value) > 32767 for value in values): - raise ValueError("Text exceeds Excel cell limit") - sheet.append(values) - for column, value in enumerate(values, 1): - if isinstance(value, str): - # Source text is never executable; formulas are written separately. - sheet.cell(sheet._current_row, column).data_type = "s" - - def council_xlsx(result: dict, selection_results: list[dict]) -> bytes: workbook = Workbook() workbook.properties.creator = "MIEM Employees" diff --git a/app/services/directory_export.py b/app/services/directory_export.py new file mode 100644 index 0000000..827e7b7 --- /dev/null +++ b/app/services/directory_export.py @@ -0,0 +1,29 @@ +from io import BytesIO + +from openpyxl import Workbook +from openpyxl.styles import Font +from openpyxl.utils import get_column_letter + +from app.services.admin_data import DIRECTORY_COLUMNS +from app.services.xlsx import append_text_row + + +def directory_xlsx(employees: list[dict]) -> bytes: + workbook = Workbook() + workbook.properties.creator = "MIEM Employees" + sheet = workbook.active + sheet.title = "Сотрудники" + append_text_row(sheet, [label for _, label, _ in DIRECTORY_COLUMNS]) + for employee in employees: + append_text_row(sheet, [ + (employee[key] or "Без имени") if key == "full_name" else employee[key] + for _, _, key in DIRECTORY_COLUMNS + ]) + for cell, width in zip(sheet[1], (34, 20, 48, 14, 28, 22, 34, 30, 14, 10, 10, 22, 24, 22, 46)): + cell.font = Font(bold=True) + sheet.column_dimensions[get_column_letter(cell.column)].width = width + sheet.freeze_panes = "A2" + sheet.auto_filter.ref = sheet.dimensions + output = BytesIO() + workbook.save(output) + return output.getvalue() diff --git a/app/services/xlsx.py b/app/services/xlsx.py new file mode 100644 index 0000000..93e4c88 --- /dev/null +++ b/app/services/xlsx.py @@ -0,0 +1,12 @@ +from openpyxl.cell.cell import ILLEGAL_CHARACTERS_RE + + +def append_text_row(sheet, values): + values = [ILLEGAL_CHARACTERS_RE.sub("", value) if isinstance(value, str) else value for value in values] + if any(isinstance(value, str) and len(value) > 32767 for value in values): + raise ValueError("Text exceeds Excel cell limit") + sheet.append(values) + for column, value in enumerate(values, 1): + if isinstance(value, str): + # Source text is never executable; formulas are written separately. + sheet.cell(sheet._current_row, column).data_type = "s" diff --git a/app/static/admin.css b/app/static/admin.css index 904cb75..fb28861 100644 --- a/app/static/admin.css +++ b/app/static/admin.css @@ -67,7 +67,7 @@ outline-offset: 2px; } -:is(.directory__filters, .council__search) :is(input, select):focus { +:is(.directory__toolbar, .directory__filters, .council__search) :is(input, select):focus { outline: 2px solid #0f766e; outline-offset: 0; } @@ -564,6 +564,92 @@ color: #6b7280; } +.directory__actions, +.directory__toolbar { + display: flex; + flex-wrap: wrap; + align-items: end; + gap: 8px; +} + +.directory__toolbar { + column-gap: 12px; +} + +.directory__search { + flex: 1 1 240px; +} + +.directory__direction { + display: flex; + gap: 4px; + min-width: 0; + margin: 0; + padding: 0; + border: 0; +} + +.directory__direction legend { + margin-bottom: 5px; + padding: 0; + color: #4b5563; + font-size: 12px; + font-weight: 700; +} + +.directory__direction label { + position: relative; + cursor: pointer; +} + +.directory__direction input { + position: absolute; + inline-size: 1px; + block-size: 1px; + margin: 0; + opacity: 0; +} + +.directory__direction span { + display: grid; + place-items: center; + box-sizing: border-box; + width: 44px; + height: 44px; + color: #1f2937; + background: #fff; + border: 1px solid #cbd5e1; + border-radius: 6px; +} + +.directory__direction label:hover span { + border-color: #0f766e; +} + +.directory__direction input:checked + span { + color: #fff; + background: #0f766e; + border-color: #0f766e; +} + +.directory__direction input:focus-visible + span { + outline: 2px solid #0f766e; + outline-offset: 2px; +} + +@media (forced-colors: active) { + .directory__direction input:checked + span { + color: HighlightText; + background: Highlight; + border-color: Highlight; + forced-color-adjust: none; + } +} + +.directory__filter-panel { + margin-top: 8px; +} + .directory__filter-panel > summary { width: fit-content; min-height: 44px; @@ -574,7 +660,7 @@ .directory__filters { display: grid; - grid-template-columns: repeat(5, minmax(0, 1fr)); + grid-template-columns: repeat(3, minmax(0, 1fr)); gap: 10px; padding: 16px; background: #ffffff; @@ -593,10 +679,6 @@ border: 0; } -.directory__filter-group--search { - grid-template-columns: 1fr; -} - .directory__filter-legend { grid-column: 1 / -1; margin-bottom: 2px; @@ -801,22 +883,11 @@ font-weight: 700; } -@media (max-width: 1100px) { - .directory__filters { - grid-template-columns: repeat(3, minmax(0, 1fr)); - } -} - @media (max-width: 920px) { .directory__filters { grid-template-columns: 1fr 1fr; } - .directory__filter-group--search, - .directory__filter-actions { - grid-column: 1 / -1; - } - .progress-panel__header, .directory__header, .employee-card__header { @@ -855,10 +926,12 @@ grid-template-columns: 1fr; } - .directory__filter-group, - .directory__filter-group--search, - .directory__filter-actions { - grid-column: 1; + .directory__search { + flex-basis: 100%; + } + + .directory__sort { + flex: 1 1 120px; } .directory__field { diff --git a/app/static/guide.js b/app/static/guide.js index d7b59fc..11580ad 100644 --- a/app/static/guide.js +++ b/app/static/guide.js @@ -10,23 +10,21 @@ {id: 'welcome', title: 'Познакомьтесь с Workers', intro: (councilAccess ? 'Найдите сотрудника, подберите кандидатов в диссовет и проверьте публикации. ' : 'Найдите сотрудника и изучите его профиль. ') + 'Подсказки можно повторить из меню «Как пользоваться».'}, - {id: 'employee-search', path: directory, title: 'Найдите сотрудника', region: '.directory__filter-panel', tips: [ + {id: 'employee-search', path: directory, title: 'Найдите сотрудника', region: '.directory__toolbar', tips: [ ['[name="q"]', 'Введите фамилию, часть ФИО или ссылку на профиль ВШЭ.'], - ['[name="status"]', '«Требует проверки» означает, что профиль недоступен, а увольнение ещё не подтверждено.'], - ['[name="has_email"]', 'Чтобы найти рабочие контакты, выберите «Есть email».'], + ['[name="pps"]', 'Оставьте сотрудников профессорско-преподавательского состава.'], ]}, {id: 'employee-filters', path: directory, title: 'Уточните список', region: '.directory__filter-panel', tips: [ ['[name="has_academic_degree"]', 'Звание профессора или доцента само по себе не считается учёной степенью.'], - ['[name="pps"]', 'Оставьте сотрудников профессорско-преподавательского состава.'], + ['[name="has_email"]', 'Чтобы найти рабочие контакты, выберите «Есть email».'], ['[name="started_to"]', '«От» и «До» задают период первого обнаружения профиля системой.'], ]}, {id: 'employee-training', path: directory, title: 'Проверьте повышение квалификации', region: '.directory__filter-panel', tips: [ ['[name="has_training"]', 'Выберите «Есть курсы» или «Нет курсов» по записям в профиле ВШЭ.'], ['[name="training_since_year"]', 'Например, 2024 включает 2024 год и все последующие.'], ]}, - {id: 'employee-sort', path: directory, title: 'Настройте порядок списка', region: '.directory__filter-panel', tips: [ - ['[name="sort"]', '«Год начала» — начало работы в ВШЭ. «Впервые найден» — когда профиль обнаружила система.'], - ['[name="direction"]', 'Чтобы увидеть новые записи первыми, выберите «По убыванию».'], + {id: 'employee-sort', path: directory, title: 'Настройте порядок списка', region: '.directory__toolbar', tips: [ + ['[name="sort"]', 'Выберите поле сортировки. Стрелка вниз покажет наибольшие значения или новые даты первыми.'], ['[name="limit"]', 'Выберите число строк и нажмите «Применить фильтры».'], ]}, {id: 'employee-profile', path: directory, title: 'Откройте карточку сотрудника', region: '.directory__header', tips: [ diff --git a/app/templates/directory.html b/app/templates/directory.html index 2838598..7cc84d9 100644 --- a/app/templates/directory.html +++ b/app/templates/directory.html @@ -9,77 +9,89 @@ {% set range_end = [page.offset + page.employees|length, page.total]|min %}

Показаны {{ range_start }}–{{ range_end }} из {{ page.total }}

- +
+ Скачать XLSX + +
- {% set has_filters = filters.q or filters.status or filters.has_email or filters.has_academic_degree or filters.pps or filters.started_from or filters.started_to or filters.has_training or filters.training_since_year %} -
- Фильтры{% if has_filters %} · применены{% endif %} -
- -
- Статус и данные - - - + {% set has_extra_filters = filters.status or filters.has_email or filters.has_academic_degree or filters.started_from or filters.started_to or filters.has_training or filters.training_since_year %} + {% set has_filters = filters.q or filters.pps or has_extra_filters %} + +
+ -
-
- Повышение квалификации - - - Если указан только год, будут показаны сотрудники с курсами. -
-
- Период обнаружения - - -
-
- Сортировка и страница - - +
+ Направление + {% for value, label in [("asc", "По возрастанию"), ("desc", "По убыванию")] %} + + {% endfor %} +
-
-
Сбросить
+
+ Дополнительные фильтры{% if has_extra_filters %} · применены{% endif %} +
+
+ Статус и данные + + + +
+
+ Повышение квалификации + + + Если указан только год, будут показаны сотрудники с курсами. +
+
+ Период обнаружения + + +
+
+ +
+
+
-
Что означают даты и статусы @@ -90,21 +102,9 @@ - - - - - - - - - - - - - - - + {% for key, label, _ in directory_columns %} + + {% endfor %} @@ -127,7 +127,7 @@ {% else %} -
ФИОСтатусДолжностиГод началаEmailТелефонАдресУчёная степеньПубликацииКурсыНовостиВпервые найденПоследний раз найденДата увольненияПрофиль{{ label }}
Внешний профиль
+
Сотрудники не найдены {% if has_filters %} Попробуйте изменить запрос или сбросить фильтры. @@ -161,7 +161,7 @@
- {% for key, label in [("full_name", "ФИО"), ("status", "Статус"), ("positions", "Должности"), ("hse_start_year", "Год начала"), ("email", "Email"), ("phone", "Телефон"), ("address", "Адрес"), ("academic_degree", "Учёная степень"), ("publications_count", "Публикации"), ("courses_count", "Курсы"), ("news_count", "Новости"), ("first_seen_at", "Впервые найден"), ("last_seen_at", "Последний раз найден"), ("dismissed_at", "Дата увольнения"), ("profile", "Профиль")] %} + {% for key, label, _ in directory_columns %} {% endfor %}
diff --git a/app/templates/guide_content.html b/app/templates/guide_content.html index 1de565d..b6ea853 100644 --- a/app/templates/guide_content.html +++ b/app/templates/guide_content.html @@ -13,13 +13,14 @@

Найдите сотрудника и откройте профиль

-

В разделе «Сотрудники» раскройте панель «Фильтры». В поле «ФИО или ссылка» введите фамилию, часть ФИО или ссылку на профиль ВШЭ. Например, Иванов.

+

В разделе «Сотрудники» введите в поле «ФИО или ссылка» фамилию, часть ФИО или ссылку на профиль ВШЭ. Отметьте «ППС», чтобы оставить только профессорско-преподавательский состав. Остальные условия находятся в панели «Дополнительные фильтры».

Статус, Email, Учёная степень
Ограничивают список по состоянию сотрудника и наличию сведений в профиле. Звание профессора или доцента не заменяет учёную степень.
Повышение квалификации
Выберите «Есть курсы» или «Нет курсов» по записям в профиле ВШЭ. Например, «Нет курсов» и 2024 покажут сотрудников без записей о курсах за 2024 год и позже. Если указать только год, отобразятся сотрудники с курсами за этот период.
Период обнаружения: От / До
Введите даты первого обнаружения профиля системой. Это не период приёма на работу.
-
Сортировка и страница
Выберите порядок и число строк. «Применить фильтры» обновит список, «Сбросить» вернёт исходные параметры.
+
Порядок списка
Выберите поле сортировки, направление стрелкой и число строк. «Применить фильтры» обновит список, «Сбросить» вернёт исходные параметры.
Настроить колонки
Позволяет выбрать видимые сведения: должности, контакты, степень, число публикаций, курсов и новостей, даты обнаружения.
+
Скачать XLSX
В файл попадут все колонки и все сотрудники, найденные с применёнными фильтрами, в выбранном порядке.

Откройте ФИО в таблице: в карточке собраны должности, статус, контакты, внешние идентификаторы, новости и доступные разделы профиля — образование, степени, публикации, курсы и выпускные работы. Состав зависит от данных источника.

«Год начала» — начало работы в ВШЭ. «Впервые найден» и «Последний раз найден» — наблюдения системы. «Требует проверки» означает, что профиль недоступен, а увольнение ещё не подтверждено.

diff --git a/app/version.py b/app/version.py index da0e8fd..50bb595 100644 --- a/app/version.py +++ b/app/version.py @@ -1,3 +1,3 @@ -APP_VERSION = "2.0.1" -FRONTEND_VERSION = "2.0.1" -BACKEND_VERSION = "2.0.1" +APP_VERSION = "2.1.0" +FRONTEND_VERSION = "2.1.0" +BACKEND_VERSION = "2.1.0" diff --git a/pyproject.toml b/pyproject.toml index a0e2058..b21e924 100644 --- a/pyproject.toml +++ b/pyproject.toml @@ -1,6 +1,6 @@ [project] name = "miem-workers" -version = "2.0.1" +version = "2.1.0" description = "MIEM employees parser, admin API, and web admin" requires-python = ">=3.11" dependencies = [ diff --git a/tests/test_admin_templates.py b/tests/test_admin_templates.py index d816324..f05dec6 100644 --- a/tests/test_admin_templates.py +++ b/tests/test_admin_templates.py @@ -29,7 +29,6 @@ def test_directory_template_is_russian_and_uses_display_dates(): assert "Сотрудников на странице" in template assert "{% for value in [25, 50, 100] %}" in template assert "Показаны" in template - assert "Новости" in template assert "Есть учёная степень" in template assert 'data-column="academic_degree"' in template assert "employee.news_count" in template diff --git a/tests/test_api.py b/tests/test_api.py index 781b470..83950cc 100644 --- a/tests/test_api.py +++ b/tests/test_api.py @@ -1,7 +1,11 @@ from datetime import datetime, timezone +from io import BytesIO from types import SimpleNamespace +from urllib.parse import parse_qs, urlsplit +from bs4 import BeautifulSoup from fastapi.testclient import TestClient +from openpyxl import load_workbook from sqlalchemy import create_engine, select from sqlalchemy.exc import OperationalError from sqlalchemy.orm import sessionmaker @@ -18,7 +22,7 @@ def test_health_returns_versions(): response = TestClient(app).get("/api/health") assert response.status_code == 200 - assert response.json()["backend_version"] == "2.0.1" + assert response.json()["backend_version"] == "2.1.0" def test_api_employees_and_stats_require_admin_session(): @@ -153,3 +157,61 @@ def test_directory_database_error_has_retry_and_preserves_filters(db_session, mo assert "private database details" not in response.text finally: app.dependency_overrides.clear() + + +def test_directory_export_uses_applied_filters_and_sort_across_pages(db_session): + for number in range(30): + db_session.add(Employee( + profile_key=f"export:{number}", + canonical_url=f"https://www.hse.ru/staff/export-{number}", + full_name=f"Export {number:02d}", + status="dismissed" if number == 28 else "active", + current_data={ + "hse_start_year": 2025 - number, + "positions": ["Инженер" if number == 29 else "Кафедра физики"], + "contacts": {"address": "=1+1", "phones": ["+7 123"]}, + }, + )) + db_session.commit() + settings = Settings(_env_file=None, session_secret="test-session-secret") + app.dependency_overrides[get_db] = lambda: db_session + app.dependency_overrides[get_settings] = lambda: settings + try: + client = TestClient(app) + anonymous = client.get("/admin/directory/export.xlsx", follow_redirects=False) + assert anonymous.status_code == 303 and anonymous.headers["location"] == "/admin/login" + client.cookies.set(SESSION_COOKIE, sign_session(settings.admin_username, settings)) + + response = client.get("/admin/directory", params={ + "q": "Export", "pps": "true", "status": "active", "sort": "hse_start_year", + "direction": "desc", "limit": 25, "offset": 25, + }) + assert response.status_code == 200 + page = BeautifulSoup(response.text, "html.parser") + assert "Показаны 26–28 из 28" in page.get_text() + export_url = page.find("a", string="Скачать XLSX")["href"] + assert parse_qs(urlsplit(export_url).query) == { + "q": ["Export"], "pps": ["True"], "status": ["active"], "sort": ["hse_start_year"], "direction": ["desc"], + } + + export = client.get(export_url + "&limit=25&offset=25") + assert export.status_code == 200 + assert export.headers["content-disposition"] == 'attachment; filename="employees.xlsx"' + assert export.headers["cache-control"] == "no-store" + sheet = load_workbook(BytesIO(export.content)).active + assert [cell.value for cell in sheet[1]] == [ + cell.get_text(strip=True) for cell in page.select(".directory-table th") + ] + assert sheet.max_column == 15 + assert [cell.value for cell in sheet["A"][1:]] == [f"Export {number:02d}" for number in range(28)] + assert [cell.value for cell in sheet["A"][-3:]] == [ + cell.get_text(strip=True) for cell in page.select("tbody [data-column='full_name']") + ] + assert sheet["F2"].value == "+7 123" + assert sheet["G2"].value == "=1+1" and sheet["G2"].data_type == "s" + assert sheet["O2"].value == "https://www.hse.ru/staff/export-0" + empty = client.get("/admin/directory/export.xlsx?q=missing") + assert empty.status_code == 200 + assert load_workbook(BytesIO(empty.content)).active.max_row == 1 + finally: + app.dependency_overrides.clear() diff --git a/tests/test_council.py b/tests/test_council.py index 40bc10f..e5a8faf 100644 --- a/tests/test_council.py +++ b/tests/test_council.py @@ -230,7 +230,7 @@ def test_public_page_data_minimization_and_safe_links(db_session, export): assert "javascript:" not in fragment.text and "private@example.org" not in fragment.text assert "javascript:" not in response.text and "private@example.org" not in response.text assert "/admin/employees/" not in response.text and "/admin/logout" not in response.text - assert "Backend 2.0.1 · Frontend 2.0.1" in response.text + assert "Backend 2.1.0 · Frontend 2.1.0" in response.text assert "Вход в систему" in response.text assert client.get("/admin/directory", follow_redirects=False).status_code in (302, 303, 401, 403) assert "Сотрудники не найдены" in client.get("/admin/council?q=missing").text diff --git a/tests/test_training_filter.py b/tests/test_training_filter.py index 0451836..bba1d2d 100644 --- a/tests/test_training_filter.py +++ b/tests/test_training_filter.py @@ -99,7 +99,7 @@ def test_training_filter_uses_course_year_and_kind_before_pagination(db_session) page = BeautifulSoup(response.text, "html.parser") panel = page.select_one(".directory__filter-panel") assert not panel.has_attr("open") - assert panel.summary.get_text(strip=True) == "Фильтры · применены" + assert panel.summary.get_text(strip=True) == "Дополнительные фильтры · применены" assert panel.select_one('select[name="has_training"] option[selected]')["value"] == "true" assert panel.select_one('input[name="training_since_year"]')["value"] == "2024" assert "Person 1" not in response.text From a4b0b50a0a2ea609447aa42780803e751c6c948a Mon Sep 17 00:00:00 2001 From: codex Date: Mon, 16 Nov 2026 15:44:51 +0300 Subject: [PATCH 2/3] Reveal invalid fields in collapsed directory filters --- app/static/admin.js | 5 +++++ app/templates/directory.html | 2 +- app/version.py | 6 +++--- pyproject.toml | 2 +- tests/test_api.py | 2 +- tests/test_council.py | 2 +- 6 files changed, 12 insertions(+), 7 deletions(-) diff --git a/app/static/admin.js b/app/static/admin.js index d4ffe05..14dc603 100644 --- a/app/static/admin.js +++ b/app/static/admin.js @@ -148,6 +148,11 @@ }, 4000); } + const directoryFilters = document.querySelector(".directory__filter-panel"); + directoryFilters?.addEventListener("invalid", () => { + directoryFilters.open = true; + }, true); + setupColumns(); setupProgress(); })(); diff --git a/app/templates/directory.html b/app/templates/directory.html index 7cc84d9..e57c5db 100644 --- a/app/templates/directory.html +++ b/app/templates/directory.html @@ -175,5 +175,5 @@ {% endblock %} {% block scripts %} - + {% endblock %} diff --git a/app/version.py b/app/version.py index 50bb595..40c9de5 100644 --- a/app/version.py +++ b/app/version.py @@ -1,3 +1,3 @@ -APP_VERSION = "2.1.0" -FRONTEND_VERSION = "2.1.0" -BACKEND_VERSION = "2.1.0" +APP_VERSION = "2.1.1" +FRONTEND_VERSION = "2.1.1" +BACKEND_VERSION = "2.1.1" diff --git a/pyproject.toml b/pyproject.toml index b21e924..d4ffe55 100644 --- a/pyproject.toml +++ b/pyproject.toml @@ -1,6 +1,6 @@ [project] name = "miem-workers" -version = "2.1.0" +version = "2.1.1" description = "MIEM employees parser, admin API, and web admin" requires-python = ">=3.11" dependencies = [ diff --git a/tests/test_api.py b/tests/test_api.py index 83950cc..ec2ba73 100644 --- a/tests/test_api.py +++ b/tests/test_api.py @@ -22,7 +22,7 @@ def test_health_returns_versions(): response = TestClient(app).get("/api/health") assert response.status_code == 200 - assert response.json()["backend_version"] == "2.1.0" + assert response.json()["backend_version"] == "2.1.1" def test_api_employees_and_stats_require_admin_session(): diff --git a/tests/test_council.py b/tests/test_council.py index e5a8faf..731c470 100644 --- a/tests/test_council.py +++ b/tests/test_council.py @@ -230,7 +230,7 @@ def test_public_page_data_minimization_and_safe_links(db_session, export): assert "javascript:" not in fragment.text and "private@example.org" not in fragment.text assert "javascript:" not in response.text and "private@example.org" not in response.text assert "/admin/employees/" not in response.text and "/admin/logout" not in response.text - assert "Backend 2.1.0 · Frontend 2.1.0" in response.text + assert "Backend 2.1.1 · Frontend 2.1.1" in response.text assert "Вход в систему" in response.text assert client.get("/admin/directory", follow_redirects=False).status_code in (302, 303, 401, 403) assert "Сотрудники не найдены" in client.get("/admin/council?q=missing").text From 6ad8fcd9d22a47653e3eecc98bcc356be0ff5c66 Mon Sep 17 00:00:00 2001 From: codex Date: Mon, 16 Nov 2026 16:03:33 +0300 Subject: [PATCH 3/3] Document directory filters and XLSX export release --- CHANGELOG.md | 5 +++++ 1 file changed, 5 insertions(+) diff --git a/CHANGELOG.md b/CHANGELOG.md index ee91851..05c6bb4 100644 --- a/CHANGELOG.md +++ b/CHANGELOG.md @@ -1,5 +1,10 @@ # Changelog +## 2.1.1 + +- В справочнике всегда видны поиск по ФИО или ссылке, чекбокс «ППС», поле сортировки, стрелки направления и число сотрудников на странице. Остальные условия находятся в сворачиваемой панели. +- Кнопка «Скачать XLSX» выгружает все 15 колонок и все найденные строки со всех страниц с учётом применённых фильтров и выбранного порядка. + ## 2.0.1 - Роль «Пользователь диссовета» добавляет раздел «Диссовет» к меню обычного пользователя и разрешает редактировать публикации. Без входа доступен только просмотр диссовета, включая публикации и выгрузку XLSX.