diff --git a/CHANGELOG.md b/CHANGELOG.md index ee91851..05c6bb4 100644 --- a/CHANGELOG.md +++ b/CHANGELOG.md @@ -1,5 +1,10 @@ # Changelog +## 2.1.1 + +- В справочнике всегда видны поиск по ФИО или ссылке, чекбокс «ППС», поле сортировки, стрелки направления и число сотрудников на странице. Остальные условия находятся в сворачиваемой панели. +- Кнопка «Скачать XLSX» выгружает все 15 колонок и все найденные строки со всех страниц с учётом применённых фильтров и выбранного порядка. + ## 2.0.1 - Роль «Пользователь диссовета» добавляет раздел «Диссовет» к меню обычного пользователя и разрешает редактировать публикации. Без входа доступен только просмотр диссовета, включая публикации и выгрузку XLSX. diff --git a/README.md b/README.md index a88d140..27f7c08 100644 --- a/README.md +++ b/README.md @@ -47,7 +47,7 @@ uvicorn app.main:app --reload - «Сотрудники»: поиск, фильтры, сортировка, пагинация и выбор колонок. По умолчанию показаны ФИО, статус, должности, дата последнего обнаружения и внешний профиль. В диалоге колонок доступны наборы «Проверка», «Контакты» и «Все поля»; ранее сохранённый выбор сохраняется. - «Запуски»: история обходов, ошибки и доступный индикатор прогресса. -Все фильтры применяются кнопкой «Применить фильтры» с переходом на первую страницу. «Сбросить» очищает условия; при устаревшем номере страницы каталог возвращает первую. Подписи полей показывают выбранные условия, над таблицей указан диапазон результатов. Пояснения дат и статусов находятся под фильтрами. +Поиск по ФИО или ссылке, ППС, сортировка и число строк видны всегда. Остальные условия находятся в «Дополнительных фильтрах». «Применить фильтры» обновляет список и возвращает на первую страницу, «Сбросить» очищает условия. «Скачать XLSX» выгружает все колонки и все строки, найденные с применёнными условиями, в выбранном порядке. Пояснения дат и статусов находятся под фильтрами. Каталог поддерживает навигацию с клавиатуры и системный диалог колонок с Escape и возвратом фокуса. На узких экранах таблица прокручивается внутри страницы, колонка ФИО закреплена. Используется системный шрифт без внешних загрузок. diff --git a/app/admin.py b/app/admin.py index 884bd52..4d21fdc 100644 --- a/app/admin.py +++ b/app/admin.py @@ -1,5 +1,5 @@ from copy import deepcopy -from typing import Literal +from typing import Annotated, Literal from pydantic import BaseModel, Field, ConfigDict from fastapi import APIRouter, BackgroundTasks, Depends, Form, Query, Request, HTTPException from fastapi.responses import HTMLResponse, RedirectResponse, Response @@ -15,6 +15,8 @@ from app.security import (SESSION_COOKIE, LOGIN_CSRF_COOKIE, SESSION_SECONDS, US optional_user, sign_session, authenticate, can_use_council, check_csrf) import secrets from app.services.admin_data import ( + DIRECTORY_COLUMNS, + EMPLOYEE_SORTS, employee_detail_payload, format_admin_datetime, list_employees_page, @@ -26,6 +28,7 @@ from app.services.crawl_control import get_running_run, run_crawl_if_idle from app.services.crawler import refresh_dismissed_status, refresh_employee from app.services.council import CouncilInputError, council_candidates, _journal_key from app.services.council_export import council_xlsx +from app.services.directory_export import directory_xlsx from app.version import BACKEND_VERSION, FRONTEND_VERSION router = APIRouter(prefix="/admin", dependencies=[Depends(check_csrf)]) @@ -109,67 +112,64 @@ def employees( return RedirectResponse("/admin/directory", status_code=303) -@router.get("/directory", response_class=HTMLResponse) -def directory( - request: Request, - status: str | None = None, - q: str | None = None, - started_from: str | None = None, - started_to: str | None = None, - has_email: str | None = None, - has_academic_degree: str | None = None, - pps: bool = False, - has_training: Literal["", "true", "false"] = "", - training_since_year: str = Query(default="", pattern=r"^([1-9][0-9]{3})?$"), - sort: str = "full_name", - direction: str = "asc", - limit: int = 50, - offset: int = 0, - db: Session = Depends(get_db), - settings: Settings = Depends(get_settings), -): - require_user(request, settings, db) - parsed_started_from = _parse_date(started_from) - parsed_started_to = _parse_date(started_to) - parsed_has_email = None if has_email in (None, "") else has_email == "true" - parsed_has_academic_degree = None if has_academic_degree in (None, "") else has_academic_degree == "true" - try: - page = list_employees_page( +class DirectoryFilters(BaseModel): + status: str = "" + q: str = "" + started_from: str = "" + started_to: str = "" + has_email: str = "" + has_academic_degree: str = "" + pps: bool = False + has_training: Literal["", "true", "false"] = "" + training_since_year: str = Field(default="", pattern=r"^([1-9][0-9]{3})?$") + sort: str = "full_name" + direction: str = "asc" + limit: int = 50 + offset: int = 0 + + def employee_page(self, db: Session, *, paginate: bool = True) -> dict: + return list_employees_page( db, - status=status, - q=q, - started_from=parsed_started_from, - started_to=parsed_started_to, - has_email=parsed_has_email, - has_academic_degree=parsed_has_academic_degree, - pps=pps, - has_training=has_training == "true" if has_training else None, - training_since_year=int(training_since_year) if training_since_year else None, - sort=sort, - direction=direction, - limit=limit, - offset=offset, + status=self.status, + q=self.q, + started_from=_parse_date(self.started_from), + started_to=_parse_date(self.started_to), + has_email=self.has_email == "true" if self.has_email else None, + has_academic_degree=self.has_academic_degree == "true" if self.has_academic_degree else None, + pps=self.pps, + has_training=self.has_training == "true" if self.has_training else None, + training_since_year=int(self.training_since_year) if self.training_since_year else None, + sort=self.sort, + direction=self.direction, + limit=self.limit, + offset=self.offset, + paginate=paginate, ) + + +@router.get("/directory", response_class=HTMLResponse) +def directory(request: Request, filters: Annotated[DirectoryFilters, Query()], + db: Session = Depends(get_db), settings: Settings = Depends(get_settings)): + require_user(request, settings, db) + try: + page = filters.employee_page(db) except SQLAlchemyError: db.rollback() return _render(request, "directory_error.html", {}, status_code=503) + export_url = request.url_for("directory_export").include_query_params( + **filters.model_dump(exclude={"limit", "offset"}, exclude_defaults=True) + ) return _render( request, "directory.html", { "page": page, + "directory_columns": DIRECTORY_COLUMNS, + "export_url": export_url, "filters": { - "status": status or "", - "q": q or "", - "started_from": started_from or "", - "started_to": started_to or "", - "has_email": has_email or "", - "has_academic_degree": has_academic_degree or "", - "pps": pps, - "has_training": has_training, - "training_since_year": training_since_year, - "sort": sort, - "direction": direction, + **filters.model_dump(), + "sort": filters.sort if filters.sort in EMPLOYEE_SORTS else "full_name", + "direction": "desc" if filters.direction == "desc" else "asc", "limit": page["limit"], "offset": page["offset"], }, @@ -177,6 +177,19 @@ def directory( ) +@router.get("/directory/export.xlsx") +def directory_export(request: Request, filters: Annotated[DirectoryFilters, Query()], + db: Session = Depends(get_db), settings: Settings = Depends(get_settings)): + require_user(request, settings, db) + try: + content = directory_xlsx(filters.employee_page(db, paginate=False)["employees"]) + except (SQLAlchemyError, OSError, ValueError): + db.rollback() + raise HTTPException(503, "Не удалось выгрузить сотрудников. Попробуйте ещё раз") + return Response(content, media_type="application/vnd.openxmlformats-officedocument.spreadsheetml.sheet", + headers={"Content-Disposition": 'attachment; filename="employees.xlsx"', "Cache-Control": "no-store"}) + + @router.get("/council", response_class=HTMLResponse) def council(request: Request, q: str = "", offset: int = 0, sort: str = "total_count", direction: str = "desc", specialty: str = "", branch: str = "технические", db: Session = Depends(get_db), settings: Settings = Depends(get_settings)): diff --git a/app/services/admin_data.py b/app/services/admin_data.py index 0021af7..f284ea1 100644 --- a/app/services/admin_data.py +++ b/app/services/admin_data.py @@ -7,7 +7,7 @@ from typing import Any from zoneinfo import ZoneInfo from sqlalchemy import Select, Text, and_, desc, func, or_, select -from sqlalchemy.orm import Session +from sqlalchemy.orm import Session, selectinload from app.models import CrawlError, CrawlRun, CrawlRunEmployeeChange, Employee, EmployeeNewsLink from app.services.academic_degrees import academic_degrees @@ -21,6 +21,25 @@ EMPLOYEE_SORTS = { "hse_start_year": Employee.current_data["hse_start_year"].as_integer(), } +# Table key, column title, and the corresponding value in the display payload. +DIRECTORY_COLUMNS = ( + ("full_name", "ФИО", "full_name"), + ("status", "Статус", "status_display"), + ("positions", "Должности", "positions_text"), + ("hse_start_year", "Год начала", "hse_start_year"), + ("email", "Email", "email_text"), + ("phone", "Телефон", "phone_text"), + ("address", "Адрес", "address"), + ("academic_degree", "Учёная степень", "academic_degree_text"), + ("publications_count", "Публикации", "publications_count"), + ("courses_count", "Курсы", "courses_count"), + ("news_count", "Новости", "news_count"), + ("first_seen_at", "Впервые найден", "first_seen_display"), + ("last_seen_at", "Последний раз найден", "last_seen_display"), + ("dismissed_at", "Дата увольнения", "dismissed_display"), + ("profile", "Профиль", "canonical_url"), +) + _TRAINING_LABEL = "повышение квалификации" _TRAINING_KIND = re.compile(r",\s*повышение квалификации\s*(?:,|$)", re.IGNORECASE) _TRAINING_MENTION = re.compile( @@ -162,6 +181,7 @@ def list_employees_page( direction: str = "asc", limit: int = 50, offset: int = 0, + paginate: bool = True, ) -> dict[str, Any]: limit = limit if limit in {25, 50, 100} else 50 offset = max(0, offset) @@ -175,7 +195,9 @@ def list_employees_page( ) sort_column = EMPLOYEE_SORTS.get(sort, Employee.full_name) order = desc(sort_column) if direction == "desc" else sort_column - ordered_stmt = base_stmt.order_by(order) + ordered_stmt = base_stmt.order_by(order, Employee.id) + if not paginate: + ordered_stmt = ordered_stmt.options(selectinload(Employee.news_links)) if has_training is None and training_since_year is not None: has_training = True if pps or has_training is not None: @@ -190,19 +212,24 @@ def list_employees_page( continue if has_training is not None and _has_training(data, training_since_year) != has_training: continue - if offset and total < limit: + if paginate and offset and total < limit: first_page.append(employee) - if offset <= total < offset + limit: + if not paginate or offset <= total < offset + limit: employees.append(employee) total += 1 - if offset >= total: + if paginate and offset >= total: employees = first_page offset = 0 + elif not paginate: + employees = db.scalars(ordered_stmt).all() + total = len(employees) else: total = db.scalar(select(func.count()).select_from(base_stmt.subquery())) or 0 if offset >= total: offset = 0 employees = db.scalars(ordered_stmt.limit(limit).offset(offset)).all() + if not paginate: + offset = 0 return { "employees": [employee_display_payload(employee) for employee in employees], "total": total, diff --git a/app/services/council_export.py b/app/services/council_export.py index 29c50d4..00f060f 100644 --- a/app/services/council_export.py +++ b/app/services/council_export.py @@ -4,7 +4,6 @@ from io import BytesIO from textwrap import fill from openpyxl import Workbook -from openpyxl.cell.cell import ILLEGAL_CHARACTERS_RE from openpyxl.styles import Alignment, Font, PatternFill from openpyxl.utils import get_column_letter from openpyxl.worksheet.datavalidation import DataValidation @@ -13,23 +12,13 @@ from openpyxl.workbook.defined_name import DefinedName from app.version import BACKEND_VERSION, FRONTEND_VERSION from app.services.council_source import _name +from app.services.xlsx import append_text_row as _append SORT_LABELS = {"full_name": "ФИО", "q1_count": "Q1", "q2_count": "Q2", "k1_count": "К1", "k2_count": "К2", "rsci_count": "RSCI", "total_count": "Всего", "confirmed_count": "Подтверждено", "db_count": "ЛК сотрудника ВШЭ", "count": "Все публикации"} -def _append(sheet, values): - values = [ILLEGAL_CHARACTERS_RE.sub("", value) if isinstance(value, str) else value for value in values] - if any(isinstance(value, str) and len(value) > 32767 for value in values): - raise ValueError("Text exceeds Excel cell limit") - sheet.append(values) - for column, value in enumerate(values, 1): - if isinstance(value, str): - # Source text is never executable; formulas are written separately. - sheet.cell(sheet._current_row, column).data_type = "s" - - def council_xlsx(result: dict, selection_results: list[dict]) -> bytes: workbook = Workbook() workbook.properties.creator = "MIEM Employees" diff --git a/app/services/directory_export.py b/app/services/directory_export.py new file mode 100644 index 0000000..827e7b7 --- /dev/null +++ b/app/services/directory_export.py @@ -0,0 +1,29 @@ +from io import BytesIO + +from openpyxl import Workbook +from openpyxl.styles import Font +from openpyxl.utils import get_column_letter + +from app.services.admin_data import DIRECTORY_COLUMNS +from app.services.xlsx import append_text_row + + +def directory_xlsx(employees: list[dict]) -> bytes: + workbook = Workbook() + workbook.properties.creator = "MIEM Employees" + sheet = workbook.active + sheet.title = "Сотрудники" + append_text_row(sheet, [label for _, label, _ in DIRECTORY_COLUMNS]) + for employee in employees: + append_text_row(sheet, [ + (employee[key] or "Без имени") if key == "full_name" else employee[key] + for _, _, key in DIRECTORY_COLUMNS + ]) + for cell, width in zip(sheet[1], (34, 20, 48, 14, 28, 22, 34, 30, 14, 10, 10, 22, 24, 22, 46)): + cell.font = Font(bold=True) + sheet.column_dimensions[get_column_letter(cell.column)].width = width + sheet.freeze_panes = "A2" + sheet.auto_filter.ref = sheet.dimensions + output = BytesIO() + workbook.save(output) + return output.getvalue() diff --git a/app/services/xlsx.py b/app/services/xlsx.py new file mode 100644 index 0000000..93e4c88 --- /dev/null +++ b/app/services/xlsx.py @@ -0,0 +1,12 @@ +from openpyxl.cell.cell import ILLEGAL_CHARACTERS_RE + + +def append_text_row(sheet, values): + values = [ILLEGAL_CHARACTERS_RE.sub("", value) if isinstance(value, str) else value for value in values] + if any(isinstance(value, str) and len(value) > 32767 for value in values): + raise ValueError("Text exceeds Excel cell limit") + sheet.append(values) + for column, value in enumerate(values, 1): + if isinstance(value, str): + # Source text is never executable; formulas are written separately. + sheet.cell(sheet._current_row, column).data_type = "s" diff --git a/app/static/admin.css b/app/static/admin.css index 904cb75..fb28861 100644 --- a/app/static/admin.css +++ b/app/static/admin.css @@ -67,7 +67,7 @@ outline-offset: 2px; } -:is(.directory__filters, .council__search) :is(input, select):focus { +:is(.directory__toolbar, .directory__filters, .council__search) :is(input, select):focus { outline: 2px solid #0f766e; outline-offset: 0; } @@ -564,6 +564,92 @@ color: #6b7280; } +.directory__actions, +.directory__toolbar { + display: flex; + flex-wrap: wrap; + align-items: end; + gap: 8px; +} + +.directory__toolbar { + column-gap: 12px; +} + +.directory__search { + flex: 1 1 240px; +} + +.directory__direction { + display: flex; + gap: 4px; + min-width: 0; + margin: 0; + padding: 0; + border: 0; +} + +.directory__direction legend { + margin-bottom: 5px; + padding: 0; + color: #4b5563; + font-size: 12px; + font-weight: 700; +} + +.directory__direction label { + position: relative; + cursor: pointer; +} + +.directory__direction input { + position: absolute; + inline-size: 1px; + block-size: 1px; + margin: 0; + opacity: 0; +} + +.directory__direction span { + display: grid; + place-items: center; + box-sizing: border-box; + width: 44px; + height: 44px; + color: #1f2937; + background: #fff; + border: 1px solid #cbd5e1; + border-radius: 6px; +} + +.directory__direction label:hover span { + border-color: #0f766e; +} + +.directory__direction input:checked + span { + color: #fff; + background: #0f766e; + border-color: #0f766e; +} + +.directory__direction input:focus-visible + span { + outline: 2px solid #0f766e; + outline-offset: 2px; +} + +@media (forced-colors: active) { + .directory__direction input:checked + span { + color: HighlightText; + background: Highlight; + border-color: Highlight; + forced-color-adjust: none; + } +} + +.directory__filter-panel { + margin-top: 8px; +} + .directory__filter-panel > summary { width: fit-content; min-height: 44px; @@ -574,7 +660,7 @@ .directory__filters { display: grid; - grid-template-columns: repeat(5, minmax(0, 1fr)); + grid-template-columns: repeat(3, minmax(0, 1fr)); gap: 10px; padding: 16px; background: #ffffff; @@ -593,10 +679,6 @@ border: 0; } -.directory__filter-group--search { - grid-template-columns: 1fr; -} - .directory__filter-legend { grid-column: 1 / -1; margin-bottom: 2px; @@ -801,22 +883,11 @@ font-weight: 700; } -@media (max-width: 1100px) { - .directory__filters { - grid-template-columns: repeat(3, minmax(0, 1fr)); - } -} - @media (max-width: 920px) { .directory__filters { grid-template-columns: 1fr 1fr; } - .directory__filter-group--search, - .directory__filter-actions { - grid-column: 1 / -1; - } - .progress-panel__header, .directory__header, .employee-card__header { @@ -855,10 +926,12 @@ grid-template-columns: 1fr; } - .directory__filter-group, - .directory__filter-group--search, - .directory__filter-actions { - grid-column: 1; + .directory__search { + flex-basis: 100%; + } + + .directory__sort { + flex: 1 1 120px; } .directory__field { diff --git a/app/static/admin.js b/app/static/admin.js index d4ffe05..14dc603 100644 --- a/app/static/admin.js +++ b/app/static/admin.js @@ -148,6 +148,11 @@ }, 4000); } + const directoryFilters = document.querySelector(".directory__filter-panel"); + directoryFilters?.addEventListener("invalid", () => { + directoryFilters.open = true; + }, true); + setupColumns(); setupProgress(); })(); diff --git a/app/static/guide.js b/app/static/guide.js index d7b59fc..11580ad 100644 --- a/app/static/guide.js +++ b/app/static/guide.js @@ -10,23 +10,21 @@ {id: 'welcome', title: 'Познакомьтесь с Workers', intro: (councilAccess ? 'Найдите сотрудника, подберите кандидатов в диссовет и проверьте публикации. ' : 'Найдите сотрудника и изучите его профиль. ') + 'Подсказки можно повторить из меню «Как пользоваться».'}, - {id: 'employee-search', path: directory, title: 'Найдите сотрудника', region: '.directory__filter-panel', tips: [ + {id: 'employee-search', path: directory, title: 'Найдите сотрудника', region: '.directory__toolbar', tips: [ ['[name="q"]', 'Введите фамилию, часть ФИО или ссылку на профиль ВШЭ.'], - ['[name="status"]', '«Требует проверки» означает, что профиль недоступен, а увольнение ещё не подтверждено.'], - ['[name="has_email"]', 'Чтобы найти рабочие контакты, выберите «Есть email».'], + ['[name="pps"]', 'Оставьте сотрудников профессорско-преподавательского состава.'], ]}, {id: 'employee-filters', path: directory, title: 'Уточните список', region: '.directory__filter-panel', tips: [ ['[name="has_academic_degree"]', 'Звание профессора или доцента само по себе не считается учёной степенью.'], - ['[name="pps"]', 'Оставьте сотрудников профессорско-преподавательского состава.'], + ['[name="has_email"]', 'Чтобы найти рабочие контакты, выберите «Есть email».'], ['[name="started_to"]', '«От» и «До» задают период первого обнаружения профиля системой.'], ]}, {id: 'employee-training', path: directory, title: 'Проверьте повышение квалификации', region: '.directory__filter-panel', tips: [ ['[name="has_training"]', 'Выберите «Есть курсы» или «Нет курсов» по записям в профиле ВШЭ.'], ['[name="training_since_year"]', 'Например, 2024 включает 2024 год и все последующие.'], ]}, - {id: 'employee-sort', path: directory, title: 'Настройте порядок списка', region: '.directory__filter-panel', tips: [ - ['[name="sort"]', '«Год начала» — начало работы в ВШЭ. «Впервые найден» — когда профиль обнаружила система.'], - ['[name="direction"]', 'Чтобы увидеть новые записи первыми, выберите «По убыванию».'], + {id: 'employee-sort', path: directory, title: 'Настройте порядок списка', region: '.directory__toolbar', tips: [ + ['[name="sort"]', 'Выберите поле сортировки. Стрелка вниз покажет наибольшие значения или новые даты первыми.'], ['[name="limit"]', 'Выберите число строк и нажмите «Применить фильтры».'], ]}, {id: 'employee-profile', path: directory, title: 'Откройте карточку сотрудника', region: '.directory__header', tips: [ diff --git a/app/templates/directory.html b/app/templates/directory.html index 2838598..e57c5db 100644 --- a/app/templates/directory.html +++ b/app/templates/directory.html @@ -9,77 +9,89 @@ {% set range_end = [page.offset + page.employees|length, page.total]|min %}
Показаны {{ range_start }}–{{ range_end }} из {{ page.total }}
- +