Фильтры и выгрузка XLSX справочника сотрудников #78

Merged
agent merged 3 commits from feature/directory-filters-xlsx into main 2026-11-16 13:05:44 +00:00
18 changed files with 399 additions and 186 deletions

No files matched your search

+5
View File
@@ -1,5 +1,10 @@
# Changelog
## 2.1.1
- В справочнике всегда видны поиск по ФИО или ссылке, чекбокс «ППС», поле сортировки, стрелки направления и число сотрудников на странице. Остальные условия находятся в сворачиваемой панели.
- Кнопка «Скачать XLSX» выгружает все 15 колонок и все найденные строки со всех страниц с учётом применённых фильтров и выбранного порядка.
## 2.0.1
- Роль «Пользователь диссовета» добавляет раздел «Диссовет» к меню обычного пользователя и разрешает редактировать публикации. Без входа доступен только просмотр диссовета, включая публикации и выгрузку XLSX.
+1 -1
View File
@@ -47,7 +47,7 @@ uvicorn app.main:app --reload
- «Сотрудники»: поиск, фильтры, сортировка, пагинация и выбор колонок. По умолчанию показаны ФИО, статус, должности, дата последнего обнаружения и внешний профиль. В диалоге колонок доступны наборы «Проверка», «Контакты» и «Все поля»; ранее сохранённый выбор сохраняется.
- «Запуски»: история обходов, ошибки и доступный индикатор прогресса.
Все фильтры применяются кнопкой «Применить фильтры» с переходом на первую страницу. «Сбросить» очищает условия; при устаревшем номере страницы каталог возвращает первую. Подписи полей показывают выбранные условия, над таблицей указан диапазон результатов. Пояснения дат и статусов находятся под фильтрами.
Поиск по ФИО или ссылке, ППС, сортировка и число строк видны всегда. Остальные условия находятся в «Дополнительных фильтрах». «Применить фильтры» обновляет список и возвращает на первую страницу, «Сбросить» очищает условия. «Скачать XLSX» выгружает все колонки и все строки, найденные с применёнными условиями, в выбранном порядке. Пояснения дат и статусов находятся под фильтрами.
Каталог поддерживает навигацию с клавиатуры и системный диалог колонок с Escape и возвратом фокуса. На узких экранах таблица прокручивается внутри страницы, колонка ФИО закреплена. Используется системный шрифт без внешних загрузок.
+64 -51
View File
@@ -1,5 +1,5 @@
from copy import deepcopy
from typing import Literal
from typing import Annotated, Literal
from pydantic import BaseModel, Field, ConfigDict
from fastapi import APIRouter, BackgroundTasks, Depends, Form, Query, Request, HTTPException
from fastapi.responses import HTMLResponse, RedirectResponse, Response
@@ -15,6 +15,8 @@ from app.security import (SESSION_COOKIE, LOGIN_CSRF_COOKIE, SESSION_SECONDS, US
optional_user, sign_session, authenticate, can_use_council, check_csrf)
import secrets
from app.services.admin_data import (
DIRECTORY_COLUMNS,
EMPLOYEE_SORTS,
employee_detail_payload,
format_admin_datetime,
list_employees_page,
@@ -26,6 +28,7 @@ from app.services.crawl_control import get_running_run, run_crawl_if_idle
from app.services.crawler import refresh_dismissed_status, refresh_employee
from app.services.council import CouncilInputError, council_candidates, _journal_key
from app.services.council_export import council_xlsx
from app.services.directory_export import directory_xlsx
from app.version import BACKEND_VERSION, FRONTEND_VERSION
router = APIRouter(prefix="/admin", dependencies=[Depends(check_csrf)])
@@ -109,67 +112,64 @@ def employees(
return RedirectResponse("/admin/directory", status_code=303)
@router.get("/directory", response_class=HTMLResponse)
def directory(
request: Request,
status: str | None = None,
q: str | None = None,
started_from: str | None = None,
started_to: str | None = None,
has_email: str | None = None,
has_academic_degree: str | None = None,
pps: bool = False,
has_training: Literal["", "true", "false"] = "",
training_since_year: str = Query(default="", pattern=r"^([1-9][0-9]{3})?$"),
sort: str = "full_name",
direction: str = "asc",
limit: int = 50,
offset: int = 0,
db: Session = Depends(get_db),
settings: Settings = Depends(get_settings),
):
require_user(request, settings, db)
parsed_started_from = _parse_date(started_from)
parsed_started_to = _parse_date(started_to)
parsed_has_email = None if has_email in (None, "") else has_email == "true"
parsed_has_academic_degree = None if has_academic_degree in (None, "") else has_academic_degree == "true"
try:
page = list_employees_page(
class DirectoryFilters(BaseModel):
status: str = ""
q: str = ""
started_from: str = ""
started_to: str = ""
has_email: str = ""
has_academic_degree: str = ""
pps: bool = False
has_training: Literal["", "true", "false"] = ""
training_since_year: str = Field(default="", pattern=r"^([1-9][0-9]{3})?$")
sort: str = "full_name"
direction: str = "asc"
limit: int = 50
offset: int = 0
def employee_page(self, db: Session, *, paginate: bool = True) -> dict:
return list_employees_page(
db,
status=status,
q=q,
started_from=parsed_started_from,
started_to=parsed_started_to,
has_email=parsed_has_email,
has_academic_degree=parsed_has_academic_degree,
pps=pps,
has_training=has_training == "true" if has_training else None,
training_since_year=int(training_since_year) if training_since_year else None,
sort=sort,
direction=direction,
limit=limit,
offset=offset,
status=self.status,
q=self.q,
started_from=_parse_date(self.started_from),
started_to=_parse_date(self.started_to),
has_email=self.has_email == "true" if self.has_email else None,
has_academic_degree=self.has_academic_degree == "true" if self.has_academic_degree else None,
pps=self.pps,
has_training=self.has_training == "true" if self.has_training else None,
training_since_year=int(self.training_since_year) if self.training_since_year else None,
sort=self.sort,
direction=self.direction,
limit=self.limit,
offset=self.offset,
paginate=paginate,
)
@router.get("/directory", response_class=HTMLResponse)
def directory(request: Request, filters: Annotated[DirectoryFilters, Query()],
db: Session = Depends(get_db), settings: Settings = Depends(get_settings)):
require_user(request, settings, db)
try:
page = filters.employee_page(db)
except SQLAlchemyError:
db.rollback()
return _render(request, "directory_error.html", {}, status_code=503)
export_url = request.url_for("directory_export").include_query_params(
**filters.model_dump(exclude={"limit", "offset"}, exclude_defaults=True)
)
return _render(
request,
"directory.html",
{
"page": page,
"directory_columns": DIRECTORY_COLUMNS,
"export_url": export_url,
"filters": {
"status": status or "",
"q": q or "",
"started_from": started_from or "",
"started_to": started_to or "",
"has_email": has_email or "",
"has_academic_degree": has_academic_degree or "",
"pps": pps,
"has_training": has_training,
"training_since_year": training_since_year,
"sort": sort,
"direction": direction,
**filters.model_dump(),
"sort": filters.sort if filters.sort in EMPLOYEE_SORTS else "full_name",
"direction": "desc" if filters.direction == "desc" else "asc",
"limit": page["limit"],
"offset": page["offset"],
},
@@ -177,6 +177,19 @@ def directory(
)
@router.get("/directory/export.xlsx")
def directory_export(request: Request, filters: Annotated[DirectoryFilters, Query()],
db: Session = Depends(get_db), settings: Settings = Depends(get_settings)):
require_user(request, settings, db)
try:
content = directory_xlsx(filters.employee_page(db, paginate=False)["employees"])
except (SQLAlchemyError, OSError, ValueError):
db.rollback()
raise HTTPException(503, "Не удалось выгрузить сотрудников. Попробуйте ещё раз")
return Response(content, media_type="application/vnd.openxmlformats-officedocument.spreadsheetml.sheet",
headers={"Content-Disposition": 'attachment; filename="employees.xlsx"', "Cache-Control": "no-store"})
@router.get("/council", response_class=HTMLResponse)
def council(request: Request, q: str = "", offset: int = 0, sort: str = "total_count", direction: str = "desc", specialty: str = "", branch: str = "технические",
db: Session = Depends(get_db), settings: Settings = Depends(get_settings)):
+32 -5
View File
@@ -7,7 +7,7 @@ from typing import Any
from zoneinfo import ZoneInfo
from sqlalchemy import Select, Text, and_, desc, func, or_, select
from sqlalchemy.orm import Session
from sqlalchemy.orm import Session, selectinload
from app.models import CrawlError, CrawlRun, CrawlRunEmployeeChange, Employee, EmployeeNewsLink
from app.services.academic_degrees import academic_degrees
@@ -21,6 +21,25 @@ EMPLOYEE_SORTS = {
"hse_start_year": Employee.current_data["hse_start_year"].as_integer(),
}
# Table key, column title, and the corresponding value in the display payload.
DIRECTORY_COLUMNS = (
("full_name", "ФИО", "full_name"),
("status", "Статус", "status_display"),
("positions", "Должности", "positions_text"),
("hse_start_year", "Год начала", "hse_start_year"),
("email", "Email", "email_text"),
("phone", "Телефон", "phone_text"),
("address", "Адрес", "address"),
("academic_degree", "Учёная степень", "academic_degree_text"),
("publications_count", "Публикации", "publications_count"),
("courses_count", "Курсы", "courses_count"),
("news_count", "Новости", "news_count"),
("first_seen_at", "Впервые найден", "first_seen_display"),
("last_seen_at", "Последний раз найден", "last_seen_display"),
("dismissed_at", "Дата увольнения", "dismissed_display"),
("profile", "Профиль", "canonical_url"),
)
_TRAINING_LABEL = "повышение квалификации"
_TRAINING_KIND = re.compile(r",\s*повышение квалификации\s*(?:,|$)", re.IGNORECASE)
_TRAINING_MENTION = re.compile(
@@ -162,6 +181,7 @@ def list_employees_page(
direction: str = "asc",
limit: int = 50,
offset: int = 0,
paginate: bool = True,
) -> dict[str, Any]:
limit = limit if limit in {25, 50, 100} else 50
offset = max(0, offset)
@@ -175,7 +195,9 @@ def list_employees_page(
)
sort_column = EMPLOYEE_SORTS.get(sort, Employee.full_name)
order = desc(sort_column) if direction == "desc" else sort_column
ordered_stmt = base_stmt.order_by(order)
ordered_stmt = base_stmt.order_by(order, Employee.id)
if not paginate:
ordered_stmt = ordered_stmt.options(selectinload(Employee.news_links))
if has_training is None and training_since_year is not None:
has_training = True
if pps or has_training is not None:
@@ -190,19 +212,24 @@ def list_employees_page(
continue
if has_training is not None and _has_training(data, training_since_year) != has_training:
continue
if offset and total < limit:
if paginate and offset and total < limit:
first_page.append(employee)
if offset <= total < offset + limit:
if not paginate or offset <= total < offset + limit:
employees.append(employee)
total += 1
if offset >= total:
if paginate and offset >= total:
employees = first_page
offset = 0
elif not paginate:
employees = db.scalars(ordered_stmt).all()
total = len(employees)
else:
total = db.scalar(select(func.count()).select_from(base_stmt.subquery())) or 0
if offset >= total:
offset = 0
employees = db.scalars(ordered_stmt.limit(limit).offset(offset)).all()
if not paginate:
offset = 0
return {
"employees": [employee_display_payload(employee) for employee in employees],
"total": total,
+1 -12
View File
@@ -4,7 +4,6 @@ from io import BytesIO
from textwrap import fill
from openpyxl import Workbook
from openpyxl.cell.cell import ILLEGAL_CHARACTERS_RE
from openpyxl.styles import Alignment, Font, PatternFill
from openpyxl.utils import get_column_letter
from openpyxl.worksheet.datavalidation import DataValidation
@@ -13,23 +12,13 @@ from openpyxl.workbook.defined_name import DefinedName
from app.version import BACKEND_VERSION, FRONTEND_VERSION
from app.services.council_source import _name
from app.services.xlsx import append_text_row as _append
SORT_LABELS = {"full_name": "ФИО", "q1_count": "Q1", "q2_count": "Q2", "k1_count": "К1",
"k2_count": "К2", "rsci_count": "RSCI", "total_count": "Всего",
"confirmed_count": "Подтверждено", "db_count": "ЛК сотрудника ВШЭ", "count": "Все публикации"}
def _append(sheet, values):
values = [ILLEGAL_CHARACTERS_RE.sub("", value) if isinstance(value, str) else value for value in values]
if any(isinstance(value, str) and len(value) > 32767 for value in values):
raise ValueError("Text exceeds Excel cell limit")
sheet.append(values)
for column, value in enumerate(values, 1):
if isinstance(value, str):
# Source text is never executable; formulas are written separately.
sheet.cell(sheet._current_row, column).data_type = "s"
def council_xlsx(result: dict, selection_results: list[dict]) -> bytes:
workbook = Workbook()
workbook.properties.creator = "MIEM Employees"
+29
View File
@@ -0,0 +1,29 @@
from io import BytesIO
from openpyxl import Workbook
from openpyxl.styles import Font
from openpyxl.utils import get_column_letter
from app.services.admin_data import DIRECTORY_COLUMNS
from app.services.xlsx import append_text_row
def directory_xlsx(employees: list[dict]) -> bytes:
workbook = Workbook()
workbook.properties.creator = "MIEM Employees"
sheet = workbook.active
sheet.title = "Сотрудники"
append_text_row(sheet, [label for _, label, _ in DIRECTORY_COLUMNS])
for employee in employees:
append_text_row(sheet, [
(employee[key] or "Без имени") if key == "full_name" else employee[key]
for _, _, key in DIRECTORY_COLUMNS
])
for cell, width in zip(sheet[1], (34, 20, 48, 14, 28, 22, 34, 30, 14, 10, 10, 22, 24, 22, 46)):
cell.font = Font(bold=True)
sheet.column_dimensions[get_column_letter(cell.column)].width = width
sheet.freeze_panes = "A2"
sheet.auto_filter.ref = sheet.dimensions
output = BytesIO()
workbook.save(output)
return output.getvalue()
+12
View File
@@ -0,0 +1,12 @@
from openpyxl.cell.cell import ILLEGAL_CHARACTERS_RE
def append_text_row(sheet, values):
values = [ILLEGAL_CHARACTERS_RE.sub("", value) if isinstance(value, str) else value for value in values]
if any(isinstance(value, str) and len(value) > 32767 for value in values):
raise ValueError("Text exceeds Excel cell limit")
sheet.append(values)
for column, value in enumerate(values, 1):
if isinstance(value, str):
# Source text is never executable; formulas are written separately.
sheet.cell(sheet._current_row, column).data_type = "s"
+94 -21
View File
@@ -67,7 +67,7 @@
outline-offset: 2px;
}
:is(.directory__filters, .council__search) :is(input, select):focus {
:is(.directory__toolbar, .directory__filters, .council__search) :is(input, select):focus {
outline: 2px solid #0f766e;
outline-offset: 0;
}
@@ -564,6 +564,92 @@
color: #6b7280;
}
.directory__actions,
.directory__toolbar {
display: flex;
flex-wrap: wrap;
align-items: end;
gap: 8px;
}
.directory__toolbar {
column-gap: 12px;
}
.directory__search {
flex: 1 1 240px;
}
.directory__direction {
display: flex;
gap: 4px;
min-width: 0;
margin: 0;
padding: 0;
border: 0;
}
.directory__direction legend {
margin-bottom: 5px;
padding: 0;
color: #4b5563;
font-size: 12px;
font-weight: 700;
}
.directory__direction label {
position: relative;
cursor: pointer;
}
.directory__direction input {
position: absolute;
inline-size: 1px;
block-size: 1px;
margin: 0;
opacity: 0;
}
.directory__direction span {
display: grid;
place-items: center;
box-sizing: border-box;
width: 44px;
height: 44px;
color: #1f2937;
background: #fff;
border: 1px solid #cbd5e1;
border-radius: 6px;
}
.directory__direction label:hover span {
border-color: #0f766e;
}
.directory__direction input:checked + span {
color: #fff;
background: #0f766e;
border-color: #0f766e;
}
.directory__direction input:focus-visible + span {
outline: 2px solid #0f766e;
outline-offset: 2px;
}
@media (forced-colors: active) {
.directory__direction input:checked + span {
color: HighlightText;
background: Highlight;
border-color: Highlight;
forced-color-adjust: none;
}
}
.directory__filter-panel {
margin-top: 8px;
}
.directory__filter-panel > summary {
width: fit-content;
min-height: 44px;
@@ -574,7 +660,7 @@
.directory__filters {
display: grid;
grid-template-columns: repeat(5, minmax(0, 1fr));
grid-template-columns: repeat(3, minmax(0, 1fr));
gap: 10px;
padding: 16px;
background: #ffffff;
@@ -593,10 +679,6 @@
border: 0;
}
.directory__filter-group--search {
grid-template-columns: 1fr;
}
.directory__filter-legend {
grid-column: 1 / -1;
margin-bottom: 2px;
@@ -801,22 +883,11 @@
font-weight: 700;
}
@media (max-width: 1100px) {
.directory__filters {
grid-template-columns: repeat(3, minmax(0, 1fr));
}
}
@media (max-width: 920px) {
.directory__filters {
grid-template-columns: 1fr 1fr;
}
.directory__filter-group--search,
.directory__filter-actions {
grid-column: 1 / -1;
}
.progress-panel__header,
.directory__header,
.employee-card__header {
@@ -855,10 +926,12 @@
grid-template-columns: 1fr;
}
.directory__filter-group,
.directory__filter-group--search,
.directory__filter-actions {
grid-column: 1;
.directory__search {
flex-basis: 100%;
}
.directory__sort {
flex: 1 1 120px;
}
.directory__field {
+5
View File
@@ -148,6 +148,11 @@
}, 4000);
}
const directoryFilters = document.querySelector(".directory__filter-panel");
directoryFilters?.addEventListener("invalid", () => {
directoryFilters.open = true;
}, true);
setupColumns();
setupProgress();
})();
+5 -7
View File
@@ -10,23 +10,21 @@
{id: 'welcome', title: 'Познакомьтесь с Workers',
intro: (councilAccess ? 'Найдите сотрудника, подберите кандидатов в диссовет и проверьте публикации. '
: 'Найдите сотрудника и изучите его профиль. ') + 'Подсказки можно повторить из меню «Как пользоваться».'},
{id: 'employee-search', path: directory, title: 'Найдите сотрудника', region: '.directory__filter-panel', tips: [
{id: 'employee-search', path: directory, title: 'Найдите сотрудника', region: '.directory__toolbar', tips: [
['[name="q"]', 'Введите фамилию, часть ФИО или ссылку на профиль ВШЭ.'],
['[name="status"]', '«Требует проверки» означает, что профиль недоступен, а увольнение ещё не подтверждено.'],
['[name="has_email"]', 'Чтобы найти рабочие контакты, выберите «Есть email».'],
['[name="pps"]', 'Оставьте сотрудников профессорско-преподавательского состава.'],
]},
{id: 'employee-filters', path: directory, title: 'Уточните список', region: '.directory__filter-panel', tips: [
['[name="has_academic_degree"]', 'Звание профессора или доцента само по себе не считается учёной степенью.'],
['[name="pps"]', 'Оставьте сотрудников профессорско-преподавательского состава.'],
['[name="has_email"]', 'Чтобы найти рабочие контакты, выберите «Есть email».'],
['[name="started_to"]', '«От» и «До» задают период первого обнаружения профиля системой.'],
]},
{id: 'employee-training', path: directory, title: 'Проверьте повышение квалификации', region: '.directory__filter-panel', tips: [
['[name="has_training"]', 'Выберите «Есть курсы» или «Нет курсов» по записям в профиле ВШЭ.'],
['[name="training_since_year"]', 'Например, 2024 включает 2024 год и все последующие.'],
]},
{id: 'employee-sort', path: directory, title: 'Настройте порядок списка', region: '.directory__filter-panel', tips: [
['[name="sort"]', '«Год начала» — начало работы в ВШЭ. «Впервые найден» — когда профиль обнаружила система.'],
['[name="direction"]', 'Чтобы увидеть новые записи первыми, выберите «По убыванию».'],
{id: 'employee-sort', path: directory, title: 'Настройте порядок списка', region: '.directory__toolbar', tips: [
['[name="sort"]', 'Выберите поле сортировки. Стрелка вниз покажет наибольшие значения или новые даты первыми.'],
['[name="limit"]', 'Выберите число строк и нажмите «Применить фильтры».'],
]},
{id: 'employee-profile', path: directory, title: 'Откройте карточку сотрудника', region: '.directory__header', tips: [
+79 -79
View File
@@ -9,77 +9,89 @@
{% set range_end = [page.offset + page.employees|length, page.total]|min %}
<p class="directory__summary" role="status">Показаны {{ range_start }}–{{ range_end }} из {{ page.total }}</p>
</div>
<button class="button" type="button" data-columns-open aria-controls="columns-dialog" aria-expanded="false">Настроить колонки</button>
<div class="directory__actions">
<a class="button button--secondary" href="{{ export_url }}">Скачать XLSX</a>
<button class="button" type="button" data-columns-open aria-controls="columns-dialog" aria-expanded="false">Настроить колонки</button>
</div>
</div>
{% set has_filters = filters.q or filters.status or filters.has_email or filters.has_academic_degree or filters.pps or filters.started_from or filters.started_to or filters.has_training or filters.training_since_year %}
<details class="directory__filter-panel">
<summary>Фильтры{% if has_filters %} · применены{% endif %}</summary>
<form class="directory__filters" method="get" action="/admin/directory">
<fieldset class="directory__filter-group directory__filter-group--search">
<legend class="directory__filter-legend">Поиск</legend>
<label class="directory__field">ФИО или ссылка<input class="directory__input" name="q" value="{{ filters.q }}" placeholder="Например, Иванов или hse.ru"></label>
</fieldset>
<fieldset class="directory__filter-group">
<legend class="directory__filter-legend">Статус и данные</legend>
<label class="directory__field">Статус<select class="directory__input" name="status">
<option value="" {% if not filters.status %}selected{% endif %}>Все статусы</option>
<option value="active" {% if filters.status == "active" %}selected{% endif %}>Работает</option>
<option value="verification_required" {% if filters.status == "verification_required" %}selected{% endif %}>Требует проверки</option>
<option value="dismissed" {% if filters.status == "dismissed" %}selected{% endif %}>Уволен</option>
</select></label>
<label class="directory__field">Email<select class="directory__input" name="has_email">
<option value="" {% if not filters.has_email %}selected{% endif %}>Любой email</option>
<option value="true" {% if filters.has_email == "true" %}selected{% endif %}>Есть email</option>
<option value="false" {% if filters.has_email == "false" %}selected{% endif %}>Нет email</option>
</select></label>
<label class="directory__field">Учёная степень<select class="directory__input" name="has_academic_degree">
<option value="" {% if not filters.has_academic_degree %}selected{% endif %}>Любая учёная степень</option>
<option value="true" {% if filters.has_academic_degree == "true" %}selected{% endif %}>Есть учёная степень</option>
<option value="false" {% if filters.has_academic_degree == "false" %}selected{% endif %}>Нет учёной степени</option>
</select></label>
{% set has_extra_filters = filters.status or filters.has_email or filters.has_academic_degree or filters.started_from or filters.started_to or filters.has_training or filters.training_since_year %}
{% set has_filters = filters.q or filters.pps or has_extra_filters %}
<form method="get" action="/admin/directory">
<div class="directory__toolbar">
<label class="directory__field directory__search">ФИО или ссылка<input class="directory__input" name="q" value="{{ filters.q }}" placeholder="Например, Иванов или hse.ru"></label>
<label class="directory__checkbox"><input type="checkbox" name="pps" value="true" {% if filters.pps %}checked{% endif %}> ППС</label>
</fieldset>
<fieldset class="directory__filter-group">
<legend class="directory__filter-legend">Повышение квалификации</legend>
<label class="directory__field">Курсы в профиле<select class="directory__input" name="has_training">
<option value="" {% if not filters.has_training %}selected{% endif %}>Любое</option>
<option value="true" {% if filters.has_training == "true" %}selected{% endif %}>Есть курсы</option>
<option value="false" {% if filters.has_training == "false" %}selected{% endif %}>Нет курсов</option>
</select></label>
<label class="directory__field">С какого года включительно
<input class="directory__input" name="training_since_year" inputmode="numeric" pattern="[1-9][0-9]{3}" maxlength="4" value="{{ filters.training_since_year }}" placeholder="Например, 2024" aria-describedby="training-year-hint">
</label>
<small class="directory__filter-hint" id="training-year-hint">Если указан только год, будут показаны сотрудники с курсами.</small>
</fieldset>
<fieldset class="directory__filter-group">
<legend class="directory__filter-legend">Период обнаружения</legend>
<label class="directory__field">От<input class="directory__input" type="date" name="started_from" value="{{ filters.started_from }}"></label>
<label class="directory__field">До<input class="directory__input" type="date" name="started_to" value="{{ filters.started_to }}"></label>
</fieldset>
<fieldset class="directory__filter-group">
<legend class="directory__filter-legend">Сортировка и страница</legend>
<label class="directory__field">Сортировать по<select class="directory__input" name="sort">
{% for value, label in [("full_name", "ФИО"), ("status", "Статус"), ("hse_start_year", "Год начала"), ("first_seen_at", "Впервые найден"), ("last_seen_at", "Последний раз найден"), ("dismissed_at", "Дата увольнения")] %}
<option value="{{ value }}" {% if filters.sort == value %}selected{% endif %}>{{ label }}</option>
{% endfor %}
</select></label>
<label class="directory__field">Направление<select class="directory__input" name="direction">
<option value="asc" {% if filters.direction == "asc" %}selected{% endif %}>По возрастанию</option>
<option value="desc" {% if filters.direction == "desc" %}selected{% endif %}>По убыванию</option>
<label class="directory__field directory__sort">Сортировать по<select class="directory__input" name="sort">
{% for value, label in [("full_name", "ФИО"), ("status", "Статус"), ("hse_start_year", "Год начала"), ("first_seen_at", "Впервые найден"), ("last_seen_at", "Последний раз найден"), ("dismissed_at", "Дата увольнения")] %}
<option value="{{ value }}" {% if filters.sort == value %}selected{% endif %}>{{ label }}</option>
{% endfor %}
</select></label>
<fieldset class="directory__direction">
<legend>Направление</legend>
{% for value, label in [("asc", "По возрастанию"), ("desc", "По убыванию")] %}
<label title="{{ label }}">
<input type="radio" name="direction" value="{{ value }}" aria-label="{{ label }}" {% if filters.direction == value %}checked{% endif %}>
<span>
<svg width="20" height="20" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round" aria-hidden="true">
<path d="{{ 'M12 19V5m-6 6 6-6 6 6' if value == 'asc' else 'M12 5v14m-6-6 6 6 6-6' }}"/>
</svg>
</span>
</label>
{% endfor %}
</fieldset>
<label class="directory__field">Сотрудников на странице<select class="directory__input" name="limit">
{% for value in [25, 50, 100] %}
<option value="{{ value }}" {% if filters.limit == value %}selected{% endif %}>{{ value }}</option>
{% endfor %}
{% for value in [25, 50, 100] %}
<option value="{{ value }}" {% if filters.limit == value %}selected{% endif %}>{{ value }}</option>
{% endfor %}
</select></label>
</fieldset>
<div class="directory__filter-actions">
<button class="button" type="submit">Применить фильтры</button>
<a class="button button--ghost" href="/admin/directory">Сбросить</a>
</div>
<details class="directory__filter-panel">
<summary>Дополнительные фильтры{% if has_extra_filters %} · применены{% endif %}</summary>
<div class="directory__filters">
<fieldset class="directory__filter-group">
<legend class="directory__filter-legend">Статус и данные</legend>
<label class="directory__field">Статус<select class="directory__input" name="status">
<option value="" {% if not filters.status %}selected{% endif %}>Все статусы</option>
<option value="active" {% if filters.status == "active" %}selected{% endif %}>Работает</option>
<option value="verification_required" {% if filters.status == "verification_required" %}selected{% endif %}>Требует проверки</option>
<option value="dismissed" {% if filters.status == "dismissed" %}selected{% endif %}>Уволен</option>
</select></label>
<label class="directory__field">Email<select class="directory__input" name="has_email">
<option value="" {% if not filters.has_email %}selected{% endif %}>Любой email</option>
<option value="true" {% if filters.has_email == "true" %}selected{% endif %}>Есть email</option>
<option value="false" {% if filters.has_email == "false" %}selected{% endif %}>Нет email</option>
</select></label>
<label class="directory__field">Учёная степень<select class="directory__input" name="has_academic_degree">
<option value="" {% if not filters.has_academic_degree %}selected{% endif %}>Любая учёная степень</option>
<option value="true" {% if filters.has_academic_degree == "true" %}selected{% endif %}>Есть учёная степень</option>
<option value="false" {% if filters.has_academic_degree == "false" %}selected{% endif %}>Нет учёной степени</option>
</select></label>
</fieldset>
<fieldset class="directory__filter-group">
<legend class="directory__filter-legend">Повышение квалификации</legend>
<label class="directory__field">Курсы в профиле<select class="directory__input" name="has_training">
<option value="" {% if not filters.has_training %}selected{% endif %}>Любое</option>
<option value="true" {% if filters.has_training == "true" %}selected{% endif %}>Есть курсы</option>
<option value="false" {% if filters.has_training == "false" %}selected{% endif %}>Нет курсов</option>
</select></label>
<label class="directory__field">С какого года включительно
<input class="directory__input" name="training_since_year" inputmode="numeric" pattern="[1-9][0-9]{3}" maxlength="4" value="{{ filters.training_since_year }}" placeholder="Например, 2024" aria-describedby="training-year-hint">
agent marked this conversation as resolved
Review

[P2] Открывайте дополнительные фильтры при ошибке в скрытом поле. Введите 2 в поле года, сверните панель и нажмите верхнее «Применить фильтры» или Enter в поиске. Браузер блокирует отправку, но не показывает причину: в Chromium details остаётся закрытым и в консоли появляется invalid form control … is not focusable. Открытие details при перехвате invalid позволит нативной валидации сфокусировать поле и показать подсказку.

[P2] Открывайте дополнительные фильтры при ошибке в скрытом поле. Введите `2` в поле года, сверните панель и нажмите верхнее «Применить фильтры» или Enter в поиске. Браузер блокирует отправку, но не показывает причину: в Chromium `details` остаётся закрытым и в консоли появляется `invalid form control … is not focusable`. Открытие `details` при перехвате `invalid` позволит нативной валидации сфокусировать поле и показать подсказку.
</label>
<small class="directory__filter-hint" id="training-year-hint">Если указан только год, будут показаны сотрудники с курсами.</small>
</fieldset>
<fieldset class="directory__filter-group">
<legend class="directory__filter-legend">Период обнаружения</legend>
<label class="directory__field">От<input class="directory__input" type="date" name="started_from" value="{{ filters.started_from }}"></label>
<label class="directory__field">До<input class="directory__input" type="date" name="started_to" value="{{ filters.started_to }}"></label>
</fieldset>
<div class="directory__filter-actions">
<button class="button" type="submit">Применить фильтры</button>
</div>
</div>
</details>
</form>
</details>
<details class="directory__help">
<summary>Что означают даты и статусы</summary>
@@ -90,21 +102,9 @@
<table class="directory-table" data-directory-table>
<thead>
<tr>
<th class="directory-table__head" data-column="full_name">ФИО</th>
<th class="directory-table__head" data-column="status">Статус</th>
<th class="directory-table__head" data-column="positions">Должности</th>
<th class="directory-table__head" data-column="hse_start_year">Год начала</th>
<th class="directory-table__head" data-column="email">Email</th>
<th class="directory-table__head" data-column="phone">Телефон</th>
<th class="directory-table__head" data-column="address">Адрес</th>
<th class="directory-table__head" data-column="academic_degree">Учёная степень</th>
<th class="directory-table__head" data-column="publications_count">Публикации</th>
<th class="directory-table__head" data-column="courses_count">Курсы</th>
<th class="directory-table__head" data-column="news_count">Новости</th>
<th class="directory-table__head" data-column="first_seen_at">Впервые найден</th>
<th class="directory-table__head" data-column="last_seen_at">Последний раз найден</th>
<th class="directory-table__head" data-column="dismissed_at">Дата увольнения</th>
<th class="directory-table__head" data-column="profile">Профиль</th>
{% for key, label, _ in directory_columns %}
<th class="directory-table__head" data-column="{{ key }}">{{ label }}</th>
{% endfor %}
</tr>
</thead>
<tbody>
@@ -127,7 +127,7 @@
<td class="directory-table__cell" data-column="profile"><a class="admin__link" href="{{ employee.canonical_url }}" target="_blank" rel="noopener">Внешний профиль</a></td>
</tr>
{% else %}
<tr><td class="directory-table__empty" colspan="15">
<tr><td class="directory-table__empty" colspan="{{ directory_columns|length }}">
<strong>Сотрудники не найдены</strong>
{% if has_filters %}
<span>Попробуйте изменить запрос или сбросить фильтры.</span>
@@ -161,7 +161,7 @@
<button class="button button--ghost" type="button" data-columns-close>Закрыть</button>
</div>
<div class="columns-modal__grid">
{% for key, label in [("full_name", "ФИО"), ("status", "Статус"), ("positions", "Должности"), ("hse_start_year", "Год начала"), ("email", "Email"), ("phone", "Телефон"), ("address", "Адрес"), ("academic_degree", "Учёная степень"), ("publications_count", "Публикации"), ("courses_count", "Курсы"), ("news_count", "Новости"), ("first_seen_at", "Впервые найден"), ("last_seen_at", "Последний раз найден"), ("dismissed_at", "Дата увольнения"), ("profile", "Профиль")] %}
{% for key, label, _ in directory_columns %}
<label class="columns-modal__option"><input class="columns-modal__checkbox" type="checkbox" value="{{ key }}" data-column-toggle> {{ label }}</label>
{% endfor %}
</div>
@@ -175,5 +175,5 @@
</dialog>
{% endblock %}
{% block scripts %}
<script src="/static/admin.js"></script>
<script src="/static/admin.js?v={{ frontend_version }}"></script>
{% endblock %}
+3 -2
View File
@@ -13,13 +13,14 @@
</section>
<section class="guide__step" data-guide-step>
<h3 class="guide__heading" tabindex="-1">Найдите сотрудника и откройте профиль</h3>
<p>В разделе «Сотрудники» раскройте панель «Фильтры». В поле «ФИО или ссылка» введите фамилию, часть ФИО или ссылку на профиль ВШЭ. Например, Иванов.</p>
<p>В разделе «Сотрудники» введите в поле «ФИО или ссылка» фамилию, часть ФИО или ссылку на профиль ВШЭ. Отметьте «ППС», чтобы оставить только профессорско-преподавательский состав. Остальные условия находятся в панели «Дополнительные фильтры».</p>
<dl class="guide__fields">
<dt>Статус, Email, Учёная степень</dt><dd>Ограничивают список по состоянию сотрудника и наличию сведений в профиле. Звание профессора или доцента не заменяет учёную степень.</dd>
<dt>Повышение квалификации</dt><dd>Выберите «Есть курсы» или «Нет курсов» по записям в профиле ВШЭ. Например, «Нет курсов» и 2024 покажут сотрудников без записей о курсах за 2024 год и позже. Если указать только год, отобразятся сотрудники с курсами за этот период.</dd>
<dt>Период обнаружения: От / До</dt><dd>Введите даты первого обнаружения профиля системой. Это не период приёма на работу.</dd>
<dt>Сортировка и страница</dt><dd>Выберите порядок и число строк. «Применить фильтры» обновит список, «Сбросить» вернёт исходные параметры.</dd>
<dt>Порядок списка</dt><dd>Выберите поле сортировки, направление стрелкой и число строк. «Применить фильтры» обновит список, «Сбросить» вернёт исходные параметры.</dd>
<dt>Настроить колонки</dt><dd>Позволяет выбрать видимые сведения: должности, контакты, степень, число публикаций, курсов и новостей, даты обнаружения.</dd>
<dt>Скачать XLSX</dt><dd>В файл попадут все колонки и все сотрудники, найденные с применёнными фильтрами, в выбранном порядке.</dd>
</dl>
<p>Откройте ФИО в таблице: в карточке собраны должности, статус, контакты, внешние идентификаторы, новости и доступные разделы профиля — образование, степени, публикации, курсы и выпускные работы. Состав зависит от данных источника.</p>
<p>«Год начала» — начало работы в ВШЭ. «Впервые найден» и «Последний раз найден» — наблюдения системы. «Требует проверки» означает, что профиль недоступен, а увольнение ещё не подтверждено.</p>
+3 -3
View File
@@ -1,3 +1,3 @@
APP_VERSION = "2.0.1"
FRONTEND_VERSION = "2.0.1"
BACKEND_VERSION = "2.0.1"
APP_VERSION = "2.1.1"
FRONTEND_VERSION = "2.1.1"
BACKEND_VERSION = "2.1.1"
+1 -1
View File
@@ -1,6 +1,6 @@
[project]
name = "miem-workers"
version = "2.0.1"
version = "2.1.1"
description = "MIEM employees parser, admin API, and web admin"
requires-python = ">=3.11"
dependencies = [
-1
View File
@@ -29,7 +29,6 @@ def test_directory_template_is_russian_and_uses_display_dates():
assert "Сотрудников на странице" in template
assert "{% for value in [25, 50, 100] %}" in template
assert "Показаны" in template
assert "Новости" in template
assert "Есть учёная степень" in template
assert 'data-column="academic_degree"' in template
assert "employee.news_count" in template
+63 -1
View File
@@ -1,7 +1,11 @@
from datetime import datetime, timezone
from io import BytesIO
from types import SimpleNamespace
from urllib.parse import parse_qs, urlsplit
from bs4 import BeautifulSoup
from fastapi.testclient import TestClient
from openpyxl import load_workbook
from sqlalchemy import create_engine, select
from sqlalchemy.exc import OperationalError
from sqlalchemy.orm import sessionmaker
@@ -18,7 +22,7 @@ def test_health_returns_versions():
response = TestClient(app).get("/api/health")
assert response.status_code == 200
assert response.json()["backend_version"] == "2.0.1"
assert response.json()["backend_version"] == "2.1.1"
def test_api_employees_and_stats_require_admin_session():
@@ -153,3 +157,61 @@ def test_directory_database_error_has_retry_and_preserves_filters(db_session, mo
assert "private database details" not in response.text
finally:
app.dependency_overrides.clear()
def test_directory_export_uses_applied_filters_and_sort_across_pages(db_session):
for number in range(30):
db_session.add(Employee(
profile_key=f"export:{number}",
canonical_url=f"https://www.hse.ru/staff/export-{number}",
full_name=f"Export {number:02d}",
status="dismissed" if number == 28 else "active",
current_data={
"hse_start_year": 2025 - number,
"positions": ["Инженер" if number == 29 else "Кафедра физики"],
"contacts": {"address": "=1+1", "phones": ["+7 123"]},
},
))
db_session.commit()
settings = Settings(_env_file=None, session_secret="test-session-secret")
app.dependency_overrides[get_db] = lambda: db_session
app.dependency_overrides[get_settings] = lambda: settings
try:
client = TestClient(app)
anonymous = client.get("/admin/directory/export.xlsx", follow_redirects=False)
assert anonymous.status_code == 303 and anonymous.headers["location"] == "/admin/login"
client.cookies.set(SESSION_COOKIE, sign_session(settings.admin_username, settings))
response = client.get("/admin/directory", params={
"q": "Export", "pps": "true", "status": "active", "sort": "hse_start_year",
"direction": "desc", "limit": 25, "offset": 25,
})
assert response.status_code == 200
page = BeautifulSoup(response.text, "html.parser")
assert "Показаны 26–28 из 28" in page.get_text()
export_url = page.find("a", string="Скачать XLSX")["href"]
assert parse_qs(urlsplit(export_url).query) == {
"q": ["Export"], "pps": ["True"], "status": ["active"], "sort": ["hse_start_year"], "direction": ["desc"],
}
export = client.get(export_url + "&limit=25&offset=25")
assert export.status_code == 200
assert export.headers["content-disposition"] == 'attachment; filename="employees.xlsx"'
assert export.headers["cache-control"] == "no-store"
sheet = load_workbook(BytesIO(export.content)).active
assert [cell.value for cell in sheet[1]] == [
cell.get_text(strip=True) for cell in page.select(".directory-table th")
]
assert sheet.max_column == 15
assert [cell.value for cell in sheet["A"][1:]] == [f"Export {number:02d}" for number in range(28)]
assert [cell.value for cell in sheet["A"][-3:]] == [
cell.get_text(strip=True) for cell in page.select("tbody [data-column='full_name']")
]
assert sheet["F2"].value == "+7 123"
assert sheet["G2"].value == "=1+1" and sheet["G2"].data_type == "s"
assert sheet["O2"].value == "https://www.hse.ru/staff/export-0"
empty = client.get("/admin/directory/export.xlsx?q=missing")
assert empty.status_code == 200
assert load_workbook(BytesIO(empty.content)).active.max_row == 1
finally:
app.dependency_overrides.clear()
+1 -1
View File
@@ -230,7 +230,7 @@ def test_public_page_data_minimization_and_safe_links(db_session, export):
assert "javascript:" not in fragment.text and "private@example.org" not in fragment.text
assert "javascript:" not in response.text and "private@example.org" not in response.text
assert "/admin/employees/" not in response.text and "/admin/logout" not in response.text
assert "Backend 2.0.1 · Frontend 2.0.1" in response.text
assert "Backend 2.1.1 · Frontend 2.1.1" in response.text
assert "Вход в систему" in response.text
assert client.get("/admin/directory", follow_redirects=False).status_code in (302, 303, 401, 403)
assert "Сотрудники не найдены" in client.get("/admin/council?q=missing").text
+1 -1
View File
@@ -99,7 +99,7 @@ def test_training_filter_uses_course_year_and_kind_before_pagination(db_session)
page = BeautifulSoup(response.text, "html.parser")
panel = page.select_one(".directory__filter-panel")
assert not panel.has_attr("open")
assert panel.summary.get_text(strip=True) == "Фильтры · применены"
assert panel.summary.get_text(strip=True) == "Дополнительные фильтры · применены"
assert panel.select_one('select[name="has_training"] option[selected]')["value"] == "true"
assert panel.select_one('input[name="training_since_year"]')["value"] == "2024"
assert "Person 1" not in response.text