Files
miem_workers/docs/publication-database.md
T

14 KiB
Raw Blame History

Запись публикации в БД

Объект EmployeePublication, таблица employee_publications. Одна запись относится к одному сотруднику; одна работа у нескольких соавторов может иметь несколько записей с одним DOI. Типы ниже указаны для PostgreSQL; в SQLite JSONB представлен JSON.

Поле Тип Обязательное Назначение
id integer Да Первичный ключ
employee_id integer Да Внешний ключ employees.id; удаление сотрудника удаляет связанные записи
publication_id varchar(64) Нет Идентификатор публикации в источнике ВШЭ
title text Да Название
year integer Нет Год публикации
publication_type varchar(64) Нет Тип материала: ARTICLE, CHAPTER, BOOK, PREPRINT и другие
language varchar(16) Нет Язык
status integer Нет Код статуса из источника
url text Нет Основная ссылка
doi_url text Нет DOI или ссылка DOI
other_url text Нет Дополнительная ссылка
document_url text Нет Ссылка на документ
citation_text text Нет Библиографическое описание
quartiles jsonb Нет Квартили Q1–Q4 с системой, годом метрики, источником и результатом поиска
annotation jsonb Нет Аннотация
description jsonb Нет Структурированное описание
authors jsonb Нет Список авторов
raw_data jsonb Нет Исходные данные, включая обогащение из данных ВШЭ
source_hash varchar(64) Да Хеш исходной записи
created_at timestamptz Да Создание записи
updated_at timestamptz Да Обновление записи

Уникальны пары (employee_id, publication_id) и (employee_id, source_hash). Индексы: employee_id, publication_id, doi_url, year, publication_type. Атрибут ORM employee ссылается на объект сотрудника и отдельным столбцом не является.

Поле квартилей

NULL означает, что обогащение ещё не выполнялось. После проверки поле содержит объект со схемой версии 1. Пустой entries означает отсутствие найденного квартиля; причина сохраняется в lookup. Пустой результат не равнозначен Q4 и не доказывает отсутствие индексации.

Пример структуры (иллюстративные данные):

{
  "schema_version": 1,
  "entries": [
    {
      "system": "Scopus",
      "quartile": "Q2",
      "metric": "CiteScore",
      "metric_year": 2024,
      "publication_year": 2024,
      "category": "Applied Mathematics",
      "journal": "Название журнала",
      "issns": ["0006-3835"],
      "source": "Название проверенного источника",
      "source_url": "https://example.org/metrics",
      "checked_on": "2026-10-08"
    }
  ],
  "lookup": {
    "doi": "10.1234/example",
    "status": "found",
    "requested_year": 2024,
    "checked_on": "2026-10-08"
  }
}
  • entries сохраняет все найденные категории и системы отдельно, без выбора одного «лучшего» квартиля вместо остальных. Возможные системы: Scopus, Web of Science, SCImago. Метрики CiteScore, JCR и SJR не подменяют друг друга. При наличии только лучшего квартиля SJR используется метрика SJR best quartile, категория остаётся null.
  • Значения Квартиль scopus и Квартиль wos из raw_data.csv_enrichment переносятся в отдельные записи Q1–Q4. Их точная метрика и год метрики неизвестны: metric и metric_year остаются null. Год публикации не объявляется годом метрики. Исходное обогащение не удаляется.
  • При поиске новых значений журнал определяется по DOI через Crossref, а при отсутствии записи — через публичный DataCite API. ISSN связывает журнал с рейтингом. Проверяются идентичность DOI, тип материала и соответствие года публикации данным DOI. Книге или главе не присваивается журнальный квартиль по одному похожему названию. Препринт DataCite не получает квартиль журнала связанной статьи автоматически.
  • Для старого ISSN допускается подтверждённая преемственность названия по официальному списку Scopus за август 2026. Нужны явная связь Continued as/Continues и единственное связанное название, совпадающее с журналом в ответе DOI. Похожесть названий не используется. Исходные ISSN Crossref сохраняются; дополнительные ISSN для рейтинга и ссылка на историю записываются отдельно в lookup, ссылка journal_identity_source_url также сохраняется в найденных квартилях.
  • Сначала используется метрика за год публикации. При явно разрешённом --allow-latest и отсутствии исторической метрики допускается последний доступный год: он остаётся в metric_year, а результат имеет статус found_latest. Это последний год в доступных проверенных источниках, а не обещание глобально самого нового рейтинга.
  • Источники: проверяемые каталоги проекта (CiteScore/JCR) и исторические SJR-данные Universidad de Extremadura за 2009–2025. Портал указывает SCImago как автора и поддерживающую организацию и публикует данные по CC BY 3.0; атрибуция и ссылка сохраняются в каждой записи. SJR хранится с системой SCImago, даже несмотря на происхождение исходных данных из Scopus.

lookup также может содержать полученные по DOI тип материала, названия журнала, ISSN, годы и ссылку на регистратора DOI. Состояния поиска:

Статус Значение
found Найдена метрика за год публикации
found_latest Использован другой, последний доступный год
missing_doi / invalid_doi DOI отсутствует или некорректен
doi_not_found / doi_lookup_failed DOI не найден в Crossref и DataCite / источник не ответил успешно; DOI может относиться к другому регистратору
doi_identity_conflict Ответ источника относится к другому DOI
not_journal_article DOI относится к материалу, не определённому как журнальная статья
missing_publication_year / publication_year_conflict Год неизвестен / отличается от годов источника DOI
missing_journal_issn Журнал по ISSN не установлен
journal_identity_conflict Идентификаторы связываются с несколькими журналами
ranking_category_conflict Сведения о категориях SJR противоречат друг другу
historical_quartile_unavailable Проверенные источники не дали допустимой метрики

Миграция и обогащение

Миграция migrations/010_publication_quartiles.sql добавляет nullable JSONB-поле без удаления или перезаписи данных. Инициализация приложения также добавляет поле на существующей схеме PostgreSQL/SQLite. Обогащение не запускается при старте API или обработке HTTP-запроса.

Перед изменением заполненной БД создать и проверить резервную копию. Подключение инструмента — только через DATABASE_URL из окружения; .env и файлы с credentials инструмент не читает. Не передавать секреты в аргументах и не коммитить отчёты, кэши и резервные копии.

Сначала выполнить предварительное сравнение без записи, затем перенос известных значений:

python scripts/enrich_publication_quartiles.py --cache-dir .impeccable/quartiles/cache --report .impeccable/quartiles/hse-plan.json
python scripts/enrich_publication_quartiles.py --apply --cache-dir .impeccable/quartiles/cache --report .impeccable/quartiles/hse-applied.json

Затем проверить DOI у записей без квартиля. Для предварительного сравнения убрать --apply:

python scripts/enrich_publication_quartiles.py --apply --lookup-doi --sjr-history --allow-latest --workers 4 --cache-dir .impeccable/quartiles/cache --report .impeccable/quartiles/doi-applied.json

Для проверки смены ISSN добавить --scopus-title-history /путь/ext_list_Aug_2026.xlsx. Используется конкретный официальный снимок: SHA-256 11e81f686401c89fbef28de31d1880388bb7122f35c89e09db6e1848237e9afb; несоответствующий файл отклоняется. Это список названий и их истории, не источник квартилей.

Запросы DOI кэшируются по нормализованному DOI и переиспользуются для соавторов. Ошибки сети допускают повторную попытку; для полного обновления ранее найденных ответов использовать новый каталог кэша. Исторические рейтинги запрашиваются только для ISSN найденных журналов; ошибки источника отражаются в ranking_failures отчёта. Существующие квартильные записи не перезаписываются; повторный перенос не дублирует доказательства только из-за новой даты проверки. Перед записью инструмент проверяет, что публикация не изменилась параллельно; при изменении пропускает её и фиксирует concurrent_change_skipped. Коммит выполняется по публикациям: прерванную обработку можно возобновить. Проверить итоговый отчёт и полноту переноса после завершения.

Парсер сохраняет quartiles, обновляя остальные исходные поля публикации. Страница совета читает отдельное поле с обратной совместимостью для исходных данных ВШЭ. В предварительные Q1/Q2 совета попадают Scopus/Web of Science с применимым годом; последние метрики другого года и SJR автоматически не превращаются в исторический зачёт или документальное подтверждение критериев.

Миграция и обогащение локальной БД не обновляют production. Порядок переноса только недостающих данных в production и сохранения его заполненных значений описан в README.