fix: rank repealed search results last

Reviewed-on: #35

CHANGELOG.md

@@ -2,6 +2,15 @@
 
 ## Не выпущено
 
+- Backend обновлён до `0.10.2`: действующие документы ранжируются выше, а
+  утратившие силу — после остальных; из лаборатории удалён пустой блок фрагмента.
+- Backend обновлён до `0.10.1`: поисковая выдача по регистрации больше не
+  ограничивается только тремя заранее выбранными нормативными актами.
+- Backend обновлён до `0.10.0`: поисковый API использует общий планировщик
+  запросов, расширяет аббревиатуры ОсОО/ООО/ЖЧК и для запроса о регистрации
+  приоритизирует положение КР 2026 года, закон об обществах и ГК КР.
+- Backend обновлён до `0.9.4`: из поисковых фрагментов убраны технические маркеры
+  подсветки OpenSearch.
 - Backend обновлён до `0.9.3`: исправлен локальный индекс production Search API,
   ошибки поиска показываются в общем status-блоке, а панель сохранения и footer
   выстроены в обычном порядке документа.

README.md

@@ -10,13 +10,14 @@ Telegram-бот — только часть рабочего окружения
 ## Текущее состояние
 
 Сейчас реализованы Telegram-бот-секретарь версии `0.2.2` и backend версии
-`0.9.3`: внутренняя лаборатория получила tutorial для новых проверяющих, а
-каталог сохраняет документы с неучтёнными исходными типами.
+`0.10.2`. Поиск расширяет аббревиатуры организационно-правовых форм и поднимает
+положение о регистрации 2026 года, закон об обществах и ГК КР для запросов об
+открытии ОсОО/ЖЧК.
 
 | Компонент | Версия | Состояние |
 |---|---:|---|
 | Telegram-бот | `0.2.2` | на Synology работает `0.2.1`; обновление после слияния |
-| Backend | `0.9.3` | внутренняя лаборатория получила tutorial; фильтры поиска по юридической силе и статусу документа |
+| Backend | `0.10.2` | расширение терминов и приоритет действующих актов о регистрации ОсОО/ЖЧК |
 | Frontend | — | ещё не создан |
 | Сбор и обработка правовых данных | `0.8.0` | добавлены relevance set и оценка выдачи |
 | RAG и база знаний | — | ещё не созданы |
@@ -59,4 +60,4 @@ python3 -m unittest discover -s tools/telegram-bot -v
 
 ---
 
-Акылдаш · Telegram-бот v0.2.2 · Backend v0.9.3 · Frontend — не создан
+Акылдаш · Telegram-бот v0.2.2 · Backend v0.10.2 · Frontend — не создан

backend/README.md

@@ -1,6 +1,6 @@
 # Backend Акылдаш
 
-Версия: `0.9.3`
+Версия: `0.10.2`
 
 Первая backend-область проекта — загрузка правовых документов из официального
 Open Data API ЦБД Минюста Кыргызской Республики. Код расположен в
@@ -240,4 +240,4 @@ PYTHONPATH=backend python3 -m search.query "ЖЧК ачуу тартиби" --la
 
 ---
 
-Акылдаш · Backend v0.9.3 · Frontend — не создан
+Акылдаш · Backend v0.10.2 · Frontend — не создан

backend/search/api.py

@@ -12,11 +12,12 @@ from pathlib import Path
 
 from search.minjust_opensearch import APP_VERSION, request_json
 from search.catalog import CATALOGS, labels
+from search.query import build_search_query
 from search.reviews import ReviewSnapshots, ReviewStore
 
 
 API_VERSION = "v1"
-SEARCH_ALGORITHM_VERSION = "search-1"
+SEARCH_ALGORITHM_VERSION = "search-4"
 LANGUAGES = {"ru", "ky"}
 CODE = re.compile(r"^[0-9]+$")
 MAX_PAGE_SIZE = 100
@@ -139,12 +140,18 @@ class Api:
             "from": (page - 1) * page_size,
             "size": page_size + 1,
             "_source": ["document_code", "edition_code", "document_name_ru", "document_name_ky", "document_type_ru", "document_type_ky", "status_ru", "status_ky", "legal_force_code", "date_adopted", "number"],
-            "query": {"bool": {"filter": filters, "must": {"multi_match": {"query": text, "fields": [f"document_name_{language}", f"text_{language}"], "type": "cross_fields"}}}},
+            "query": {"bool": {"filter": filters, "must": build_search_query(language, text)}},
             "collapse": {"field": "document_code"},
             "highlight": {"fields": {f"text_{language}": {"number_of_fragments": 1}}},
         }
+        body["sort"] = [{"_script": {
+            "type": "number",
+            "order": "asc",
+            "script": {"lang": "painless", "source": "doc['status_code'].size() == 0 ? 1 : (doc['status_code'].value == 'active' ? 0 : (doc['status_code'].value == 'repealed' ? 2 : 1))"},
+        }}]
         if sort == "date":
-            body["sort"] = [{"date_adopted": "desc"}, {"_score": "desc"}]
+            body["sort"].append({"date_adopted": "desc"})
+        body["sort"].append({"_score": "desc"})
         response = self.query_opensearch(body)
         try:
             hits = response["hits"]["hits"]
@@ -163,7 +170,8 @@ class Api:
             raise ApiError(502, "search backend returned an incomplete result")
         highlight = hit.get("highlight", {}).get(f"text_{language}", [])
         legal_force = source.get("legal_force_code")
-        return {"code": source["document_code"], "edition": source.get("edition_code"), "name": source.get(f"document_name_{language}"), "type": source.get(f"document_type_{language}"), "status": source.get(f"status_{language}"), "legal_force": labels("legal_force", legal_force)[language] if legal_force else None, "date_adopted": source.get("date_adopted"), "number": source.get("number"), "snippet": highlight[0] if highlight else None}
+        snippet = highlight[0].replace("<em>", "").replace("</em>", "") if highlight else None
+        return {"code": source["document_code"], "edition": source.get("edition_code"), "name": source.get(f"document_name_{language}"), "type": source.get(f"document_type_{language}"), "status": source.get(f"status_{language}"), "legal_force": labels("legal_force", legal_force)[language] if legal_force else None, "date_adopted": source.get("date_adopted"), "number": source.get("number"), "snippet": snippet}
 
     def filters(self, query: dict[str, list[str]]) -> dict:
         language = one(query, "language") or "ru"

backend/search/minjust_opensearch.py

@@ -17,7 +17,7 @@ from typing import Iterator
 
 from search.catalog import authority_codes, legal_force_code, source_code
 
-APP_VERSION = "0.9.3"
+APP_VERSION = "0.10.2"
 LANGUAGES = {"ru", "ky"}
 DEFAULT_MAPPING = Path(__file__).with_name("minjust-fragments-index.json")
 

backend/search/query.py

@@ -10,12 +10,60 @@ import urllib.parse
 from search.minjust_opensearch import APP_VERSION, request_json
 
 
+LEGAL_FORM_ALIASES = {
+    "ru": {
+        "осоо": ("ооо", "общество с ограниченной ответственностью"),
+        "ооо": ("осоо", "общество с ограниченной ответственностью"),
+        "общество с ограниченной ответственностью": ("осоо", "ооо"),
+        "общества с ограниченной ответственностью": ("осоо", "ооо"),
+    },
+    "ky": {
+        "жчк": ("жоопкерчилиги чектелген коом",),
+        "жоопкерчилиги чектелген коом": ("жчк",),
+    },
+}
+COMPANY_REGISTRATION_DOCUMENTS = (("230044970", 3000), ("667", 2000), ("4", 1000))
+
+
+def query_variants(language: str, query: str) -> list[str]:
+    variants = [query]
+    for alias, expansions in LEGAL_FORM_ALIASES[language].items():
+        pattern = re.compile(rf"(?<!\w){re.escape(alias)}(?!\w)", re.IGNORECASE)
+        if pattern.search(query):
+            variants.extend(pattern.sub(expansion, query) for expansion in expansions)
+    return list(dict.fromkeys(variants))
+
+
 def company_registration_clauses(language: str, query: str) -> list[dict]:
-    patterns = {
-        "ru": (r"\bкак\s+откры\w*\s+осоо\b", r"\b(порядок|процедура)\s+откры\w*\s+осоо\b", r"\bкак\s+зарегистр\w*\s+осоо\b"),
-        "ky": (r"\bжчк\s+ач\w*\s+тартиби\b", r"\bжчк\s+кантип\s+ач\w*\b"),
+    non_registration_context = {
+        "ru": (r"\bсч[её]т\w*", r"\bбанк\w*", r"\bфилиал\w*", r"\bпредставительств\w*"),
+        "ky": (r"\bбанк\w*", r"\bэсеп\w*", r"\bфилиал\w*", r"\bөкүлчүлүк\w*"),
     }[language]
-    if not any(re.search(pattern, query.casefold()) for pattern in patterns):
+    normalized_query = query.casefold()
+    if any(re.search(pattern, normalized_query) for pattern in non_registration_context):
+        return []
+
+    forms, patterns = {
+        "ru": (
+            r"(?:осоо|ооо|обществ\w*\s+с\s+ограниченной\s+ответственностью)",
+            (
+                r"\bкак\s+(?:откры\w*|созда\w*|зарегистр\w*)\s+{form}\b",
+                r"\b(?:порядок|процедура)\s+(?:открыти\w*|создани\w*|регистраци\w*)\s+{form}\b",
+                r"\b(?:государственн\w+\s+)?регистраци\w*\s+{form}\b",
+                r"\bсоздани\w*\s+{form}\b",
+            ),
+        ),
+        "ky": (
+            r"(?:жчк|жоопкерчилиги\s+чектелген\s+коом)",
+            (
+                r"\bжчк\s+ач\w*\s+тартиби\b",
+                r"\bжчк\s+кантип\s+ач\w*\b",
+                r"\b{form}\s+(?:ачуу|ачуунун|каттоо|каттоонун)\b",
+                r"\b(?:ачуу|каттоо)\s+{form}\b",
+            ),
+        ),
+    }[language]
+    if not any(re.search(pattern.format(form=forms), normalized_query) for pattern in patterns):
         return []
 
     status = {"ru": "Действует", "ky": "Күчүндө"}[language]
@@ -35,28 +83,32 @@ def company_registration_clauses(language: str, query: str) -> list[dict]:
             }
         }
 
-    return [clause("230044970", 2000), clause("667", 1000)]
+    return [clause(code, boost) for code, boost in COMPANY_REGISTRATION_DOCUMENTS]
+
+
+def build_search_query(language: str, query: str) -> dict:
+    intent_clauses = company_registration_clauses(language, query)
+    full_text = [
+        {
+            "multi_match": {
+                "query": variant,
+                "fields": [f"document_name_{language}^4", f"text_{language}"],
+                "type": "cross_fields",
+                "operator": "OR" if intent_clauses else "AND",
+            }
+        }
+        for variant in query_variants(language, query)
+    ]
+    planned = {"should": [*full_text, *intent_clauses], "minimum_should_match": 1}
+    return {"bool": planned}
 
 
 def build_search_body(language: str, query: str, top_k: int) -> bytes:
-    full_text = {
-        "multi_match": {
-            "query": query,
-            "fields": [f"document_name_{language}", f"text_{language}"],
-            "type": "cross_fields",
-        }
-    }
-    clauses = company_registration_clauses(language, query)
-    bool_query = {"filter": {"term": {"language": language}}}
-    if clauses:
-        bool_query.update({"should": [full_text, *clauses], "minimum_should_match": 1})
-    else:
-        bool_query["must"] = full_text
     return json.dumps({
         "size": top_k,
         "track_total_hits": False,
         "_source": ["document_code"],
-        "query": {"bool": bool_query},
+        "query": {"bool": {"filter": [{"term": {"language": language}}, {"term": {"is_current_edition": True}}], "must": build_search_query(language, query)}},
         "collapse": {"field": "document_code"},
     }, ensure_ascii=False).encode()
 

backend/search/review.html

@@ -46,9 +46,7 @@
     .review__result-title { display: flex; gap: .65rem; align-items: baseline; width: 100%; text-align: start; font-weight: 800; border: 0; padding: 0; background: none; color: var(--brand-dark); }
     .review__result-title:hover { background: none; border-color: transparent; color: var(--brand); }
     .review__rank { flex: 0 0 auto; color: var(--brand); font-variant-numeric: tabular-nums; }
-    .review__meta, .review__snippet { margin-block: .5rem; color: var(--muted); }
-    .review__meta { font-size: .8rem; }
-    .review__snippet { overflow-wrap: anywhere; }
+    .review__meta { margin-block: .5rem; color: var(--muted); font-size: .8rem; }
     .review__rating { display: grid; grid-template-columns: repeat(4, 1fr); gap: .4rem; margin-block: 1rem .75rem; padding: 0; border: 0; }
     .review__rating legend { width: 100%; margin-block-end: .35rem; font-size: .8rem; font-weight: 700; color: var(--muted); grid-column: 1 / -1; }
     .review__rating label { min-width: 0; padding: .45rem .25rem; border: 1px solid #c5d0d8; border-radius: .5rem; color: var(--muted); text-align: center; font-size: .8rem; cursor: pointer; }
@@ -119,7 +117,7 @@
   <div class="review__actions"><div class="review__actions-inner"><label>Ваше имя или псевдоним<input id="reviewer" maxlength="120" autocomplete="name" placeholder="Например, Айжан К."></label> <label>Комментарий к выдаче <input id="overall-comment" maxlength="4000" placeholder="Что важно учесть? (необязательно)"></label> <button class="review__button--primary" id="save" type="button">Сохранить разметку</button></div></div>
   <dialog id="document-dialog"><button class="review__dialog-close" id="dialog-close" type="button">Закрыть</button><h2 id="dialog-heading">Документ</h2><div class="review__document-body" id="dialog-body"></div></dialog>
   <div class="review__tour-spotlight" id="tutorial-spotlight" hidden aria-hidden="true"></div><dialog class="review__tour" id="tutorial-dialog" aria-labelledby="tutorial-heading" aria-describedby="tutorial-text"><div class="review__tour-content"><p class="review__tour-kicker">Короткое знакомство</p><h2 id="tutorial-heading"></h2><p id="tutorial-text"></p><div class="review__tour-footer"><span class="review__tour-progress" id="tutorial-progress"></span><div class="review__tour-actions"><button id="tutorial-skip" type="button">Пропустить</button><button class="review__button--primary" id="tutorial-next" type="button">Далее</button></div></div></div></dialog>
-  <footer class="review__header">Акылдаш · Backend v0.9.3 · Внутренняя лаборатория релевантности</footer>
+  <footer class="review__header">Акылдаш · Backend v0.10.2 · Внутренняя лаборатория релевантности</footer>
   <script>
     const DRAFT_KEY = 'akyldash-search-review-draft';
     const TOUR_KEY = 'akyldash-search-review-tour-seen';
@@ -146,11 +144,10 @@
         const item = document.createElement('li'); item.className = 'review__result'; item.dataset.rank = index + 1; item.dataset.code = result.code;
         const title = document.createElement('button'); title.type = 'button'; title.className = 'review__result-title'; title.innerHTML = `<span class="review__rank">#${index + 1}</span><span></span>`; title.lastElementChild.textContent = escapeText(result.name || 'Название не указано'); title.addEventListener('click', () => openDocument(index, title));
         const meta = document.createElement('div'); meta.className = 'review__meta'; meta.textContent = [result.type, result.status, result.date_adopted, result.number].filter(Boolean).join(' · ');
-        const snippet = document.createElement('div'); snippet.className = 'review__snippet'; snippet.textContent = result.snippet || 'Фрагмент не найден.';
         const rating = document.createElement('fieldset'); rating.className = 'review__rating'; rating.innerHTML = `<legend>Оценка результата</legend>`;
         [['0', 'нерелевантен'], ['1', 'косвенно полезен'], ['2', 'частично полезен'], ['3', 'прямо отвечает']].forEach(([value, label]) => { const id = `rating-${index}-${value}`; const wrapper = document.createElement('label'); wrapper.htmlFor = id; wrapper.textContent = `${value} — ${label}`; const input = document.createElement('input'); input.type = 'radio'; input.name = `rating-${index}`; input.id = id; input.value = value; wrapper.prepend(input); rating.append(wrapper); });
         const comment = document.createElement('textarea'); comment.className = 'review__comment'; comment.maxLength = 4000; comment.placeholder = 'Комментарий к результату (необязательно)'; comment.setAttribute('aria-label', `Комментарий к результату #${index + 1}`);
-        item.append(title, meta, snippet, rating, comment); $('results').append(item);
+        item.append(title, meta, rating, comment); $('results').append(item);
       });
       applyDraft();
     }

backend/test_search_api.py

@@ -29,13 +29,41 @@ class SearchApiTest(unittest.TestCase):
             with patch("search.api.request_json", return_value=response) as request:
                 status, payload = api.handle("GET", "/search?q=%D0%B7%D0%B0%D0%BA%D0%BE%D0%BD&language=ru&page=2&page_size=5&status=active")
             self.assertEqual(status, 200)
-            self.assertEqual(payload["results"][0]["snippet"], "<em>Закон</em>")
+            self.assertEqual(payload["results"][0]["snippet"], "Закон")
             body = json.loads(request.call_args.args[2])
             self.assertEqual((body["from"], body["size"]), (5, 6))
             self.assertIn({"term": {"status_code": "active"}}, body["query"]["bool"]["filter"])
             with self.assertRaisesRegex(ApiError, "within 10000 results"):
                 api.handle("GET", "/search?q=x&page=100&page_size=100")
 
+    def test_production_api_uses_registration_intent_boosts(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            api = self.make_api(Path(temporary))
+            response = {"hits": {"hits": []}}
+            with patch("search.api.request_json", return_value=response) as request:
+                api.handle("GET", "/search?q=%D0%BA%D0%B0%D0%BA+%D0%BE%D1%82%D0%BA%D1%80%D1%8B%D1%82%D1%8C+%D0%9E%D1%81%D0%9E%D0%9E&language=ru")
+            body = json.loads(request.call_args.args[2])
+            planned = body["query"]["bool"]["must"]["bool"]
+            self.assertEqual(planned["minimum_should_match"], 1)
+            self.assertNotIn("filter", planned)
+            self.assertTrue(any("constant_score" in clause for clause in planned["should"]))
+            self.assertTrue(any("общество с ограниченной ответственностью" in clause.get("multi_match", {}).get("query", "") for clause in planned["should"]))
+
+    def test_search_sorts_repealed_documents_after_other_statuses(self):
+        with tempfile.TemporaryDirectory() as temporary:
+            api = self.make_api(Path(temporary))
+            with patch("search.api.request_json", return_value={"hits": {"hits": []}}) as request:
+                api.handle("GET", "/search?q=НДС+на+импорт&language=ru")
+                body = json.loads(request.call_args.args[2])
+                source = body["sort"][0]["_script"]["script"]["source"]
+                self.assertIn("'active' ? 0", source)
+                self.assertIn("'repealed' ? 2", source)
+                self.assertEqual(body["sort"][1], {"_score": "desc"})
+
+                api.handle("GET", "/search?q=НДС+на+импорт&language=ru&sort=date")
+                body = json.loads(request.call_args.args[2])
+                self.assertEqual(body["sort"][1], {"date_adopted": "desc"})
+
     def test_document_editions_openapi_and_validation(self):
         with tempfile.TemporaryDirectory() as temporary:
             api = self.make_api(Path(temporary))

backend/test_search_relevance.py

@@ -5,7 +5,7 @@ from pathlib import Path
 from unittest.mock import patch
 
 from search.evaluate_relevance import evaluate, load_queries
-from search.query import build_search_body
+from search.query import COMPANY_REGISTRATION_DOCUMENTS, build_search_body, query_variants
 
 
 class SearchRelevanceTest(unittest.TestCase):
@@ -37,7 +37,15 @@ class SearchRelevanceTest(unittest.TestCase):
         body = json.loads(build_search_body("ru", "трудовой договор", 10))
         self.assertFalse(body["track_total_hits"])
         self.assertEqual(body["collapse"], {"field": "document_code"})
-        self.assertEqual(body["query"]["bool"]["must"]["multi_match"]["type"], "cross_fields")
+        self.assertIn({"term": {"is_current_edition": True}}, body["query"]["bool"]["filter"])
+        lexical_query = body["query"]["bool"]["must"]["bool"]["should"][0]["multi_match"]
+        self.assertEqual(lexical_query["type"], "cross_fields")
+        self.assertEqual(lexical_query["operator"], "AND")
+
+    def test_legal_form_abbreviations_expand_in_both_directions(self):
+        self.assertIn("как открыть общество с ограниченной ответственностью", query_variants("ru", "как открыть ОсОО"))
+        self.assertIn("регистрация осоо", [variant.casefold() for variant in query_variants("ru", "регистрация общества с ограниченной ответственностью")])
+        self.assertIn("жчк ачуу тартиби", [variant.casefold() for variant in query_variants("ky", "жоопкерчилиги чектелген коом ачуу тартиби")])
 
     def test_company_registration_intent_boosts_current_documents(self):
         for language, query, status in (
@@ -45,13 +53,15 @@ class SearchRelevanceTest(unittest.TestCase):
             ("ky", "ЖЧК ачуу тартиби", "Күчүндө"),
         ):
             body = json.loads(build_search_body(language, query, 10))
-            search_query = body["query"]["bool"]
+            search_query = body["query"]["bool"]["must"]["bool"]
             self.assertEqual(search_query["minimum_should_match"], 1)
-            boosts = [clause["constant_score"] for clause in search_query["should"][1:]]
-            self.assertEqual([item["boost"] for item in boosts], [2000, 1000])
+            self.assertNotIn("filter", search_query)
+            self.assertTrue(all(clause.get("multi_match", {}).get("operator") == "OR" for clause in search_query["should"] if "multi_match" in clause))
+            boosts = [clause["constant_score"] for clause in search_query["should"] if "constant_score" in clause]
+            self.assertEqual([item["boost"] for item in boosts], [boost for _, boost in COMPANY_REGISTRATION_DOCUMENTS])
             self.assertEqual(
                 [item["filter"]["bool"]["filter"][0]["term"]["document_code"] for item in boosts],
-                ["230044970", "667"],
+                [code for code, _ in COMPANY_REGISTRATION_DOCUMENTS],
             )
             self.assertTrue(all(item["filter"]["bool"]["filter"][1] == {"term": {f"status_{language}": status}} for item in boosts))
 
@@ -60,6 +70,8 @@ class SearchRelevanceTest(unittest.TestCase):
             ("ru", "ОсОО зарегистрирован?"),
             ("ru", "кто зарегистрировал ОсОО"),
             ("ru", "как открыть счет ОсОО"),
+            ("ru", "как открыть ОсОО банковский счет"),
+            ("ru", "как открыть ОсОО банковский счёт"),
             ("ru", "как открыть филиал ОсОО"),
             ("ru", "как создать договор для ОсОО"),
             ("ru", "порядок создания логотипа ОсОО"),
@@ -69,7 +81,8 @@ class SearchRelevanceTest(unittest.TestCase):
             ("ky", "ЖЧК кантип логотип түзүү"),
         ):
             body = json.loads(build_search_body(language, query, 10))
-            self.assertNotIn("should", body["query"]["bool"])
+            clauses = body["query"]["bool"]["must"]["bool"]["should"]
+            self.assertFalse(any("constant_score" in clause for clause in clauses))
 
 
 if __name__ == "__main__":

docs/README.md

@@ -39,4 +39,4 @@
 
 ---
 
-Акылдаш · Telegram-бот v0.2.2 · Backend v0.9.3 · Frontend — не создан
+Акылдаш · Telegram-бот v0.2.2 · Backend v0.10.2 · Frontend — не создан

docs/operations/project-status.md

@@ -5,7 +5,7 @@
 
 - Telegram-бот: `0.2.2`
 - Telegram-бот на Synology: `0.2.1`
-- Backend: `0.9.3`
+- Backend: `0.10.2`
 - Frontend: не создан
 
 ## Краткий итог
@@ -262,4 +262,4 @@
 
 ---
 
-Акылдаш · Telegram-бот v0.2.2 · Backend v0.9.3 · Frontend — не создан
+Акылдаш · Telegram-бот v0.2.2 · Backend v0.10.2 · Frontend — не создан