fix: hide search highlight markup in snippets

Reviewed-on: #33

CHANGELOG.md

@@ -2,6 +2,8 @@
 
 ## Не выпущено
 
+- Backend обновлён до `0.9.4`: из поисковых фрагментов убраны технические маркеры
+  подсветки OpenSearch.
 - Backend обновлён до `0.9.3`: исправлен локальный индекс production Search API,
   ошибки поиска показываются в общем status-блоке, а панель сохранения и footer
   выстроены в обычном порядке документа.

README.md

@@ -10,13 +10,12 @@ Telegram-бот — только часть рабочего окружения
 ## Текущее состояние
 
 Сейчас реализованы Telegram-бот-секретарь версии `0.2.2` и backend версии
-`0.9.3`: внутренняя лаборатория получила tutorial для новых проверяющих, а
-каталог сохраняет документы с неучтёнными исходными типами.
+`0.9.4`. В поисковых фрагментах скрыты технические маркеры подсветки OpenSearch.
 
 | Компонент | Версия | Состояние |
 |---|---:|---|
 | Telegram-бот | `0.2.2` | на Synology работает `0.2.1`; обновление после слияния |
-| Backend | `0.9.3` | внутренняя лаборатория получила tutorial; фильтры поиска по юридической силе и статусу документа |
+| Backend | `0.9.4` | в поисковых фрагментах скрыты технические маркеры подсветки OpenSearch |
 | Frontend | — | ещё не создан |
 | Сбор и обработка правовых данных | `0.8.0` | добавлены relevance set и оценка выдачи |
 | RAG и база знаний | — | ещё не созданы |
@@ -59,4 +58,4 @@ python3 -m unittest discover -s tools/telegram-bot -v
 
 ---
 
-Акылдаш · Telegram-бот v0.2.2 · Backend v0.9.3 · Frontend — не создан
+Акылдаш · Telegram-бот v0.2.2 · Backend v0.9.4 · Frontend — не создан

backend/README.md

@@ -1,6 +1,6 @@
 # Backend Акылдаш
 
-Версия: `0.9.3`
+Версия: `0.9.4`
 
 Первая backend-область проекта — загрузка правовых документов из официального
 Open Data API ЦБД Минюста Кыргызской Республики. Код расположен в
@@ -240,4 +240,4 @@ PYTHONPATH=backend python3 -m search.query "ЖЧК ачуу тартиби" --la
 
 ---
 
-Акылдаш · Backend v0.9.3 · Frontend — не создан
+Акылдаш · Backend v0.9.4 · Frontend — не создан

backend/search/api.py

@@ -163,7 +163,8 @@ class Api:
             raise ApiError(502, "search backend returned an incomplete result")
         highlight = hit.get("highlight", {}).get(f"text_{language}", [])
         legal_force = source.get("legal_force_code")
-        return {"code": source["document_code"], "edition": source.get("edition_code"), "name": source.get(f"document_name_{language}"), "type": source.get(f"document_type_{language}"), "status": source.get(f"status_{language}"), "legal_force": labels("legal_force", legal_force)[language] if legal_force else None, "date_adopted": source.get("date_adopted"), "number": source.get("number"), "snippet": highlight[0] if highlight else None}
+        snippet = highlight[0].replace("<em>", "").replace("</em>", "") if highlight else None
+        return {"code": source["document_code"], "edition": source.get("edition_code"), "name": source.get(f"document_name_{language}"), "type": source.get(f"document_type_{language}"), "status": source.get(f"status_{language}"), "legal_force": labels("legal_force", legal_force)[language] if legal_force else None, "date_adopted": source.get("date_adopted"), "number": source.get("number"), "snippet": snippet}
 
     def filters(self, query: dict[str, list[str]]) -> dict:
         language = one(query, "language") or "ru"

backend/search/minjust_opensearch.py

@@ -17,7 +17,7 @@ from typing import Iterator
 
 from search.catalog import authority_codes, legal_force_code, source_code
 
-APP_VERSION = "0.9.3"
+APP_VERSION = "0.9.4"
 LANGUAGES = {"ru", "ky"}
 DEFAULT_MAPPING = Path(__file__).with_name("minjust-fragments-index.json")
 

backend/search/review.html

@@ -119,7 +119,7 @@
   <div class="review__actions"><div class="review__actions-inner"><label>Ваше имя или псевдоним<input id="reviewer" maxlength="120" autocomplete="name" placeholder="Например, Айжан К."></label> <label>Комментарий к выдаче <input id="overall-comment" maxlength="4000" placeholder="Что важно учесть? (необязательно)"></label> <button class="review__button--primary" id="save" type="button">Сохранить разметку</button></div></div>
   <dialog id="document-dialog"><button class="review__dialog-close" id="dialog-close" type="button">Закрыть</button><h2 id="dialog-heading">Документ</h2><div class="review__document-body" id="dialog-body"></div></dialog>
   <div class="review__tour-spotlight" id="tutorial-spotlight" hidden aria-hidden="true"></div><dialog class="review__tour" id="tutorial-dialog" aria-labelledby="tutorial-heading" aria-describedby="tutorial-text"><div class="review__tour-content"><p class="review__tour-kicker">Короткое знакомство</p><h2 id="tutorial-heading"></h2><p id="tutorial-text"></p><div class="review__tour-footer"><span class="review__tour-progress" id="tutorial-progress"></span><div class="review__tour-actions"><button id="tutorial-skip" type="button">Пропустить</button><button class="review__button--primary" id="tutorial-next" type="button">Далее</button></div></div></div></dialog>
-  <footer class="review__header">Акылдаш · Backend v0.9.3 · Внутренняя лаборатория релевантности</footer>
+  <footer class="review__header">Акылдаш · Backend v0.9.4 · Внутренняя лаборатория релевантности</footer>
   <script>
     const DRAFT_KEY = 'akyldash-search-review-draft';
     const TOUR_KEY = 'akyldash-search-review-tour-seen';

backend/test_search_api.py

@@ -29,7 +29,7 @@ class SearchApiTest(unittest.TestCase):
             with patch("search.api.request_json", return_value=response) as request:
                 status, payload = api.handle("GET", "/search?q=%D0%B7%D0%B0%D0%BA%D0%BE%D0%BD&language=ru&page=2&page_size=5&status=active")
             self.assertEqual(status, 200)
-            self.assertEqual(payload["results"][0]["snippet"], "<em>Закон</em>")
+            self.assertEqual(payload["results"][0]["snippet"], "Закон")
             body = json.loads(request.call_args.args[2])
             self.assertEqual((body["from"], body["size"]), (5, 6))
             self.assertIn({"term": {"status_code": "active"}}, body["query"]["bool"]["filter"])

docs/README.md

@@ -39,4 +39,4 @@
 
 ---
 
-Акылдаш · Telegram-бот v0.2.2 · Backend v0.9.3 · Frontend — не создан
+Акылдаш · Telegram-бот v0.2.2 · Backend v0.9.4 · Frontend — не создан

docs/operations/project-status.md

@@ -5,7 +5,7 @@
 
 - Telegram-бот: `0.2.2`
 - Telegram-бот на Synology: `0.2.1`
-- Backend: `0.9.3`
+- Backend: `0.9.4`
 - Frontend: не создан
 
 ## Краткий итог
@@ -262,4 +262,4 @@
 
 ---
 
-Акылдаш · Telegram-бот v0.2.2 · Backend v0.9.3 · Frontend — не создан
+Акылдаш · Telegram-бот v0.2.2 · Backend v0.9.4 · Frontend — не создан