Сучасні підприємства накопичують значні обсяги неструктурованої текстової інформації — технічну документацію, регламенти, інструкції з налаштування, бази знань служб підтримки. Частка неструктурованих даних у загальному інформаційному фонді організацій сягає 80 %, а їхній обсяг подвоюється кожні два-три роки. Класичні системи пошуку на основі ключових слів (TF-IDF, BM25) не враховують семантики запиту, чутливі до синонімії й різних формулювань. Великі мовні моделі (LLM) формують природномовну відповідь, але обмежені актуальністю тренувальних даних, не мають доступу до приватної корпоративної інформації та схильні до галюцинацій. Технологія Retrieval-Augmented Generation (RAG) поєднує переваги обох підходів і є одним із провідних архітектурних шаблонів сучасних інтелектуальних інформаційних систем.
Метою роботи є підвищення ефективності пошуку інформації у корпоративних базах знань шляхом розроблення інтелектуальної інформаційної системи семантичного пошуку на основі технології Retrieval-Augmented Generation, що формує точну й контекстно обґрунтовану відповідь природною мовою з підтвердженням джерелами. Об'єктом дослідження є процес семантичного пошуку інформації у корпоративній базі знань, предметом — методи та програмні засоби побудови RAG-систем на основі поєднання щільних векторних представлень, наближеного пошуку найближчих сусідів та великих мовних моделей.
Архітектуру системи побудовано за принципом багаторівневого поділу на компоненти із чітко визначеною зоною відповідальності (рис. 1). Виокремлено шість рівнів: подання (Streamlit UI, FastAPI REST), оркестрація (RAG-конвеєр), інтелектуальні служби (гібридний пошук, перерейтинг, генерування відповіді), моделі (E5, BGE, LLM), підготовка даних і сховище (Chroma + SQLite). Багаторівневий поділ забезпечує слабку зв'язність компонентів та можливість заміни моделей без модифікації решти системи.
Рисунок 1 — Структурна схема програмного засобу семантичного пошуку
Конвеєр обслуговування запиту реалізує гібридний пошук, що поєднує щільний (семантичний) та розріджений (BM25) способи. Запит користувача перетворюється на 768-вимірний вектор мультимовною моделлю multilingual-e5-base, після чого виконується пошук топ-20 кандидатів у Chroma за косинусною подібністю. Паралельно виконується BM25-пошук на словесному індексі. Результати об'єднуються методом Reciprocal Rank Fusion (k = 60). Об'єднаний перелік перевпорядковує крос-енкодерна модель BAAI/bge-reranker-base, що дозволяє точніше оцінити релевантність пари «запит — фрагмент». Фінальні топ-5 фрагментів об'єднуються у контекст для великої мовної моделі (gpt-4o-mini або локальної Llama 3.1 8B) разом із шаблоном підказки, що містить інструкцію відповідати лише на основі наданого контексту.
Експериментальне дослідження проведено на тестовому корпусі з 412 документів технічної документації (8 654 фрагменти) та 80 запитів з еталонними відповідями. Порівняно п'ять конфігурацій пошукової складової за метриками Recall@k, MRR і NDCG@10 (таблиця 1).
Таблиця 1 — Результати порівняння конфігурацій пошуку
Робочою обрано конфігурацію «Hybrid + Rerank», що забезпечує найкраще співвідношення якості та продуктивності: Recall@5 = 87,6 %, MRR = 80,3 %, NDCG@10 = 84,1 %. Перехід від BM25 до щільного пошуку дав приріст Recall@5 на 14,8 п. п., додавання гібридного злиття — ще на 6,2 п. п., перерейтинг крос-енкодером — ще на 5,2 п. п. Додавання трансформації запиту HyDE дає лише 1,3 п. п. ціною подвоєння часу відгуку, що не виправдано для прийнятої постановки задачі.
Якість генеративної складової оцінено за метриками faithfulness та answer relevancy засобами бібліотеки ragas для двох мовних моделей. Хмарна gpt-4o-mini забезпечує faithfulness 92,7 % за середній час відгуку 1,84 с; локальна Llama-3.1-8B-Instruct — 86,1 % за 8,72 с на ЦП або 1,32 с на графічному процесорі. Локальна модель забезпечує цілковиту приватність корпоративних даних і є придатною для організацій з підвищеними вимогами до конфіденційності.
Програмний засіб реалізовано мовою Python 3.13 у вигляді 12 модулів із застосуванням бібліотек LangChain, sentence-transformers, Chroma, rank_bm25, FlagEmbedding, FastAPI, Streamlit та ragas. Розроблено вебінтерфейс із трьома сторінками (пошук, корпус, аналітика) та REST API з вісьмома кінцевими точками. Проведено модульне (64 тести), інтеграційне (18 тестів) та функціональне (80 тестів) тестування з показниками 100 %, 100 % та 91,3 % успіху відповідно.
Розроблений програмний засіб скорочує час пошуку інформації за рахунок розуміння системою сенсу запиту, а не лише ключових слів, зменшує навантаження на службу підтримки шляхом автоматизованих відповідей із посиланням на першоджерело та знижує ризик застосування недостовірних відомостей завдяки прив'язці кожної відповіді до конкретних фрагментів документів. На відміну від комерційних SaaS-платформ, засіб підтримує повністю локальне розгортання та може застосовуватися організаціями з підвищеними вимогами до приватності даних. Перспективними напрямами вдосконалення є впровадження агентного RAG, рекурсивного пошуку з самоперевіркою достовірності, інтеграція мультимодальних моделей та доучування моделі векторизації на доменній термінології організації.
Література
1. Lewis P., Perez E., Piktus A. et al. Retrieval-augmented generation for knowledge-intensive NLP tasks. Advances in Neural Information Processing Systems. 2020. Vol. 33. P. 9459–9474.
2. Wang L., Yang N., Huang X. et al. Multilingual E5 text embeddings: a technical report. arXiv preprint arXiv:2402.05672. 2024. 19 p.
3. Malkov Y. A., Yashunin D. A. Efficient and robust approximate nearest neighbor search using hierarchical navigable small world graphs. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2020. Vol. 42, № 4. P. 824–836.
4. Robertson S., Zaragoza H. The probabilistic relevance framework: BM25 and beyond. Foundations and Trends in Information Retrieval. 2009. Vol. 3, № 4. P. 333–389.
5. Cormack G. V., Clarke C. L. A., Buettcher S. Reciprocal rank fusion outperforms Condorcet and individual rank learning methods. Proceedings of the 32nd SIGIR Conference. Boston, 2009. P. 758–759.
6. Gao Y., Xiong Y., Gao X. et al. Retrieval-augmented generation for large language models: a survey. arXiv preprint arXiv:2312.10997. 2024. 21 p.
_____________________________
Науковий керівник: Коваль Василь Сергійович, кандидат технічних наук, доцент, Західноукраїнський національний університет
|
Голосування 
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License
Знайшли помилку? Виділіть помилковий текст мишкою і натисніть Ctrl + Enter