Поиск по базе знаний с помощью искусственного интеллекта

Поиск по базе знаний с помощью искусственного интеллекта

Почему ИИ в поиске – это уже не будущее, а реальность

Корпоративные клиенты всё чаще задаются вопросом: как быстро находить нужную информацию в огромном массиве документов, не тратя часы на ручной разбор? Ответ – Retrieval-Augmented Generation (RAG). Эта технология сочетает векторный поиск с генеративными моделями, выдавая не просто список ссылок, а точный, сжатый ответ, основанный на данных из базы знаний.

Мы занимаемся внедрением RAG-решений более пяти лет – от прототипов на Python до продакшн-систем, работающих в облаке круглосуточно. Далее делимся опытом: реальными кейсами, где ошибки становились уроками, а правильный выбор эмбеддингов и индексов спасал проекты.

Ключевые этапы построения поисковой системы

Сканирование и OCR. Преобразование бумажных архивов в машинный текст с помощью инструментов вроде Tesseract или ABBYY требует внимания к качеству: плохое распознавание приводит к ошибкам в эмбеддингах и «мусорным» ответам.

Предобработка. Токенизация, нормализация, удаление стоп-слов и разбиение текста на чанки (обычно 300–500 токенов) – важный шаг. Слишком мелкие чанки создают шум, слишком крупные – теряют контекст.

Векторизация. Выбор модели эмбеддингов (SBERT, MiniLM, Mistral-Embedding) зависит от языка и домена. Например, для бухгалтерии лучше использовать модели с финансовой предобучкой.

Индексация. Векторные представления хранятся в системах вроде FAISS, HNSW или ScaNN. FAISS-IVF-PQ подходит для больших объёмов (свыше 10 млн векторов), HNSW – для быстрых онлайн-запросов.

RAG-пайплайн. При запросе система выполняет поиск, отбирает топ-k релевантных фрагментов и генерирует ответ через языковую модель (например, ChatGPT-3.5 или Llama-2). Важно ограничивать генерацию найденными данными, чтобы избежать «галлюцинаций».

Мониторинг. Сбор логов, метрик (latency, Precision@k) и отзывов пользователей помогает отслеживать качество. Настройка консоли и API для экспорта метрик в Grafana или Prometheus упрощает анализ.

Кейсы из практики

Бухгалтерский архив на бумаге

Задача: оцифровать и загрузить в базу знаний архив бухгалтерских документов за 10 лет (около 30 тысяч листов). Проблема заключалась в низком качестве OCR (60%) из-за размытых подписей и старых шрифтов. Решение включало трёхэтапное сканирование с использованием DeepOCR, адаптированной под шрифты 1990-х, удаление строк с высоким процентом нераспознанных символов и векторизацию текста с помощью FinBERT-Emb. Для индексации выбрали FAISS-IVF-PQ, так как объём составил около 12 млн векторов. В результате поиск по справкам ускорился в 5 раз, а точность ответов на запросы вроде «какой был налоговый вычет в 2018 году» достигла 92%.

Встраивание RAG в клиентскую поддержку

Задача: улучшить работу службы поддержки, использовавшей HTML-страницы с FAQ (около 500 МБ). Проблема – пользователи тратили время на ручной разбор статей. Решение: страницы разбили на чанки по смыслу (заголовок + параграф), применили лёгкую модель MiniLM-L12-v2 для векторизации и построили индекс в HNSW для минимальной задержки (около 0.2 мс). В React-приложение интегрировали RAG-API, возвращающее готовый ответ и ссылку на источник. Итог: время решения тикетов сократилось с 12 до 3 минут, а NPS вырос на 15 пунктов.

Метаданные как драйвер релевантности

Задача: научная фирма хотела искать публикации с учётом метаданных (авторы, дата, проект). Проблема – поиск по полному тексту игнорировал важность метаданных, выдавая устаревшие результаты. Решение: добавили эмбеддинг метаданных через Sentence-Transformers-Multi-Task, применили boost-факторы для полей «проект» и «автор», а индекс в ScaNN настроили на фильтрацию по метаданным. Точность запросов вроде «публикации по проекту X за 2022 год» выросла до 96%.

Хранилище и интерфейс

Для хранения данных нужно планировать место в 1.5–2 раза больше объёма текстов – под индексы, логи и бэкапы. Например, для 50 ГБ текста потребуется 80–100 ГБ дискового пространства, особенно при использовании FAISS-IVF-PQ с параметром nlist=1000. Важно не забывать про бэкапы и мониторинг. Удобный интерфейс с автодополнением и фильтрами по метаданным (даты, авторы) увеличивает эффективность системы в 2–3 раза.

Частые ошибки и как их избегать

Слишком большие чанки. Потеря локального контекста снижает релевантность. Решение: делить текст на 300–500 токенов и тестировать покрытие запросами.

Неподходящий эмбеддинг. Общие языковые модели плохо работают с узкими доменами, например, финансами. Используйте специализированные модели вроде FinBERT или LegalBERT.

Игнорирование метаданных. Поиск без учёта метаданных снижает точность. Интегрируйте их в эмбеддинги и настройте фильтрацию, чтобы повысить релевантность ответов.