Гайд · TNWS AI
Как сделать поиск по документам с RAG: от файлов до проверяемого ответа
Понятный план RAG-системы: очистка документов, разбиение текста, embeddings, поиск фрагментов и ответы со ссылками.
Что делает RAG
RAG сначала находит подходящие фрагменты ваших документов, затем передаёт их модели для ответа. Это не обучает модель заново и не гарантирует истину: качество зависит от файлов, разбиения и поиска.
Подготовьте данные
Удалите дубли и устаревшие версии, сохраните заголовки, даты и права доступа. Разбивайте текст по смысловым разделам с небольшим перекрытием. Для каждого фрагмента храните источник, страницу и версию документа.
Настройте поиск
Преобразуйте запрос и фрагменты в векторы совместимой моделью embeddings. Возвращайте несколько кандидатов и проверяйте их релевантность на реальных вопросах. Для названий и кодов полезно сочетать семантический и обычный поиск.
Сформируйте ответ
Передавайте модели только найденные фрагменты, запретите додумывать и показывайте ссылки на источники. Измеряйте отдельно качество поиска и качество финального ответа.
Частые вопросы
Нужно ли проверять результат вручную?
Да. Факты, код, числа и критичные решения всегда требуют проверки.
Можно ли передавать секретные данные?
Нет. Удалите ключи, персональные сведения и закрытые материалы, если сервис не одобрен.
Зависит ли результат от модели?
Да, поэтому проверяйте процесс на собственном наборе примеров.
Читайте также
Как использовать embeddings GigaChat для поиска похожих текстов
Embeddings GigaChat: вектор из 1024 координат, окно 512 токенов, косинусное сходство, чанкинг и проверка качества поиска.
Как создать embeddings для поиска по текстам: чанки, векторы и проверка выдачи
Практический семантический поиск через embeddings: подготовка фрагментов, вызов API, cosine similarity и тест качества.
Как измерить hit rate и MRR поиска в LlamaIndex RetrieverEvaluator
Размеченный вопрос, expected_ids и оценка позиции релевантного узла до тестирования ответов генератора.
Комментарии
Пока тихо. Скажите первое слово