Как привязать ответ RAG к документам через Haystack AnswerBuilder

1. Подайте генератору пронумерованные фрагменты и сохраните список документов в том же порядке.
2. В промпте запросите ссылку вида [1] рядом с проверяемым утверждением.
3. Настройте reference_pattern на один номер в квадратных скобках.
4. Передайте replies, query и исходные documents в AnswerBuilder и просмотрите answers.
5. Проверьте каждое утверждение по фактическому документу; номер ссылки — не доказательство корректного вывода.

Готовый шаблон

from haystack import Document
from haystack.components.builders import AnswerBuilder

docs = [Document(id="R7", content="Возврат 14 дней."),
        Document(id="D9", content="Доставка по будням.")]
answer = AnswerBuilder(reference_pattern=r"\[(\d+)\]")
result = answer.run(query="Срок возврата?",
                    replies=["Возврат возможен 14 дней [1]."],
                    documents=docs)
for item in result["answers"]:
    print(item.data, [doc.id for doc in item.documents])

Пример предназначен для контролируемого теста на своих данных. Установите зависимости в отдельном окружении и зафиксируйте версии; при использовании локальной embedding-модели отдельно проверьте её доступность и разрешённость для вашего проекта. Код был проверен на синтаксис Python, но его вызовы Haystack в данном материале не выдаются за выполненный runtime-тест.

Вход и ожидаемый результат

Вход: два фрагмента R7 и D9, ответ «Возврат возможен 14 дней [1]». Ожидается объект ответа с текстом и ссылкой на R7, но не на D9. Если модель напишет [2] у срока, синтаксически ссылка будет разобрана, а фактически опровергнется содержимым документа D9.

Помимо положительного кейса записывайте отрицательный: отсутствие факта, чужой документ, пустой файл или несовместимая редакция правила в зависимости от задачи. Храните ожидаемые ID и смысл результата отдельно от вывода программы. Если пример не прошёл, выясните, на каком шаге данные впервые разошлись: загрузка, обработка, извлечение или построение ответа. Нельзя исправлять результат одной только формулировкой ответа, если нужный факт никогда не поступил в контекст.

Разбор ограничений и ошибок

Нумерованные ссылки возникают в тексте генератора, а AnswerBuilder разбирает их структуру; компонент не доказывает, что предложение действительно следует из указанного фрагмента. Для важного RAG-ответа проверяйте три уровня: ID найденного документа, точную цитируемую фразу и соответствие утверждения этой фразе. При изменении порядка retrieved documents сохранённый в старом кеше ответ [1] может начать указывать на другой источник; кэшируйте весь контекст вместе с ответом или привязывайте постоянные ID. Если не задать reference_pattern, все документы попадут в поле references и интерфейс может ошибочно назвать их использованными. Regex должен находить именно те обозначения, которые вы инструктировали модель выводить, а не любые цифры в сроке или артикуле. Возвращаемые references не должны обходить проверку доступа: прямой переход по URL документа тоже проверяется сервером.

Проверочный сценарий на реальном корпусе

Негативный тест включает ответ без ссылок, несуществующий номер [9], противоречивый срок [1] и цитату на документ другого пользователя. Первый случай лучше пометить непроверенным, второй — ошибкой атрибуции, третий — фактической ошибкой, четвёртый — инцидентом контроля доступа. Эти категории нельзя сводить к одной метрике «ответ со ссылкой». При нескольких фрагментах одного документа объединяйте ссылки на исходный документ только после проверки, что они относятся к той же редакции. Для генераторов Chat и non-Chat структура replies может различаться, но компонент поддерживает оба вида согласно документации. Число цитат не является оценкой качества; иногда честный ответ «нет данных» с нулём цитат предпочтительнее красивого вымышленного ответа.

Критерии приёмки