Как очистить текст для RAG через Haystack DocumentCleaner

1. Сохраните исходный текст и документальный ID отдельно, чтобы сравнение до и после было воспроизводимым.
2. Определите, является ли вход обычным текстом или Markdown с таблицами и списками: для Markdown выключите автоматическое удаление лишних пробелов и пустых строк.
3. Выпишите только заведомо лишнюю строку колонтитула; не подставляйте регулярное выражение, которое может захватить деловые факты.
4. Запустите компонент на маленьком образце и сравните весь результат, не только длину текста.
5. Примените очищение к полному набору лишь после проверки примеров с переносом страницы и значимым форматированием.

Готовый шаблон

from haystack import Document
from haystack.components.preprocessors import DocumentCleaner

source = Document(content="Правило: 14  дней.\n\n\nКонтакт: support@example.org")
cleaner = DocumentCleaner(remove_empty_lines=True,
                          remove_extra_whitespaces=True)
cleaned = cleaner.run(documents=[source])["documents"][0]
print(repr(cleaned.content))

Пример предназначен для контролируемого теста на своих данных. Установите зависимости в отдельном окружении и зафиксируйте версии; при использовании локальной embedding-модели отдельно проверьте её доступность и разрешённость для вашего проекта. Код был проверен на синтаксис Python, но его вызовы Haystack в данном материале не выдаются за выполненный runtime-тест.

Вход и ожидаемый результат

На входе строка с двумя пробелами внутри «14 дней» и тремя переводами строк перед адресом. В ожидаемом результате факт «14 дней» и адрес сохраняются, лишние пробелы и пустые строки сокращаются. Если удалить сам адрес, это провал проверки, даже если текст выглядит визуально чище. Для Markdown-таблицы ожидаемый результат иной: сохранение границ ячеек важнее одинаковой плотности пробелов.

Помимо положительного кейса записывайте отрицательный: отсутствие факта, чужой документ, пустой файл или несовместимая редакция правила в зависимости от задачи. Храните ожидаемые ID и смысл результата отдельно от вывода программы. Если пример не прошёл, выясните, на каком шаге данные впервые разошлись: загрузка, обработка, извлечение или построение ответа. Нельзя исправлять результат одной только формулировкой ответа, если нужный факт никогда не поступил в контекст.

Разбор ограничений и ошибок

Очистка влияет не на косметику, а на доступность фрагментов при последующем поиске. Если исключить текст с юридически значимым исключением, генератор не сможет его восстановить. Постройте регрессионный тест из пары исходных документов: простой текст с колонтитулом и Markdown с таблицей тарифных условий. В первом можно проверять удаление заведомой повторной строки на нескольких страницах, но remove_repeated_substrings требует настоящих границ form feed; во втором сохраните строки таблицы и заголовок. Не включайте ascii_only для русского: кириллица может быть испорчена, а это изменит смысл и ухудшит поиск. unicode_normalization тоже требует осознанного выбора, особенно когда по очищенному тексту затем сопоставляют исходные смещения или юридические цитаты. Сохраните контрольные фразы и запустите тест после смены конвертера, потому что текст PDF и Markdown могут иметь разные структуры. В логах фиксируйте версию компонента и настройку удаления, не копируйте персональные документы в публичный стенд.

Проверочный сценарий на реальном корпусе

Отдельно протестируйте пустой текст и документ только из пробелов: downstream-разбиение не должно превратить их в ложный ответ. Измеряйте долю удалённых символов по каждому файлу, а не только среднюю: резкий всплеск у одного договора указывает на ошибочный regex. Если файл содержит оглавление и повторный заголовок раздела, не называйте всякое повторение колонтитулом: повтор может быть частью нормы. Для сложного PDF с колонками сначала проверьте качество извлечения конвертером; очистка не способна восстановить утраченный порядок чтения. При проверке человек должен видеть diff на нескольких критических строках. После очистки повторите один поисковый вопрос, где ожидаемая фраза находится рядом с удалённым шумом: релевантность должна сохраниться. Так вы отделите видимость чистого текста от реального эффекта для RAG.

Критерии приёмки