Как загрузить русские TXT-файлы в Haystack через TextFileToDocument

1. Подготовьте один небольшой UTF-8 TXT-файл с двумя русскими предложениями и числом, заранее сохраните ожидаемую строку.
2. Передайте объект Path внутри списка sources и укажите meta с ID набора документов.
3. Прочитайте возвращённый список документов и проверьте текст, число и прикреплённые метаданные.
4. Проверьте второй файл в другой кодировке отдельно; не смешивайте его с первой партией до явного решения о перекодировании.
5. Только после успешного преобразования подключайте очистку, разбиение и DocumentWriter.

Готовый шаблон

from pathlib import Path
from haystack.components.converters import TextFileToDocument

# На диске заранее существует policy-r7.txt в кодировке UTF-8.
path = Path("policy-r7.txt")
converter = TextFileToDocument(encoding="utf-8")
result = converter.run(sources=[path], meta={"batch": "R7"})
for document in result["documents"]:
    assert "14 дней" in document.content
    print(document.content, document.meta)

Пример предназначен для контролируемого теста на своих данных. Установите зависимости в отдельном окружении и зафиксируйте версии; при использовании локальной embedding-модели отдельно проверьте её доступность и разрешённость для вашего проекта. Код был проверен на синтаксис Python, но его вызовы Haystack в данном материале не выдаются за выполненный runtime-тест.

Вход и ожидаемый результат

Содержимое файла: «Возврат товара возможен 14 дней. Исключение: цифровой товар». Ожидается один объект Document, в чьём content присутствуют число 14 и исключение, а в meta присутствует batch=R7. Если на выходе появляются символы замены или исчезает отрицание, индексацию останавливают и проверяют кодировку и исходный файл.

Помимо положительного кейса записывайте отрицательный: отсутствие факта, чужой документ, пустой файл или несовместимая редакция правила в зависимости от задачи. Храните ожидаемые ID и смысл результата отдельно от вывода программы. Если пример не прошёл, выясните, на каком шаге данные впервые разошлись: загрузка, обработка, извлечение или построение ответа. Нельзя исправлять результат одной только формулировкой ответа, если нужный факт никогда не поступил в контекст.

Разбор ограничений и ошибок

Текстовый конвертер не понимает юридический смысл и не восстанавливает символы, потерянные при неверной кодировке. Поэтому отдельный контроль контента до разбиения обязателен. Если в организации старые файлы сохранены в Windows-1251, не переименовывайте их расширения в .txt и не надеетесь на автоматическое распознавание: сначала идентифицируйте кодировку, затем передайте соответствующий encoding или переведите файлы в UTF-8 в явном этапе подготовки. Важно отличать путь к файлу от произвольного URL: sources принимает локальные пути либо ByteStream, а загрузка удалённого объекта требует отдельного компонента и контроля доступа. Поле meta удобно для партии, но не заменяет устойчивый документальный ID и дату редакции; добавьте их в последующих шагах при контроле версий. Директория с пользовательскими файлами должна проходить проверку разрешённых путей, формата и размера на стороне приложения.

Проверочный сценарий на реальном корпусе

Соберите небольшой тестовый набор: файл с кириллицей и цифрами, пустой файл, файл с неожиданной кодировкой и файл с переведёнными строками. Для первого сравните исходный текст и содержимое Document посимвольно на критическом фрагменте, для второго решите, должны ли пустые документы попадать в индекс, для третьего ожидайте явный сбой или контролируемую перекодировку, для четвёртого проверьте, что переносы не склеили отрицание с соседней строкой. После конвертации выполните контрольный поиск по фразе «цифровой товар» лишь как дополнительный этап: отсутствие результата может происходить и из-за ретривера, и из-за изначального исчезновения текста. Если файл содержит Markdown или PDF, не выдавайте результат простого TXT-конвертера за полноценное сохранение структуры — используйте подходящий конвертер и профильную документацию. Сохраняйте лог ошибок по имени файла без утечки полного текста.

Критерии приёмки