Как показывать локальную генерацию потоком через TextIteratorStreamer

1. Форматируйте messages шаблоном модели и создайте input_ids.
2. Создайте TextIteratorStreamer с пропуском промпта и служебных токенов.
3. Передайте streamer в generate, запустив генерацию в отдельном потоке.
4. Итерируйте фрагменты и одновременно собирайте полную строку.
5. После окончания потока дождитесь потока исполнения и проверьте окончательную форму ответа.

Для установки в отдельном окружении используйте совместимую версию пакета и backend PyTorch: pip install "transformers==4.57.1" torch. Наличие команды не означает, что все веса доступны именно вашей системе или что GPU настроен. Секреты и персональные данные не помещайте в демонстрационные входы. Для быстрой диагностики перед первым большим прогоном проверьте import transformers; print(transformers.__version__).

Готовый шаблон Python

from threading import Thread
from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer

name = "HuggingFaceTB/SmolLM2-135M-Instruct"
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name)
ids = tok.apply_chat_template([{"role":"user","content":"Name two colors."}],
                              tokenize=True, add_generation_prompt=True,
                              return_tensors="pt")
streamer = TextIteratorStreamer(tok, skip_prompt=True,
                                skip_special_tokens=True, timeout=30)
worker = Thread(target=model.generate,
                kwargs={"input_ids":ids, "max_new_tokens":32, "streamer":streamer})
worker.start()
parts = []
for piece in streamer:
    parts.append(piece)
    print(piece, end="", flush=True)
worker.join()
print("\ncomplete:", "".join(parts))

Этот шаблон можно перенести в отдельный файл и заменить демонстрационные тексты на обезличенную выборку. Зафиксируйте checkpoint и входные строки, чтобы отличать ошибки подготовки от поведения модели. В серверном сценарии загрузку модели выполняйте один раз при старте службы, а не заново при каждом обращении. Если пример возвращает словарь, используйте проверку наличия ключа перед сохранением его в долговременное хранилище. Сначала воспроизведите малый тест, лишь затем подключайте массовый поток.

Пример входных данных и ожидаемой проверки

Вход: запрос «Name two colors». Ожидается последовательность текстовых фрагментов и затем строка complete из их конкатенации; конкретное разбиение слов на куски не фиксировано. Если соединение с браузером оборвалось, приложение не должно сохранять полученные первые символы как полноценный ответ.

Важно различать ожидаемую структуру ответа и непроверенное заранее содержимое нейросетевого предсказания. Если устройство или модель вернули иное значение, не «подгоняйте» скрипт под рассказ статьи. Сохраните фактический вывод, сопоставьте его с контрольным примером и запишите, какой слой дал отличие: вход, токенизация, checkpoint или постобработка. Так тест остается полезным после обновления окружения.

Как принимать решение по реальным данным

Потоковая выдача сокращает время до первых видимых символов, но не означает, что вся задача вычисляется быстрее. Streamer выдаёт декодируемые текстовые части: если фронтенд считает каждый piece отдельным словом или токеном, метрики и UI будут неверными. Сборка parts нужна для аудита и для финальной проверки ответа. Особенно важно отличать «полный ответ» от «вкладка закрылась после двух слов». При исключении в worker основной поток может ждать следующие части; timeout позволяет не ждать бесконечно, но потребуются обработка исключения и журнал состояния задания. В примере демонстрируется успешный путь на локальной модели; промышленный сервер должен дополнительно передавать ошибки фонового потока в основной обработчик и иметь правила отмены работы. Не подключайте автоматическую отправку письма к каждому частичному фрагменту.

Дополнительный тест перед внедрением

Проверьте три сценария приёмки: нормальное завершение с полной строкой, остановку клиентского соединения и ошибку генерации после первых слов. В первом концевая строка должна равняться сумме показанных фрагментов. Во втором запись в базе помечается прерванной, даже если пользователь уже увидел красивое начало. В третьем нельзя возвращать HTTP-успех как будто модель закончила ответ. Если LLM обязана выдать JSON, поток служит только предварительным отображением: парсинг и принятие результата выполняйте по завершении. Длительный пользовательский ввод тоже задержит первый символ, поэтому отдельно измеряйте время подготовки, загрузки модели и генерации. При смене версии Transformers проверяйте streamer API заново, поскольку производитель прямо предупреждает об изменяемости реализации.

Критерии готовности