Как ограничить длину генерации в Transformers через max_new_tokens и проверить результат

1. Создайте фиксированный небольшой user-промпт и форматируйте его через шаблон модели.
2. Посчитайте входные токены до генерации.
3. Вызовите generate с явным max_new_tokens и do_sample=False.
4. Отрежьте input_ids от выхода и декодируйте только продолжение.
5. Оцените, закончен ли ответ смыслово, и не показывайте обрезанное предложение как итог.

Для установки в отдельном окружении используйте совместимую версию пакета и backend PyTorch: pip install "transformers==4.57.1" torch. Наличие команды не означает, что все веса доступны именно вашей системе или что GPU настроен. Секреты и персональные данные не помещайте в демонстрационные входы. Для быстрой диагностики перед первым большим прогоном проверьте import transformers; print(transformers.__version__).

Готовый шаблон Python

from transformers import AutoModelForCausalLM, AutoTokenizer

name = "HuggingFaceTB/SmolLM2-135M-Instruct"
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name)
messages = [{"role": "user", "content": "Name two colors."}]
input_ids = tok.apply_chat_template(messages, tokenize=True,
                                    add_generation_prompt=True,
                                    return_tensors="pt")
out = model.generate(input_ids, max_new_tokens=24, do_sample=False)
continuation = out[0, input_ids.shape[-1]:]
print("new_tokens", len(continuation))
print(tok.decode(continuation, skip_special_tokens=True))

Этот шаблон можно перенести в отдельный файл и заменить демонстрационные тексты на обезличенную выборку. Зафиксируйте checkpoint и входные строки, чтобы отличать ошибки подготовки от поведения модели. В серверном сценарии загрузку модели выполняйте один раз при старте службы, а не заново при каждом обращении. Если пример возвращает словарь, используйте проверку наличия ключа перед сохранением его в долговременное хранилище. Сначала воспроизведите малый тест, лишь затем подключайте массовый поток.

Пример входных данных и ожидаемой проверки

Вход: «Name two colors», максимум 24 новых токена. Ожидаемая проверяемая форма — new_tokens не больше 24 и декодированное продолжение без повторения исходного промпта. Возможный смысловой ответ — два названия цветов, но точные слова не фиксированы и требуют проверки.

Важно различать ожидаемую структуру ответа и непроверенное заранее содержимое нейросетевого предсказания. Если устройство или модель вернули иное значение, не «подгоняйте» скрипт под рассказ статьи. Сохраните фактический вывод, сопоставьте его с контрольным примером и запишите, какой слой дал отличие: вход, токенизация, checkpoint или постобработка. Так тест остается полезным после обновления окружения.

Как принимать решение по реальным данным

Ограничение токенов нужно для контроля нагрузки и предотвращения бесконечного продолжения, но слишком маленькая величина обрежет предложение или JSON. Входной промпт тоже потребляет контекст, поэтому max_new_tokens=24 не означает, что суммарная последовательность имеет 24 токена. Если декодировать весь out[0], отобразится и исходный промпт; в чате это выглядит как повтор вопроса. Отделите выход по длине input_ids, как в коде. do_sample=False удобно для воспроизводимого регрессионного теста в одном окружении, но смена checkpoint или реализации inference способна менять текст. Не используйте неизменность генерации как проверку фактов. Для production дополнительно проверяйте условие завершения и длину, особенно если требуются точные поля: валидируйте JSON, а неполный ответ помечайте ошибкой, а не успешно сформированным объектом.

Дополнительный тест перед внедрением

Сравните три входа: короткий вопрос, длинное описание и запрос со строгой формой ответа. Запишите длину входа, число новых токенов и причину отклонения ответа при тесте. Если итог вплотную достигает лимита и не содержит законченного предложения, увеличьте лимит только после оценки памяти и контекста либо упростите задачу; произвольное повышение верхней границы не исправит неподходящий промпт. На сервере отдельно ограничьте пользовательский ввод до вызова модели. Не подменяйте max_new_tokens старым max_length, потому что тогда одинаковое значение по-разному работает для короткого и длинного вопроса. Маленькая демонстрационная модель не обязана надёжно выполнять инструкции на русском: перенесите логику на свой checkpoint с тестами качества. Для обнаружения повторов смотрите именно continuation, иначе prompt сам создаст ложный сигнал.

Критерии готовности