Как разметить темы заявок без обучения через zero-shot-classification в Transformers

1. Определите взаимоисключающие либо совместимые темы до запуска модели.
2. Напишите кандидатные метки на языке модели: delivery, payment, return.
3. Составьте шаблон гипотезы с {}, понятный для предложения о поддержке.
4. Выполните классификацию с явным multi_label и сохраните все scores вместе с порядком labels.
5. Разберите неуверенные и двусмысленные записи вручную, затем исправьте словарь категорий.

Для установки в отдельном окружении используйте совместимую версию пакета и backend PyTorch: pip install "transformers==4.57.1" torch. Наличие команды не означает, что все веса доступны именно вашей системе или что GPU настроен. Секреты и персональные данные не помещайте в демонстрационные входы. Для быстрой диагностики перед первым большим прогоном проверьте import transformers; print(transformers.__version__).

Готовый шаблон Python

from transformers import pipeline

classifier = pipeline("zero-shot-classification",
                      model="FacebookAI/roberta-large-mnli")
ticket = "My parcel has not arrived and I want a refund."
out = classifier(ticket, candidate_labels=["delivery", "payment", "return"],
                 hypothesis_template="This support ticket is about {}.",
                 multi_label=True)
print(list(zip(out["labels"], out["scores"])))

Этот шаблон можно перенести в отдельный файл и заменить демонстрационные тексты на обезличенную выборку. Зафиксируйте checkpoint и входные строки, чтобы отличать ошибки подготовки от поведения модели. В серверном сценарии загрузку модели выполняйте один раз при старте службы, а не заново при каждом обращении. Если пример возвращает словарь, используйте проверку наличия ключа перед сохранением его в долговременное хранилище. Сначала воспроизведите малый тест, лишь затем подключайте массовый поток.

Пример входных данных и ожидаемой проверки

Вход: «My parcel has not arrived and I want a refund», категории delivery, payment, return. Ожидаемая структура — ранжированный список labels и соответствующих scores; сценарий допускает сразу delivery и return. Конкретные числа и порядок получаются при реальном запуске, не задавайте их как константу в правиле обработки.

Важно различать ожидаемую структуру ответа и непроверенное заранее содержимое нейросетевого предсказания. Если устройство или модель вернули иное значение, не «подгоняйте» скрипт под рассказ статьи. Сохраните фактический вывод, сопоставьте его с контрольным примером и запишите, какой слой дал отличие: вход, токенизация, checkpoint или постобработка. Так тест остается полезным после обновления окружения.

Как принимать решение по реальным данным

Формулировка категории — часть входных данных нейросети. Метки «delivery» и «shipment» частично дублируют друг друга, поэтому отчёт о распределении тем по клиентам станет неустойчивым. Сначала договоритесь о таксономии: отдельна ли тема задержки от потери посылки, можно ли пометить возврат вместе с доставкой, что делать с общим вопросом. Режим multi_label=True полезен для составных обращений, но scores тогда не требуется суммировать до единицы. Если заявка должна попасть ровно в один отдел, используйте соответствующую схему и предусмотрите ручной маршрут для неоднозначных случаев. Предложение в hypothesis_template также влияет на результат; тестируйте одно и то же предложение при разных формулировках и не выбирайте лучшую на единственном примере. Пустая или слишком широкая метка «other» редко заменяет настоящее правило обработки неизвестных тем.

Дополнительный тест перед внедрением

Соберите три контрольные группы: однозначная доставка, однозначная оплата и письмо, объединяющее возврат с доставкой. Зафиксируйте ручную разметку и проверьте, сколько обращений модель отправляет не туда. Затем выполните отрицательный тест: «Please change my account email» не должен автоматически становиться уверенной оплатой только потому, что альтернативы нет. Для русскоязычного потока не переводите строки втихую: либо документируйте качественный перевод и измеряйте каскад ошибок, либо выберите NLI-модель с подходящим языком и проверьте карточку. Это не обучение под ваш бизнес: классы вводятся при инференсе, но качество всё равно необходимо измерять. В журнале храните версию списка категорий и выбранный шаблон; изменение даже одного слова может изменить распределение заявок и сломать сравнимость отчётов.

Критерии готовности