Как запускать Transformers без интернета через локальные файлы модели

1. На компьютере с доступом к Hub загрузите модель и токенизатор проверенного checkpoint.
2. Сохраните оба объекта в разрешённую локальную папку и проверьте набор файлов.
3. Скопируйте папку в изолированную среду с тем же стеком библиотек.
4. Установите HF_HUB_OFFLINE до старта процесса и загрузите оба объекта с local_files_only=True.
5. Отключите сеть для приёмочного теста и сравните предсказание на одном контрольном отзыве.

Для установки в отдельном окружении используйте совместимую версию пакета и backend PyTorch: pip install "transformers==4.57.1" torch. Наличие команды не означает, что все веса доступны именно вашей системе или что GPU настроен. Секреты и персональные данные не помещайте в демонстрационные входы. Для быстрой диагностики перед первым большим прогоном проверьте import transformers; print(transformers.__version__).

Готовый шаблон Python

from transformers import AutoModelForSequenceClassification, AutoTokenizer

name = "distilbert/distilbert-base-uncased-finetuned-sst-2-english"
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForSequenceClassification.from_pretrained(name)
tok.save_pretrained("./review_model")
model.save_pretrained("./review_model")
# На изолированной машине после переноса ./review_model:
offline_tok = AutoTokenizer.from_pretrained("./review_model", local_files_only=True)
offline_model = AutoModelForSequenceClassification.from_pretrained(
    "./review_model", local_files_only=True)
print(offline_tok("The delivery was great.")["input_ids"][:8])
print(offline_model.config.id2label)

Этот шаблон можно перенести в отдельный файл и заменить демонстрационные тексты на обезличенную выборку. Зафиксируйте checkpoint и входные строки, чтобы отличать ошибки подготовки от поведения модели. В серверном сценарии загрузку модели выполняйте один раз при старте службы, а не заново при каждом обращении. Если пример возвращает словарь, используйте проверку наличия ключа перед сохранением его в долговременное хранилище. Сначала воспроизведите малый тест, лишь затем подключайте массовый поток.

Пример входных данных и ожидаемой проверки

Вход — checkpoint с двумя метками и фраза «The delivery was great». Ожидается, что папка ./review_model переносится вместе с весами, конфигурацией и tokenizer; загрузка с local_files_only=True работает без сетевого обращения и печатает начало списка token IDs плюс словарь меток. Само качество классификации оценивают отдельным inference.

Важно различать ожидаемую структуру ответа и непроверенное заранее содержимое нейросетевого предсказания. Если устройство или модель вернули иное значение, не «подгоняйте» скрипт под рассказ статьи. Сохраните фактический вывод, сопоставьте его с контрольным примером и запишите, какой слой дал отличие: вход, токенизация, checkpoint или постобработка. Так тест остается полезным после обновления окружения.

Как принимать решение по реальным данным

Офлайн-режим часто путают с «модель скачает сама при первом обращении на сервере». В изолированной среде загрузка невозможна, если веса или файлы токенизатора не были перенесены заранее. Тестируйте чистую машину без предварительного cache: иначе успешный запуск может случайно использовать старую копию из домашнего каталога. local_files_only=True задавайте и для модели, и для tokenizer; переменная HF_HUB_OFFLINE дополнительно блокирует запросы к Hub. Однако локальность не делает модель безопасной по происхождению: до переноса изучите карточку, лицензию, формат весов и репозиторий. Файлы моделей могут быть большими, поэтому при упаковке проверяйте размер и контрольные суммы, не придумывая оценку в гигабайтах заранее.

Дополнительный тест перед внедрением

Проведите два эксперимента. Первый — удалить доступ к сети и загрузить по локальному пути на чистой машине: приложение должно успешно построить tokenizer и model. Второй — намеренно убрать один необходимый файл из тестовой копии: запуск должен завершиться понятной ошибкой, а не незаметно получить ресурсы извне. При обновлении версии модели копируйте её в новый каталог и сравнивайте контрольные предсказания; не переписывайте рабочую папку до проверки. Если модель подчиняется собственному Python-коду из репозитория, отдельно оценивайте доверие к исполнению кода; для выбранного примера не требуется включать trust_remote_code. Пример сохраняет только модель и токенизатор, а не всё окружение: зависимости и совместимую версию Transformers нужно зафиксировать самостоятельно.

Критерии готовности