Гайд · TNWS AI

Как импортировать GGUF-модель в Ollama через Modelfile

WindowsmacOSLinux#Ollama #локальные нейросети #ИИ

12 сентября 2026 2 мин—

Практический ответ на запрос «как добавить GGUF модель в Ollama»: точные команды, реальные параметры Ollama, диагностика, ограничения и проверка результата.

Создайте Modelfile с директивой FROM и путём к GGUF, затем выполните ollama create с новым локальным именем. Импорт сработает только для поддерживаемой архитектуры; шаблон чата и лицензия модели требуют отдельной проверки.

Что нужно знать до начала

GGUF-файл подключается через FROM в Modelfile.
ollama create собирает локальную модель под выбранным именем.
Не каждая архитектура GGUF поддерживается Ollama.
Ошибочный chat template может дать бессвязные ответы при исправных весах.
Квантизация уже зашита в конкретный GGUF-файл.
Лицензия исходной модели не меняется после импорта.

Пошаговая настройка

Сверьте архитектуру и лицензию на официальной странице автора модели.
Проверьте checksum скачанного GGUF.
Поместите файл в постоянный каталог без пробелов либо используйте корректный путь.
Создайте Modelfile с FROM ./model.gguf.
Выполните ollama create mymodel -f Modelfile.
Запустите набор тестов для языка, системного промпта и длины ответа.

Рабочий пример

# Modelfile
FROM ./model-q4_k_m.gguf
PARAMETER temperature 0.2

# Сборка и запуск
ollama create my-local-model -f Modelfile
ollama run my-local-model "Ответь ровно: импорт работает"

Как проверить результат

Команда ollama show должна отображать модель. Прогоните не только приветствие, но и многоходовый диалог: это выявляет неверный шаблон ролей.

Чего не делать

Не скачивайте GGUF без checksum и лицензии.
Не переименовывайте файл, выдавая одну модель за другую.
Не лечите неверный шаблон увеличением temperature.

Применимость и ограничения

Команды проверялись по документации 12 сентября 2026 года. Поддержка зависит от версии Ollama, операционной системы, драйвера и конкретной модели. Перед изменением production-конфигурации сохраните текущие параметры и проведите тест на отдельной машине.

FAQ

Нужен ли интернет после загрузки локальной модели?

Для локальной генерации — нет; интернет нужен для загрузки, обновлений и облачных функций.

Как узнать, где выполняется модель?

Выполните ollama ps и проверьте столбцы PROCESSOR и CONTEXT.

Можно ли использовать инструкцию в production?

После добавления аутентификации, таймаутов, ограничений ресурсов, журналирования и собственных тестов.

Почему команды могут отличаться?

Ollama регулярно обновляется; перед изменением системы сверяйте указанную официальную страницу.

Официальный источник

https://docs.ollama.com/import