Обзоры · · 2 мин
Что лучше в Ollama: Q4, Q5 или Q8-квантизация модели
Практический ответ на запрос «что лучше Q4 Q5 или Q8 Ollama»: точные команды, реальные параметры Ollama, диагностика, ограничения и проверка результата.
Универсального победителя нет: Q4 обычно экономнее по памяти, Q8 ближе к исходной точности, а Q5 часто служит компромиссом. Выбирайте не по названию файла, а по тому, помещается ли модель в GPU и проходит ли ваш фиксированный eval.
Что нужно знать до начала
- Больше бит обычно означает больший файл и расход памяти.
- Полная загрузка на GPU часто важнее небольшой разницы между соседними квантизациями.
- Результат зависит от архитектуры, метода quantization и задачи.
- Размер GGUF на диске не равен точному пику RAM/VRAM.
- Тест скорости без проверки качества может выбрать бесполезный вариант.
- Сравнивать нужно один и тот же базовый checkpoint.
Пошаговая настройка
- Скачайте варианты одного checkpoint и одной версии.
- Зафиксируйте одинаковые num_ctx, temperature, seed и промпты.
- Составьте 50–100 задач из реального сценария.
- Запишите качество, загрузку GPU, prompt_eval_duration и eval_duration.
- Отдельно измерьте пиковую память и холодный старт.
- Выберите самый компактный вариант, проходящий порог качества.
Рабочий пример
ollama ps
# Из JSON /api/generate сохраните:
# prompt_eval_count, prompt_eval_duration,
# eval_count, eval_duration, total_duration
# tokens_per_second = eval_count / (eval_duration / 1e9)