Поиск.
Найдено: 0 моделей и 16 материалов
Материалы
Как импортировать GGUF-модель в Ollama через Modelfile
Практический ответ на запрос «как добавить GGUF модель в Ollama»: точные команды, реальные параметры Ollama, диагностика, ограничения и проверка результата.
Как переранжировать найденные документы через llama.cpp /v1/rerank
Запускаем reranker GGUF, подаём список кандидатов и проверяем порядок и связь результата с исходными документами.
Как посчитать токены русского промпта через /tokenize в llama.cpp
Считаем токены конкретным токенизатором GGUF, проверяем структуру tokens и риск переполнения контекста.
Как ограничить генерацию llama.cpp через n_predict и проверить причину остановки
Используем native /completion и поля остановки, чтобы отличить заданный лимит от нормального конца ответа.
Как получить embeddings через llama.cpp /v1/embeddings и проверить pooling
Запускаем специализированную embedding-модель, кодируем две строки и проверяем размерность и числовой формат.
Как получить JSON по схеме через response_format в llama.cpp server
Задаём объектную JSON Schema в chat endpoint, разбираем строку content и валидируем обязательные поля отдельно.
Как проверить шаблон диалога llama.cpp через /apply-template без генерации
Вычисляем фактический промпт из messages, ищем потери ролей и избегаем двойного применения chat template.
Как проверить готовность llama.cpp server через /health перед запросом к модели
Разбираем ответ /health при загрузке модели и после неё; Python-проверка различает 503, 200 и сетевую ошибку.
Как увидеть занятые слоты llama.cpp server через /slots
Диагностируем конкурирующие запросы через GET /slots и отдельный код 503 при отсутствии свободного слота.
Как собрать метрики llama.cpp server через /metrics без ложных выводов
Включаем --metrics, читаем счётчики токенов и занятые запросы, отделяем throughput от задержки пользователя.
Как вести двухшаговый диалог через llama.cpp /v1/chat/completions
Собираем messages, добавляем ответ assistant в историю и проверяем, что модель использует предыдущий вопрос.
Что лучше в Ollama: Q4, Q5 или Q8-квантизация модели
Практический ответ на запрос «что лучше Q4 Q5 или Q8 Ollama»: точные команды, реальные параметры Ollama, диагностика, ограничения и проверка результата.
Как проверить наличие blob в Ollama API через HEAD-запрос
Вычисляем SHA-256, вызываем HEAD /api/blobs/:digest и различаем подтверждённые статусы 200 и 404 перед созданием модели.
Как создать модель через Ollama API /api/create
Создаём производную модель из установленной, задаём system и parameters, разбираем поток status, проверяем success и новую запись через /api/tags.
Как создать model.yaml в LM Studio для вариантов одной модели
Как создать model.yaml в LM Studio для вариантов одной модели: точная настройка, пример, критерии проверки и типичные ошибки.
Как загрузить файл как blob в Ollama API с проверкой SHA-256
Считаем digest, отправляем бинарный файл в POST /api/blobs/:digest, проверяем 201 Created и подтверждаем blob независимым HEAD-запросом.