Поиск.
Найдено: 0 моделей и 10 материалов
Материалы
Как ограничить генерацию llama.cpp через n_predict и проверить причину остановки
Используем native /completion и поля остановки, чтобы отличить заданный лимит от нормального конца ответа.
Как переранжировать найденные документы через llama.cpp /v1/rerank
Запускаем reranker GGUF, подаём список кандидатов и проверяем порядок и связь результата с исходными документами.
Как получить embeddings через llama.cpp /v1/embeddings и проверить pooling
Запускаем специализированную embedding-модель, кодируем две строки и проверяем размерность и числовой формат.
Как получить JSON по схеме через response_format в llama.cpp server
Задаём объектную JSON Schema в chat endpoint, разбираем строку content и валидируем обязательные поля отдельно.
Как посчитать токены русского промпта через /tokenize в llama.cpp
Считаем токены конкретным токенизатором GGUF, проверяем структуру tokens и риск переполнения контекста.
Как проверить шаблон диалога llama.cpp через /apply-template без генерации
Вычисляем фактический промпт из messages, ищем потери ролей и избегаем двойного применения chat template.
Как проверить готовность llama.cpp server через /health перед запросом к модели
Разбираем ответ /health при загрузке модели и после неё; Python-проверка различает 503, 200 и сетевую ошибку.
Как увидеть занятые слоты llama.cpp server через /slots
Диагностируем конкурирующие запросы через GET /slots и отдельный код 503 при отсутствии свободного слота.
Как собрать метрики llama.cpp server через /metrics без ложных выводов
Включаем --metrics, читаем счётчики токенов и занятые запросы, отделяем throughput от задержки пользователя.
Как вести двухшаговый диалог через llama.cpp /v1/chat/completions
Собираем messages, добавляем ответ assistant в историю и проверяем, что модель использует предыдущий вопрос.