Поиск.
Найдено: 0 моделей и 10 материалов
Материалы
Как подключить Chat API vLLM и проверить model ID до первого запроса
Запускаем vLLM с чат-моделью, получаем фактический model ID и проверяем форму ответа без предположений о содержимом.
Как извлечь JSON по схеме в vLLM через response_format
Схема для извлечения артикула и количества из текста: разбираем ответ и проверяем значения против исходника.
Как обработать named tool call в vLLM без произвольного выполнения кода
Требуем вызов одной безопасной функции, валидируем аргументы и не отдаём модели право запускать произвольные команды.
Как ограничить ответ vLLM вариантами choice при классификации заявок
Получаем одну из заранее разрешённых меток и отдельно проверяем, что классификация совпала с текстом обращения.
Как найти очередь запросов vLLM по метрикам /metrics
Разделяем очередь и генерацию через метрики ожидающих запросов и времени ожидания; строим контрольный замер.
Как передать top_k в vLLM через extra_body и оценить эффект
Отправляем нестандартный для OpenAI параметр top_k через extra_body и сравниваем ответы на фиксированном корпусе.
Как получить embeddings через vLLM и не перепутать модель с чат-LLM
Подаём две строки в /v1/embeddings со специализированной моделью и проверяем количество и размерность векторов.
Как проверить пользу prefix caching vLLM для повторных вопросов к документу
Включаем prefix caching, сохраняем общий префикс и измеряем время обработки повторных вопросов без обещания ускорения каждого ответа.
Почему --api-key в vLLM не защищает весь сервер и как проверить схему доступа
Разбираем границы защиты ключом, локальную привязку и необходимость ограничить все маршруты на уровне сети.
Почему vLLM выдаёт неожиданные ответы: проверка generation_config.json
Проверяем наследование настроек модели из generation_config.json и фиксируем параметры запроса для воспроизводимого теста.