Поиск.
Найдено: 0 моделей и 20 материалов
Материалы
Как сделать проверку ответа LLM перед отправкой клиенту
Как сделать проверку ответа LLM перед отправкой клиенту: пошаговый разбор, готовый шаблон, пример и контроль ошибок.
Как подключить Chat API vLLM и проверить model ID до первого запроса
Запускаем vLLM с чат-моделью, получаем фактический model ID и проверяем форму ответа без предположений о содержимом.
Как скрыть служебные метаданные документа от LLM в LlamaIndex
Отдельные настройки metadata для генератора и embedding-модели с проверкой MetadataMode.LLM и EMBED.
Как запустить LM Studio без интерфейса через llmster
Как запустить LM Studio без интерфейса через llmster: точная настройка, пример, критерии проверки и типичные ошибки.
Как подключить LLM API к Gradio ChatInterface и сохранить контекст диалога
Готовый Python-шаблон чат-интерфейса для совместимого LLM API: роль history, тест двух реплик и проверка ошибок модели.
Как извлечь JSON по схеме в vLLM через response_format
Схема для извлечения артикула и количества из текста: разбираем ответ и проверяем значения против исходника.
Как обработать named tool call в vLLM без произвольного выполнения кода
Требуем вызов одной безопасной функции, валидируем аргументы и не отдаём модели право запускать произвольные команды.
Как ограничить ответ vLLM вариантами choice при классификации заявок
Получаем одну из заранее разрешённых меток и отдельно проверяем, что классификация совпала с текстом обращения.
Как найти очередь запросов vLLM по метрикам /metrics
Разделяем очередь и генерацию через метрики ожидающих запросов и времени ожидания; строим контрольный замер.
Как передать top_k в vLLM через extra_body и оценить эффект
Отправляем нестандартный для OpenAI параметр top_k через extra_body и сравниваем ответы на фиксированном корпусе.
Как получить embeddings через vLLM и не перепутать модель с чат-LLM
Подаём две строки в /v1/embeddings со специализированной моделью и проверяем количество и размерность векторов.
Как проверить пользу prefix caching vLLM для повторных вопросов к документу
Включаем prefix caching, сохраняем общий префикс и измеряем время обработки повторных вопросов без обещания ускорения каждого ответа.
Почему --api-key в vLLM не защищает весь сервер и как проверить схему доступа
Разбираем границы защиты ключом, локальную привязку и необходимость ограничить все маршруты на уровне сети.
Почему vLLM выдаёт неожиданные ответы: проверка generation_config.json
Проверяем наследование настроек модели из generation_config.json и фиксируем параметры запроса для воспроизводимого теста.
Как подключить Gradio load_chat к локальному OpenAI-совместимому LLM API
Используем gr.load_chat с явным base_url и model, проверяем доступность и ограничения загрузки файлов.
Как протестировать инструмент агента Pydantic AI без вызова LLM через TestModel
Локальный тест инструмента с TestModel и override: какие свойства можно проверить без LLM, почему нельзя оценивать так качество настоящих ответов.
Как подготовить набор тестов для оценки LLM-ответов
Как подготовить набор тестов для оценки LLM-ответов: пошаговый разбор, готовый шаблон, пример и контроль ошибок.
Как проверять prompt injection в ИИ-агенте перед запуском
Как проверять prompt injection в ИИ-агенте перед запуском: пошаговый разбор, готовый шаблон, пример и контроль ошибок.
Как оформить диалог для локальной LLM через apply_chat_template в Transformers
Роли user и assistant, add_generation_prompt и защита от двойных спецтокенов: проверяем входной шаблон перед генерацией.
Как показывать ответ нейросети потоком в Gradio ChatInterface
Показываем частичный ответ LLM без его перезаписи: генератор yield, накопление текста и тест остановки.