Поиск.
Найдено: 0 моделей и 20 материалов
Материалы
Как создать библиотеку промптов для команды и поддерживать её в порядке
Как хранить рабочие запросы, версии, примеры и результаты тестов, чтобы команда не копировала случайные заклинания из чатов.
Как сделать читающий инструмент smolagents через декоратор @tool
Пошаговый @tool в smolagents для чтения тестового справочника: типы, docstring, точный вход, проверка результата и безопасные границы.
Как извлечь JSON по схеме в vLLM через response_format
Схема для извлечения артикула и количества из текста: разбираем ответ и проверяем значения против исходника.
Как квантовать embeddings в int8 через SentenceTransformer.encode
Сравниваем тип и размер массива float32/int8, объясняем необходимость калибровки и измерения recall перед заменой хранилища.
Как найти релевантный фрагмент через semantic_search в Sentence Transformers
Кодируем вопрос и документы, связываем corpus_id с текстом, проверяем top_k и строим отказ при отсутствии подходящего источника.
Как найти смысловые дубли вопросов через paraphrase_mining
Ищем пары похожих вопросов, читаем позиции и score, исключаем отрицания и цифры ручной проверкой до объединения записей.
Как обработать named tool call в vLLM без произвольного выполнения кода
Требуем вызов одной безопасной функции, валидируем аргументы и не отдаём модели право запускать произвольные команды.
Как ограничить ответ vLLM вариантами choice при классификации заявок
Получаем одну из заранее разрешённых меток и отдельно проверяем, что классификация совпала с текстом обращения.
Как ограничить видимость API AI-чата в Gradio через api_visibility
Различаем public, undocumented и private у чат-интерфейса и не путаем скрытую документацию с защитой сервера.
Как найти очередь запросов vLLM по метрикам /metrics
Разделяем очередь и генерацию через метрики ожидающих запросов и времени ожидания; строим контрольный замер.
Как передать top_k в vLLM через extra_body и оценить эффект
Отправляем нестандартный для OpenAI параметр top_k через extra_body и сравниваем ответы на фиксированном корпусе.
Как переранжировать результаты поиска через CrossEncoder.rank
Повторно проверяем top-k кандидатов для одного вопроса, сохраняем corpus_id и не применяем дорогую парную модель ко всей коллекции.
Как подключить Chat API vLLM и проверить model ID до первого запроса
Запускаем vLLM с чат-моделью, получаем фактический model ID и проверяем форму ответа без предположений о содержимом.
Как получить и проверить embedding текста в Sentence Transformers
Генерируем векторы для нескольких предложений, проверяем форму массива, версию модели, язык и сохранение связи с исходной строкой.
Как получить embeddings через vLLM и не перепутать модель с чат-LLM
Подаём две строки в /v1/embeddings со специализированной моделью и проверяем количество и размерность векторов.
Как измерить Recall@k поиска через InformationRetrievalEvaluator
Готовим queries, corpus и relevant_docs, проверяем golden IDs и сравниваем качество модели до смены индекса.
Как сохранить и повторно загрузить SentenceTransformer локально
Сохраняем модель и конфигурацию в локальную папку, отключаем случайное скачивание и проверяем результат на том же контрольном тексте.
Как уменьшить размер embeddings через truncate_dim без потери контроля качества
Проверяем форму усечённого вектора и Recall@k, отдельно объясняем, почему truncation не делает любую модель Matryoshka.
Как проверить пользу prefix caching vLLM для повторных вопросов к документу
Включаем prefix caching, сохраняем общий префикс и измеряем время обработки повторных вопросов без обещания ускорения каждого ответа.
Как выбрать cosine или dot для нормализованных embeddings в Sentence Transformers
Проверяем единичную норму, сопоставляем две метрики и понимаем, когда dot меняет ранжирование: таблица проверяемых сценариев.