Поиск.
Найдено: 0 моделей и 20 материалов
Материалы
Как ограничить длину генерации в Transformers через max_new_tokens и проверить результат
Граница новых токенов против общей длины входа, детерминированный тест и контроль обрезанного ответа на локальной instruct-модели.
Как извлечь ответ из заданного текста через Transformers question-answering
Контекст, вопрос и контроль отсутствующего ответа: извлекаем span из документа, проверяем offsets и не принимаем догадку за факт.
Как ограничить модели OpenRouter Auto Router через allowed_models и excluded_models
Как задать белый и черный список моделей для openrouter/auto, проверить wildcard-шаблоны и не получить 404 из-за пустого набора кандидатов.
Как ограничить число вызовов модели в LangChain-агенте
ModelCallLimitMiddleware: run_limit, thread_limit, checkpointer и тест runaway-цикла без обещания фиксированных затрат.
Как запускать Transformers без интернета через локальные файлы модели
Заранее сохраняем модель и токенизатор, проверяем local_files_only и HF_HUB_OFFLINE, не обещая работу при отсутствующих весах.
Как оформить диалог для локальной LLM через apply_chat_template в Transformers
Роли user и assistant, add_generation_prompt и защита от двойных спецтокенов: проверяем входной шаблон перед генерацией.
Как показывать ответ LlamaIndex по мере генерации через streaming
streaming=True, response_gen и проверка полного ответа, отмены запроса и ограничений streaming-модели.
Как использовать reasoning-модели OpenAI и проверить ответ на сложной задаче
Reasoning-модели OpenAI: постановка задачи, reasoning effort, проверяемый формат, инструменты и тестирование без запроса скрытой цепочки мыслей.
Как не потерять конец текста при truncation и padding в Transformers
max_length, truncation и padding для пары сообщений: проверяем, что юридически важная оговорка не исчезает до вызова модели.
Как обработать большой поток отзывов пакетами в Transformers без переполнения памяти
batch_size, потоковый источник и честный замер производительности: сохраняем соответствие входов и выходов и тестируем OOM.
Как получить и проверить embedding текста в Sentence Transformers
Генерируем векторы для нескольких предложений, проверяем форму массива, версию модели, язык и сохранение связи с исходной строкой.
Как ограничить ответ vLLM вариантами choice при классификации заявок
Получаем одну из заранее разрешённых меток и отдельно проверяем, что классификация совпала с текстом обращения.
Как найти релевантный фрагмент через semantic_search в Sentence Transformers
Кодируем вопрос и документы, связываем corpus_id с текстом, проверяем top_k и строим отказ при отсутствии подходящего источника.
Как определить тональность отзыва через Transformers pipeline и проверить ошибочные метки
Практика text-classification для англоязычных отзывов: явная модель, оценки уверенности, проверка отрицаний и схема ручной приёмки.
Как проверить готовность llama.cpp server через /health перед запросом к модели
Разбираем ответ /health при загрузке модели и после неё; Python-проверка различает 503, 200 и сетевую ошибку.
Как разметить темы заявок без обучения через zero-shot-classification в Transformers
Candidate labels, hypothesis_template и multi_label: размечаем англоязычные обращения без обучения новой головы и проверяем ошибочные категории.
Как собрать имена и организации из текста через Transformers NER без разорванных токенов
Token classification и aggregation_strategy=simple: выделяем сущности с offsets, сверяем фрагменты оригинала и не публикуем сырые догадки.
Как выбрать cosine или dot для нормализованных embeddings в Sentence Transformers
Проверяем единичную норму, сопоставляем две метрики и понимаем, когда dot меняет ранжирование: таблица проверяемых сценариев.
Как работать с документами офлайн в LM Studio и проверять ответы
Как работать с документами офлайн в LM Studio и проверять ответы: точная настройка, пример, критерии проверки и типичные ошибки.
Как подключить OpenAI SDK к Fireworks AI и проверить первый ответ
Практический запуск Fireworks через OpenAI Python SDK: правильный base_url, переменная ключа, полный идентификатор модели и контроль ответа.