Поиск.
Найдено: 0 моделей и 20 материалов
Материалы
Как считать токены и запросы через Usage в OpenAI Agents SDK
Как получить requests, input_tokens, output_tokens и request_usage_entries в OpenAI Agents SDK, проверить многошаговый run и подготовить корректный журнал потребления.
Как считать токены и расходы YandexGPT по полю usage
Контроль токенов YandexGPT: inputTextTokens, completionTokens, totalTokens, стоимость успешной задачи и поиск лишнего контекста.
Как вызвать YandexGPT через REST API: IAM-токен, modelUri и разбор usage
Рабочий REST-запрос к YandexGPT: роль ai.languageModels.user, IAM-токен, modelUri каталога, completionOptions и проверка usage.
Как считать токены, стоимость и кэш OpenRouter из поля usage
Учет расходов без дополнительного запроса: prompt, completion, reasoning, cached и cache_write tokens, cost и особенности последнего SSE-события.
Как ограничить число обращений агента Pydantic AI к модели через request_limit
Ограничение числа модельных шагов Pydantic AI: UsageLimits(request_limit), обработка исключения и тест на цикл инструмента.
Почему лимит токенов Pydantic AI не всегда останавливает запрос до отправки
Разбираем UsageLimits для токенов Pydantic AI: когда проверка происходит после ответа, как отдельно ограничить вход одного запроса и чего не обещать.
Как создать generation_span для собственного model adapter
Добавляем generation_span в собственный model adapter: input, output, model_config и usage с проверяемыми значениями.
Как настроить context caching в Gemini API и проверить экономию повторных запросов
Как создать кеш большого контекста Gemini, переиспользовать его, контролировать TTL и сверять usage без выдуманных процентов.
Как настроить Prompt Caching в Claude API и проверить cache_read_input_tokens
Как расставить cache_control в Claude API, сохранить стабильный префикс и подтвердить повторное чтение кеша по usage.
Как правильно обрабатывать streaming SSE в OpenRouter API
Парсер потокового ответа OpenRouter: stream:true, data-строки, keep-alive комментарии, маркер [DONE], финальный usage и восстановление текста.
Как отправить первый запрос в GigaChat API через новый адрес api.giga.chat
Первый запрос к GigaChat через https://api.giga.chat: список моделей, chat/completions, Bearer-токен, разбор choices и usage.
Как подключить Groq API к Python и проверить первый Chat Completion
Установка Groq SDK, безопасный API-ключ, первый запрос из Python и проверка content, finish_reason, model и usage на реальном ответе.
Как подключить OpenAI SDK к OpenRouter API и проверить реальную модель
Практический запуск OpenRouter через OpenAI SDK: base_url, ключ из переменной окружения, тестовый запрос и проверка model, usage и ошибок.
Как считать токены в Gemini API до запроса и после ответа
Как использовать countTokens и usage metadata в Gemini API, учитывать файлы и историю, а затем контролировать размер контекста.
Как создать ветку диалога через AdvancedSQLiteSession
Сохраняем turns, создаём branch от выбранного хода, проверяем независимое продолжение и записываем usage через store_run_usage.
Как измерить hit rate и MRR поиска в LlamaIndex RetrieverEvaluator
Размеченный вопрос, expected_ids и оценка позиции релевантного узла до тестирования ответов генератора.
Как найти очередь запросов vLLM по метрикам /metrics
Разделяем очередь и генерацию через метрики ожидающих запросов и времени ожидания; строим контрольный замер.
Как переранжировать результаты поиска через CrossEncoder.rank
Повторно проверяем top-k кандидатов для одного вопроса, сохраняем corpus_id и не применяем дорогую парную модель ко всей коллекции.
Как запросить повторный вызов инструмента Pydantic AI через ModelRetry
ModelRetry в инструменте Pydantic AI: недостающая часть кода, ограниченный бюджет попыток и разница между просьбой к модели и исправлением данных.
Как скрыть служебные метаданные документа от LLM в LlamaIndex
Отдельные настройки metadata для генератора и embedding-модели с проверкой MetadataMode.LLM и EMBED.