Гайд · TNWS AI
Как проверить agent_tool_invocation для Agent.as_tool в OpenAI Agents SDK
Извлекаем имя вложенного agent-tool, call ID и сырые JSON-аргументы, валидируем схему и отличаем nested run от обычного top-level запуска.
Задача и критерий готовности
Практическая задача — проверить метаданные запуска, созданного через Agent.as_tool(), и связать вложенный результат с конкретным tool call без путаницы с top-level run. Готовность подтверждается программным тестом, а не впечатлением от текста. Для каждого сценария ниже заданы вход, ожидаемый наблюдаемый признак и негативная проверка.
Контракт сверён 12 сентября 2026 года по официальной документации OpenAI Agents SDK. Цены, тарифы, региональная доступность и неподтверждённые лимиты не используются: они не нужны для выполнения задачи.
Подтверждённые факты
agent_tool_invocationвозвращает AgentToolInvocation или None.- Метаданные предназначены для результатов, созданных Agent.as_tool().
- Для обычного top-level run свойство возвращает None.
- AgentToolInvocation содержит tool_name, tool_call_id и tool_arguments.
- tool_arguments — сырая JSON-строка и требует parse плюс валидацию схемы перед использованием.
Эти пункты задают границу решения. Не расширяйте их предположениями: наличие поля не гарантирует истинность содержимого, HTTP 200 не подтверждает бизнес-состояние, а комментарий в коде не заменяет assert.
Подготовка стенда
- Зафиксируйте версию SDK, Ollama и точное имя тестовой модели.
- Используйте fake tool или provider stub для сценариев с побочными эффектами.
- Удалите токены, персональные данные, реальные счета и внутренние пути.
- Добавьте счётчики model calls и tool executions.
- Настройте завершение процесса с ошибкой при несовпадении контракта.
Тестовый ввод должен быть небольшим, но реалистичным. Идентификаторы T-781 и INV-781 в статье вымышлены. Для длинного текста создавайте синтетическую строку без копирования пользовательских документов.
Пошаговые действия
- Создайте specialist agent и подключите его к orchestrator через
as_tool(). - В тестовом callback или доступном nested result прочитайте agent_tool_invocation.
- Потребуйте непустые tool_name и tool_call_id, затем разберите tool_arguments через json.loads.
- Отдельно запустите specialist как top-level agent и проверьте, что свойство равно None.
После каждого действия сохраняйте минимальное доказательство: класс объекта, длину списка, status code, обязательное поле JSON или порядок событий. Полный prompt и raw payload в журнал не нужны.
Копируемый пример
Сохраните пример как отдельный файл языка python. Значения в угловых скобках — заполнители; их нельзя выдавать за реальные digest или идентификаторы.
import json
def audit_nested_result(nested_result):
invocation = nested_result.agent_tool_invocation
assert invocation is not None
assert invocation.tool_name
assert invocation.tool_call_id
arguments = json.loads(invocation.tool_arguments)
assert isinstance(arguments, dict)
return {
"tool_name": invocation.tool_name,
"tool_call_id": invocation.tool_call_id,
"argument_keys": sorted(arguments.keys()),
}
# nested_result передаётся из интеграционного теста Agent.as_tool().
# Для обычного Runner.run_sync(specialist, ...) ожидайте None.
Python запускайте в virtualenv проекта, JavaScript — как .mjs в Node.js с fetch. Не смешивайте глобальную и проектную версии. Если импорт отсутствует, сначала проверьте установленную версию, а не подбирайте похожий API.
Реалистичный вход
Вложенный specialist вызван как tool с тестовым аргументом ticket_id=T-781; отдельный контрольный запуск вызывает того же агента напрямую.
Ожидаемый результат
Во вложенном результате есть tool_name, call ID и JSON-объект аргументов с ключом ticket_id. В top-level результате agent_tool_invocation равен None.
Ожидание перенесите в assert или throw. Если текст модели недетерминирован, сравнивайте структурный инвариант. Если API возвращает массив, проверяйте число элементов и форму каждого.
Негативная проверка
Передайте испорченную JSON-строку в test double: json.loads должен завершиться ошибкой, а аудит не должен сохранять строку как проверенные аргументы.
Негативный тест должен ломать ровно одно условие. Сетевая ошибка не равна 404, пустой список не равен PASS, новый запуск не равен resume, а локально созданный UUID не равен response ID провайдера.
Готовый prompt для ревью
Проверь agent_tool_invocation: nested и top-level случаи разделены, raw JSON валидируется, call ID не путается с response ID, значения аргументов не попадают в открытый лог.
Верни таблицу: условие, доказательство из кода или очищенного лога, PASS/FAIL, минимальное исправление. Если доказательства нет — FAIL. Не додумывай версии, статусы и результаты.
Prompt помогает найти пропуски, но не заменяет исполнение. Вручную проверьте каждую ссылку ревьюера на код: комментарий может быть ошибочно принят за работающую защиту.
Независимая проверка
Составьте матрицу из штатного, ошибочного и пограничного входа. Для каждой строки укажите ожидаемую ветку, наблюдаемый признак и фактический результат. Повторите тест дважды, чтобы обнаружить кеш, старое состояние или двойной side effect.
Для agent run отдельно считайте model responses, tools и RunItem: это разные сущности. Для Ollama проверяйте HTTP и тело. Если операция изменяет модель или индекс, после неё используйте read-only endpoint или схему хранилища как второе доказательство.
В CI сохраняйте exit code, версии и безопасные агрегаты. Не сохраняйте полный raw response, словарь tokenizer, пользовательский prompt или tool arguments без отдельной политики редактирования.
Типичные ошибки
Пустой список принимают за успех
Конструкции вроде all([]) истинны. Если ожидается конкретный guardrail или embedding, сначала проверьте количество элементов, затем их свойства.
Логируют всё для удобства
Raw responses, arguments и verbose model_info могут быть большими или чувствительными. Создайте allowlist полей и сохраняйте только агрегаты, нужные для расследования.
Смешивают идентификаторы
Response ID, trace ID, tool call ID, model tag и SHA-256 отвечают на разные вопросы. Храните их в отдельных колонках и не генерируйте подмену для отсутствующего значения.
Не проверяют версию
Поведение после обновления может измениться. Версия и точное имя модели должны быть частью воспроизводимого отчёта, особенно для snapshot-тестов и tokenizer-данных.
Чек-лист финальной проверки
- Тема, title и slug уникальны.
- API и поля сверены по первоисточнику 12 сентября 2026 года.
- Есть точный вход и программируемый ожидаемый результат.
- Негативный тест активирует нужную противоположную ветку.
- Секреты, PII и реальные реквизиты исключены.
- Счётчики разделяют model, tool и item events.
- Проверяется форма массива и каждый элемент.
- Полный raw или verbose payload не уходит в журнал.
- Повторный запуск не создаёт ложный успех.
- Ограничения не заменены выдуманными метриками.
Ограничения
Этот материал проверяет один технический контракт, но не точность модели, безопасность всей системы и не производительность вашего сервера. Конкретные пределы контекста, поддерживаемые dimensions, размеры и скорость зависят от модели и окружения; их измеряют на собственном стенде.
Approval не заменяет авторизацию, typed output не гарантирует истинность, release ссылок не обещает мгновенное падение RSS, а seed не гарантирует одинаковый ответ после смены модели. Такие границы должны оставаться явными в рабочей документации.
FAQ
Почему нет универсальных чисел?
Потому что они зависят от версии и модели. Используйте фактический ответ вашего стенда и фиксируйте дату измерения.
Достаточно ли HTTP 200?
Нет. Проверяйте контрактный status, обязательные поля и при необходимости независимое состояние.
Можно ли доверить проверку нейросети?
Она полезна для ревью, но PASS выставляет исполняемый тест или проверенный ответ API.
Что сохранять в отчёте?
Версии, безопасные идентификаторы, агрегаты, exit code и результат каждого assert — без секретов и полного пользовательского содержимого.
Первоисточник
- Официальная документация OpenAI Agents SDK — проверено 12 сентября 2026 года.
Материал подготовлен самостоятельно; примеры не выдают синтетические данные за результаты реального бенчмарка.
Читайте также
Как проверять агента в терминале через REPL OpenAI Agents SDK
Запускаем run_demo_loop, проверяем многошаговый контекст и streaming, составляем сценарий ручной приёмки и отделяем REPL от автоматических тестов.
Как исправить ошибку reasoning item ID в OpenAI Agents SDK
Разбираем reasoning_item_id_policy=omit: когда удалять ID из переносимой истории, какие входы политика не меняет и как проверить исправление Responses API 400.
Как настроить lifecycle hooks в OpenAI Agents SDK для аудита вызовов
Подключаем RunHooks и AgentHooks, считаем вызовы модели и инструментов, не записываем секреты и проверяем порядок событий агентного запуска.
Комментарии
Пока тихо. Скажите первое слово