Как настроить Tracing в OpenAI Agents SDK и находить ошибки инструментов

В Agents SDK tracing включён по умолчанию и записывает traces и spans для runner, генераций, функций, guardrails и handoffs. workflow_name описывает процесс, group_id связывает несколько трасс диалога. Для фоновых workers можно вызвать flush_traces после закрытия trace. Политика ZDR несовместима со стандартным tracing.

Документация подтверждает механизм, но не создаёт архитектуру безопасности. Авторизацию, allowlist, хранение секретов, приёмочные критерии и откат реализует приложение. Текстовый запрет в промпте полезен как контракт, однако критичное ограничение проверяется обычным кодом непосредственно перед действием.

Что подготовить

Создайте отдельный тестовый проект и ключ с минимальными правами. Секрет держите только в переменной окружения или менеджере секретов. Не помещайте его в браузерный bundle, промпт, Git, URL, скриншот и диагностический вывод.

До вызова заведите таблицу: case_id, input, expected_action, expected_output, actual_action, actual_output, source, status, error_type. Ожидаемый результат записывается заранее. Возьмите минимум десять обезличенных примеров: обычный, пустой, неполный, противоречивый, вредоносный, тайм-аут и повтор.

Для чисел храните единицы, исходное значение и правило округления. Для файлов — имя, MIME, размер, хеш и число страниц или кадров. Для внешнего действия — идентификатор, состояние до и после. Это конкретные единицы контроля, по которым можно доказать результат.

Пошаговая настройка

1. Дайте workflow понятное имя support_order_lookup, а group_id свяжите с внутренним обезличенным conversation id. Не помещайте email и текст обращения в metadata.
2. Оберните связанный набор Runner.run в контекст trace, чтобы два запуска были частью одной операции, а не разрозненными трассами.
3. Установите trace_include_sensitive_data=False для сценария с пользовательскими данными и отдельно проверьте, какие поля остаются в spans.
4. В фоновой задаче вызывайте flush_traces только после выхода из trace-контекста: иначе можно отправить незавершённую иерархию.
5. Создайте тестовую ошибку инструмента и найдите function span, parent span, время и статус. Сопоставьте trace_id с журналом своего сервиса.

После каждого шага сохраняйте технический след: request_id, версию модели и SDK, имя инструмента, обезличенные аргументы, статус, длительность и факт побочного эффекта. Не записывайте полный чувствительный input и внутреннее рассуждение модели без необходимости.

Копируемый шаблон

Выполни поиск заказа через разрешённый инструмент. В пользовательском ответе укажи только статус. Для трассировки приложение сохраняет имена шагов и идентификаторы, но не исходный адрес, токен или полный результат функции.

Общие правила:
1. Используй только переданные источники и разрешённые инструменты.
2. Не угадывай отсутствующие значения.
3. Перед действием проверь путь, тип, идентификатор и права.
4. При конфликте верни status=needs_review и перечисли конфликтующие данные.
5. Не отправляй, не удаляй, не оплачивай и не раскрывай секрет без отдельного подтверждения.
6. Свяжи каждый изменяемый факт с источником, страницей, сегментом или tool result.

Шаблон следует дополнить схемой именно вашего объекта. Фразы «будь внимателен» недостаточно. Код должен отклонять неизвестные поля, запрещённые пути, недопустимые домены, неправильные координаты и действие без права.

Реалистичный пример входа и результата

lookup_order возвращает timeout. Ожидается trace с agent, generation и function spans; function span отмечен ошибкой, финальный ответ не выдумывает статус. При trace_include_sensitive_data=False адрес клиента отсутствует.

Это заранее определённый expected, а не выдуманная статистика. Реальный output сохраните рядом и отметьте расхождения. Если финальный текст правильный, но агент выполнил лишний вызов, открыл чужой домен или изменил файл, тест провален.

Проверка по уровням

Первый уровень — транспорт: ответ получен, идентификатор сохранён, payload читается. HTTP 200 не доказывает смысл. Тайм-аут не равен гарантированному отказу: перед повтором проверьте состояние операции.

Второй — структура: обязательные поля есть, типы совпадают, JSON разбирается, Base64 декодируется, файл открывается, координаты находятся внутри изображения. Неизвестное поле либо отклоняется, либо сохраняется отдельно.

Третий — смысл: каждый факт подтверждается входом, страницей, временным сегментом или tool result. Числа пересчитываются кодом, идентификаторы сравниваются посимвольно. Отсутствующее значение остаётся null, а не превращается в правдоподобную догадку.

Четвёртый — действие: проверьте внешний журнал, файловый diff, вкладки браузера или созданные записи. Для read-only сценария любое изменение означает провал независимо от красивого объяснения.