Как разобрать ошибку агента smolagents через replay и память

До сетевого запуска установите smolagents, настройте HF_TOKEN или другой документированный способ аутентификации и вынесите идентификатор модели в HF_MODEL_ID. Не вставляйте действующий токен в код, prompt, скриншот или статью. Сначала выполните детерминированную часть примера без модели, затем интеграционный run. Так ошибка схемы или бизнес-логики не смешивается с изменчивым поведением LLM.

Готовый шаблон

import os
from smolagents import InferenceClientModel, ToolCallingAgent

model = InferenceClientModel(model_id=os.environ.get("HF_MODEL_ID", "Qwen/Qwen3-Next-80B-A3B-Thinking"), token=os.getenv("HF_TOKEN"))
agent = ToolCallingAgent(tools=[], model=model, max_steps=2)
agent.run("Повтори учебную строку R-7.")
agent.replay()
steps = agent.memory.get_full_steps()
print("Число шагов:", len(steps))

Конкретный вход и ожидаемые данные

Вход «Повтори учебную строку R-7» не требует внешних данных. Ожидается, что после выполнения в памяти есть шаги, а replay() их показывает. Если в рабочем сценарии искали R-7, но tool получил R-8, важен первый шаг с неправильным аргументом; финальная фраза лишь следствие. В отчёт не нужно копировать полный системный промпт, токены или персональные данные.

Почему схема работает

Память разделяет постановку задачи, действия, наблюдения и ошибки. Это позволяет диагностировать выбор инструмента отдельно от сбоя самого инструмента. Однако внутренний ход не является достоверным объяснением причин модели и может содержать сгенерированный текст. Используйте его как техническую трассу событий. Для метрик лучше собирать заранее определённые поля через callbacks или telemetry, а не парсить оформление replay().

Фактическая проверка и пограничный случай

Сравнивайте два запуска по структурным событиям: имя вызванного инструмента, аргументы, тип ошибки и количество шагов. Текст размышлений между версиями модели может меняться без регрессии продукта. Перед сохранением заменяйте реальные идентификаторы тестовыми и обрезайте большие tool outputs. Если проблема касается доступа, не помещайте в отладочный отчёт секрет, который как раз должен был быть скрыт от агента.

Протокол воспроизводимости

Для каждого прогона запишите четыре независимых артефакта: точный обезличенный вход, ожидаемое действие, фактическое действие и предметно правильный результат. Не ограничивайтесь снимком финального ответа: он не показывает, был ли вызван нужный инструмент. Повторите опыт не менее трёх раз на одной модели с одинаковыми настройками, затем отдельно после смены версии. В отчёте различайте ошибку маршрутизации, неверный аргумент, сбой Python-кода и неподтверждённую генерацию. Если результат нестабилен, не выбирайте удачный прогон вручную: укажите долю успеха на фиксированном наборе. Настройки температуры и провайдера фиксируйте только если они действительно переданы вашему model-клиенту. Такой протокол позволяет повторить вывод и не превращает единичный удачный ответ в обещание качества.

Синтаксис Python проверяется до публикации через ast.parse. Выполнение с реальной моделью здесь не заявляется: без учётных данных нельзя честно подтвердить доступность конкретного inference provider и поведение модели. Проверяемая часть примера выполняется локально там, где она не требует LLM. Для сетевой части заранее запишите модель, версию smolagents, вход, ожидаемый tool call и предметный эталон, затем сохраните обезличенную трассу.