Гайд · TNWS AI
Как включить автотрассировку вызовов OpenAI SDK в MLflow
Подключаем mlflow.openai.autolog к эксперименту и проверяем, что реальные вызовы SDK создают трассы.
Задача и применимость
Поисковый запрос: «как автоматически записать вызов OpenAI SDK в MLflow Tracing». Отделить отсутствие трассы из-за неверной настройки от ошибки самого вызова модели. Инструкция применима к Python-клиенту и Tracking Server актуальной ветки MLflow GenAI, проверенной по официальной документации 20 сентября 2026 года. Для конкретной установки сначала посмотрите mlflow.__version__: при отличии интерфейса от приведённого руководства закрепите совместимую версию и проверьте её документацию. Учебные данные вымышлены; ни один описанный пример не является запросом к реальному магазину.
Что происходит в системе
В официальном quickstart MLflow автоматическое инструментирование OpenAI SDK включается одной строкой после выбора tracking URI и эксперимента. Оно захватывает вызов клиента, но не угадывает бизнес-смысл других функций приложения: извлечение документов, права доступа и проверка ответа останутся за пределами трассы, пока вы не добавите их явно. Для проверки именно автотрассировки начните с одного вызова, а не запускайте сразу тысячи запросов. Так проще проверить причинную связь между результатом консоли и записью в UI.
Пошаговое выполнение
- Поднимите Tracking Server и создайте отдельный эксперимент тестового чат-приложения.
- Установите совместимые mlflow и openai; подготовьте собственные учётные данные провайдера без записи их в статью или репозиторий.
- Укажите tracking URI и experiment, затем включите mlflow.openai.autolog() до вызова SDK.
- Сделайте один тестовый вызов модели, доступной вашему аккаунту, и сохраните текст результата.
- Посмотрите Traces и сопоставьте запись с этим вызовом; при отсутствии проверяйте URI и эксперимент.
Для локального опыта нужен Python 3.10+, установленный пакет mlflow и запущенный отдельно командой mlflow server локальный сервер. Адрес http://localhost:5000 из примеров справедлив при стандартном локальном запуске; в контейнере и удалённом окружении задайте настоящий доступный URI. Вызовы реальной модели выполняйте только с подходящими ключами и подтверждённой доступностью модели. Фрагмент ниже — готовый шаблон контроля конкретной операции:
import os
import mlflow
from openai import OpenAI
mlflow.set_tracking_uri("http://localhost:5000")
mlflow.set_experiment("AI Чат наблюдаемость")
mlflow.openai.autolog()
assert os.environ.get("OPENAI_API_KEY"), "Задайте ключ в окружении"
client = OpenAI()
response = client.chat.completions.create(
model=os.environ["CHAT_MODEL_ID"],
messages=[{"role": "user", "content": "Ответь одним словом: столица Франции?"}],
)
print(response.choices[0].message.content)
Пример входа и ожидаемого результата
Вход — один безопасный вопрос про столицу Франции и идентификатор реально доступной модели в CHAT_MODEL_ID. Ожидается ответ, близкий к «Париж», и ровно соответствующая ему наблюдаемая трасса в выбранном эксперименте. Никакого обещания точного текста, стоимости, задержки либо поддерживаемой модели пример не делает.
Как интерпретировать измерение
Если результат модели получен, но Traces пустая, сравните адрес сервера, используемый Python-процессом, с адресом браузера. Контейнерное localhost часто указывает на другой процесс. Затем убедитесь, что autolog выполнен раньше обращения к client.chat.completions.create, а эксперимент создан или правильно выбран. Отсутствие трассы не означает, что нейросеть не вызывалась; это лишь отсутствие наблюдения на вашем сервере. Напротив, видимая трасса не доказывает, что ответ верен: фактический контроль проверяйте отдельно на заранее размеченных вопросах.
Границы решения и особые случаи
Автоматическая трасса может содержать содержание сообщения и ответ. Прежде чем включать инструментирование на рабочих данных, установите политику доступа, сроки хранения и маскирование полей, нуждающихся в защите. Не печатайте OPENAI_API_KEY, не помещайте его в metadata и не публикуйте скриншоты реальных запросов. Перед запуском убедитесь, что CHAT_MODEL_ID относится к вашему провайдеру и аккаунту; документация MLflow показывает пример модели, но её доступность именно у вас из этого не следует.
Критерии проверки результата
- Вызов SDK действительно выполняется с выбранной моделью и возвращает текст.
- В Traces правильного эксперимента присутствует соответствующий вызов.
- Тест не раскрывает ключ и персональные данные в коде или журнале.
Если критерий не выполняется, сохраните номер версии пакета, безопасный входной пример и фактический результат. Затем меняйте по одной переменной: адрес сервера, параметры вызова, конфигурацию эксперимента либо редакцию шаблона. Такой подход помогает установить причину отличия без предположений о том, что модель «обязана» отвечать строго одной строкой. После успешного теста на заглушке повторите проверку на малом наборе разрешённых рабочих данных; обучающий пример сам по себе не является нагрузочным, приватностным или качественным аудитом.
Типичные ошибки и что не делать
- Не включайте автотрассировку после уже выполненного запроса.
- Не трактуйте наличие трассы как проверку правильности ответа.
- Не заменяйте фактический model ID произвольной строкой из чужого примера.
Учитывайте, что трассировка и оценка могут сохранять содержимое входа и выхода. До подключения клиентов организуйте контроль доступа и обработку персональных данных. Не помещайте секреты API в промпты, параметры функций, журналы или опубликованные скриншоты. Если пример использует детерминированную функцию, его успешная проверка подтверждает корректность механики MLflow и теста, но не качество какой-либо нейросети.
FAQ
Работает ли пример без учётных данных?
Нет, для реального вызова API нужен доступ провайдера.
Нужно ли писать декоратор для одного SDK-вызова?
Для показанного вызова достаточно autolog.
Будет ли видна своя логика поиска?
Нет, её размечают отдельно.
Официальные источники
Частые вопросы
Работает ли пример без учётных данных?
Нет, для реального вызова API нужен доступ провайдера.
Нужно ли писать декоратор для одного SDK-вызова?
Для показанного вызова достаточно autolog.
Будет ли видна своя логика поиска?
Нет, её размечают отдельно.
Читайте также
Как найти ошибочные и медленные запросы AI-приложения в MLflow Traces
Фильтруем статус ERROR и длительность через search_traces, сверяя результат с искусственными успешным и аварийным вызовами.
Как проверить формат ответа нейросети собственным scorer в MLflow
Создаём @scorer для проверяемого префикса и проводим оценку без LLM-судьи и без внешнего API.
Как разделить поиск и сборку ответа RAG на спаны MLflow Tracing
Размечаем вручную поиск фрагмента и формирование ответа; проверяем вложенные спаны без вызова платной модели.
Комментарии
Пока тихо. Скажите первое слово