Как использовать OpenAI Batch API для больших пачек запросов

Когда нужен Batch API

Batch подходит для офлайн-задач: классификации каталога, подготовки описаний, оценки набора ответов или обработки архива. Для интерактивного чата нужен обычный синхронный запрос.

Подготовка пачки

1. Сформируйте JSONL: один независимый запрос на строку.
2. Назначьте каждому элементу уникальный custom_id.
3. Проверьте первые несколько запросов обычным API.
4. Загрузите файл с корректным назначением.
5. Создайте batch и сохраните его идентификатор.
6. После завершения скачайте результат и сопоставьте строки по custom_id.

Контроль качества

До большого запуска обработайте маленькую выборку и вручную оцените ответы. Добавьте в исходные данные версию промпта: иначе позднее будет сложно понять, каким правилом создана строка.

Ошибки

Храните отдельно успешные элементы и ошибки. Повторяйте только неудачные custom_id, а не весь пакет.

Чего не делать

Не отправляйте гигантскую пачку без теста и не связывайте результаты с исходниками по позиции в файле.

Официальный источник

OpenAI Platform Documentation: https://platform.openai.com/docs/guides/batch