Как обрабатывать rate limits OpenAI API: backoff, очередь и защита от дублей

Понадобятся очередь заданий, внутренний request_id, ограниченное число попыток и журнал кодов ошибок. Используйте тестовую копию. Удалите пароли, токены, персональные сведения и коммерческие секреты, если их обработка не разрешена. Секреты храните в переменных окружения или специализированном хранилище.

Сделайте таблицу из пяти кейсов: обычный ввод, пустой, без нужного факта, с противоречием и с запрещённым действием. Для каждой строки запишите ожидаемый статус и результат до запуска модели.

Пошаговый процесс

Разделите ошибки на повторяемые и окончательные. Ответ 429 и часть временных серверных ошибок могут требовать повтора; неверный API-ключ или некорректный payload исправляются до нового запроса. Учитывайте заголовки и рекомендации документации.

Используйте exponential backoff с jitter: интервалы растут, а случайная добавка не даёт нескольким воркерам повторять запрос одновременно. Ограничьте число попыток и общее время. Сохраняйте request_id и состояние задания в очереди. Для генерации текста повтор допустим, но публикация результата должна иметь отдельную защиту от дублей. Не запускайте мгновенный бесконечный retry: неуспешные попытки тоже могут учитывать лимиты.

Сохраните версию SDK, конфигурацию, идентификаторы ресурсов и дату. Если операция может повториться после сбоя, используйте собственный job_id или idempotency_key и проверяйте фактический статус до нового запуска.

Готовый шаблон

Сформируй запись для очереди повторов: job_id, error_class, retry_allowed, attempt, next_delay_bucket, user_message. Не включай API-ключ или полный пользовательский текст.

Замените квадратные скобки конкретными значениями. Не добавляйте «додумай при необходимости» в задачу извлечения фактов. Для программного потребителя сначала валидируйте форму, затем бизнес-правила и происхождение значений.

Пример входа и результата

Вход

Воркер получил 429 на второй попытке; задача — подготовить черновик, внешняя публикация ещё не выполнялась.

Ожидаемый результат

Задание возвращается в очередь с увеличенной задержкой и тем же job_id. Пользователь видит «обработка задерживается», новый дубликат не создаётся.

Повторите тест без одного обязательного факта. Правильный ответ возвращает null, missing или blocked по вашей схеме. Убедительная догадка опаснее явной ошибки, потому что проходит дальше незаметно.

Три уровня проверки

На техническом уровне проверьте формат, статусы, ID и отсутствие секретов. На смысловом — вручную сверьте минимум три элемента, включая число, дату и отрицание. На процессном — воспроизведите таймаут и убедитесь, что повтор не создаёт дубль.

Меняйте один параметр за итерацию. Одновременная смена модели, промпта и данных лишает эксперимент смысла. Старую рабочую версию храните до полного регрессионного прогона.

Матрица тестов и критерии решения

Не оценивайте результат словами «вроде верно». Создайте таблицу с колонками case_id, input, expected, actual, source, status и error_type. Для извлечения данных сравнивайте каждое поле: точное совпадение для идентификаторов, чисел и перечислений; отдельно проверяйте допустимый null. Для текста заранее задайте обязательные факты и запрещённые утверждения. Кейс считается пройденным только тогда, когда выполнены все обязательные проверки.

Размечайте ошибки хотя бы на четыре класса: format_error — ответ нельзя разобрать; unsupported_claim — утверждение не подтверждается входом; wrong_action — выбрана неверная функция или операция; security_error — раскрыт секрет либо обойдена проверка прав. Такая классификация показывает, что именно исправлять. Изменение формулировки промпта редко устранит ошибку авторизации, а дополнительная схема не проверит истинность извлечённой цены.

Установите правило выпуска до теста. Например: ни одной ошибки безопасности и неверного действия; все идентификаторы совпадают посимвольно; отсутствующие сведения возвращаются как null; каждый внешний вызов виден в журнале. Это критерии приёмки, а не обещание точности модели. Если хотя бы один критический кейс провален, сохраните вход и конфигурацию, исправьте одну причину и повторите весь набор.