Почему OpenAI API возвращает ошибку 429 и как её исправить

Что означает 429

Код 429 сообщает, что запрос упёрся в ограничение: скорость, объём токенов или доступную квоту. Точный ответ находится в теле ошибки, поэтому нельзя лечить все случаи одинаково.

Диагностика

1. Запишите тип ошибки, модель и время запроса без секретов и пользовательского текста.
2. Проверьте лимиты проекта и организации.
3. Посчитайте не только запросы в минуту, но и токены.
4. Найдите всплески параллельных задач.
5. Проверьте биллинг и установленный бюджет.

Правильный повтор

Используйте exponential backoff: каждый следующий повтор выполняется позже, с небольшой случайной добавкой. Ограничьте число попыток и помещайте длительные задачи в очередь. Неудачные запросы тоже могут учитываться в лимите.

Как снизить нагрузку

Сократите лишний контекст, объединяйте подходящие офлайн-задачи в Batch API и ставьте ограничение параллелизма на уровне воркера.

Чего не делать

Не запускайте бесконечный цикл повторов и не создавайте новые ключи для обхода ограничений.

Официальный источник

OpenAI Platform Documentation: https://platform.openai.com/docs/guides/rate-limits