Ответ · TNWS AI

Почему Cohere API возвращает 429, 498 или 499

WindowsmacOSLinux#Cohere #нейросети #API

12 сентября 2026 2 мин—

Практическое руководство по запросу «почему Cohere API ошибка 429»: реальные параметры Cohere API, рабочий код, ограничения и измеримая проверка результата.

Короткий ответ: 429 означает Too Many Requests и требует ограничения нагрузки. Ниже — рабочая схема внедрения, реальные параметры и проверки, которые отделяют демонстрацию от production-интеграции.

Что реально делает функция

429 означает Too Many Requests и требует ограничения нагрузки.
498 в справочнике Cohere означает Invalid Token.
499 означает, что клиент закрыл запрос.
401/403 не следует повторять без исправления ключа или прав.
Retry для 429/5xx должен иметь exponential backoff, jitter и предел попыток.

Пошаговое внедрение

Зафиксируйте входной и выходной контракт.
Выберите актуальную модель в официальном каталоге.
Храните ключ только на backend и задайте таймаут.
Валидируйте ответ и сопоставляйте индексы/ID с исходными объектами.
Добавьте метрики latency, ошибок и billed units.
Проведите canary перед полной нагрузкой.

Рабочий пример

for i in range(5):
 try: return call()
 except CohereError as e:
  if e.status_code not in (429,500,503,504): raise
  time.sleep(min(30,0.5*2**i)+random.random()*0.3)
raise RuntimeError("retry limit")

Как проверить результат

Искусственно отменить клиентский запрос и убедиться, что 499 не считается сбоем сервера.
Нагрузочный тест должен сохранять bounded queue и не допускать retry storm.

Чего не делать

Не публикуйте API-ключ и полный чувствительный prompt в логах.
Не выбирайте модель по одному удачному примеру.
Не повторяйте 4xx бесконечно.
Не считайте валидный JSON или высокий score доказательством факта.

Ограничения

Модели, тарифы, квоты и поля API меняются. Сведения проверены по официальной документации 12 сентября 2026 года; перед production-релизом повторите проверку.

FAQ

Нужен ли отдельный API-ключ?

Да, храните его на сервере в переменной окружения и ограничьте доступ.

Можно ли верить relevance_score как вероятности?

Нет, калибруйте порог на собственном размеченном наборе.

Как проверить качество?

Используйте фиксированный eval: recall@k, MRR или nDCG, плюс негативные запросы.

Где проверять цену?

На официальной pricing-странице и в панели аккаунта в день расчёта.

Официальный источник

https://docs.cohere.com/reference/errors