Почему prediction Replicate долго в starting и как корректно отменить задачу

Что подтверждает документация

• starting означает запуск prediction; длительный starting часто связан с запуском нового worker.
• processing означает выполнение predict() модели.
• Документированный максимальный runtime prediction — 30 минут.
• При превышении заданного deadline задача получает aborted до старта или canceled после старта.

Объект prediction нужно считать отдельной сущностью со своим id, status, output, error и ссылками управления. Сохраняйте id сразу после создания: без него невозможно надежно выяснить, завершилась ли задача после сетевого таймаута. Не создавайте вторую prediction только потому, что клиент перестал ждать первую.

Пошаговая настройка

1. Определите один критерий успеха. Для изображения это не только наличие URL, но и ненулевой файл, декодируемый формат, ожидаемые размеры и отсутствие служебной ошибки. Для текста — конечный статус, непустая строка и проверяемая структура.
2. Создайте отдельный токен для окружения и поместите его в REPLICATE_API_TOKEN на сервере. Не передавайте постоянный секрет в браузер, мобильный пакет, query string или журнал запроса.
3. На официальной странице модели скопируйте endpoint и точную схему input. Зафиксируйте model/version рядом с тестовым набором, чтобы обновление не смешалось с изменением кода.
4. Выполните минимальный пример ниже без очереди, ORM и автоматических retry. Сохраните HTTP-код, prediction id, status, error и время каждого перехода. Содержимое prompt логируйте только после обезличивания.
5. Сравните результат с ожиданием: Интерфейс различает очередь и выполнение, не показывает вечный спиннер, отправляет отмену один раз и затем запрашивает prediction до появления фактического конечного статуса.
6. Проведите отрицательный тест: испорченный файл, неверное поле, просроченная подпись или искусственный сетевой обрыв — в зависимости от сценария. Система должна завершиться контролируемо и не выдать частичный результат за готовый.
7. После приемки добавьте очередь, ограниченные повторы с задержкой, метрики и алерт. Повторяйте безопасный GET; новый POST создавайте лишь когда подтверждено, что предыдущая prediction не была создана или ее повтор допустим бизнес-логикой.

Минимальный рабочий пример

TERMINAL = {"succeeded", "failed", "canceled", "aborted"}
def decide(p, user_deadline_reached=False):
    if p["status"] in TERMINAL: return p["status"]
    if user_deadline_reached:
        cancel_prediction(p["id"])
        return "cancel_requested"
    if p["status"] == "starting": return "show_queued"
    if p["status"] == "processing": return "show_running"
    raise ValueError(p["status"])

Пример намеренно не содержит настоящего токена. Для модели, версии, hardware или имени поля используйте только актуальную страницу API. Если ответ отличается от примера, сначала сравните endpoint и schema, затем версию клиентской библиотеки, и лишь потом меняйте обработчик.

Готовый шаблон проверки с ИИ

Роль: инженер по приемке Replicate API.
Проверь сценарий: почему prediction Replicate зависла в starting и как отменить.
Вход: приложенный JSON запроса, HTTP-код, объект prediction и локальные метрики.
Верни таблицу: проверка | фактическое значение | PASS/FAIL | исправление.
Не считай HTTP 200 достаточным. Не выдумывай отсутствующие поля; отмечай их как MISSING.

Такой промпт можно передать модели для первичной ревизии логов, но секреты и персональные данные предварительно удаляются. Итог PASS/FAIL рассчитывает код по явным условиям. Нейросеть не должна решать, считать ли failed успехом или можно ли проигнорировать неверную подпись.

Контрольный вход и ожидаемый результат

Контрольный вход указан в примере: короткий prompt или локальный файл с заранее известными свойствами. До вызова API сохраните SHA-256 входного файла либо точную строку prompt, идентификатор модели и схему ожидаемого результата. Это позволяет воспроизвести тест и отделить изменение модели от ошибки транспорта.

Ожидаемый результат: Интерфейс различает очередь и выполнение, не показывает вечный спиннер, отправляет отмену один раз и затем запрашивает prediction до появления фактического конечного статуса.

Проверьте и негативный вход. Пустой prompt, отсутствующий файл, недоступный URL или неверная подпись должны привести к понятному отказу. Не заменяйте отсутствующие поля пустыми строками: MISSING, null, пустой output и сетевой таймаут означают разные состояния и требуют разных действий.

Критерии приемки

• все шесть статусов обработаны
• таймер UI отделен от серверного статуса
• cancel идемпотентен на уровне приложения
• error показывается без секрета
• метрики starting и processing разделены

Дополнительно измерьте время до создания prediction, время в starting, время в processing и полную длительность. Эти величины помогают отличить запуск worker от длительного выполнения модели. Для файлов сохраняйте число байтов, MIME после декодирования и хеш. Для webhook фиксируйте результат проверки подписи и дедупликации.