Как проверить prompt caching в Fireworks AI по реальным метрикам

Задача считается выполненной не после HTTP 200, а после проверки структуры ответа и контрольного бизнес-условия. Запишите точный model ID, endpoint, SDK, serving mode и параметры генерации. Без этой карточки удачный тест невозможно повторить после обновления модели.

Проверенные параметры

• Кэш ищет точное совпадение префикса: статические инструкции ставят в начало, переменные данные — в конец.
• Для affinity используется поле user или заголовок x-session-affinity.
• На dedicated число prompt и cached tokens видно в fireworks-prompt-tokens и fireworks-cached-prompt-tokens.
• Кэш хранит префикс, а не готовый ответ; генерация каждого ответа выполняется заново.

Не переносите настройки между serverless, batch и on-demand автоматически. Они различаются жизненным циклом, способом масштабирования и смыслом ошибок. Любой пример с <MODEL_ID>, <ACCOUNT_ID> или <SHAPE_NAME> — шаблон: значение берут из своего каталога или фактического вывода firectl, а не угадывают.

Контрольный пример до внедрения

Вход: Одинаковая длинная инструкция и два разных вопроса в конце; затем контрольный прогон с динамической датой в начале.

Ожидаемый результат: Во втором стабильном запросе растёт доля cached prompt tokens и обычно снижается TTFT; контроль с изменённым префиксом показывает худший hit rate.

Сохраните вход, очищенный JSON-ответ, HTTP-код, request ID, model ID и время выполнения. Ключ авторизации, персональные данные и закрытые документы в артефакт теста не попадают. Если задача связана с качеством модели, отделите технический успех запроса от смыслового PASS: валидный JSON может содержать неверный факт, а быстрый поток — неполный текст.

Настройка по шагам

1. Создайте отдельный API-ключ тестового проекта и передайте его через переменную FIREWORKS_API_KEY. Не вставляйте ключ в Python, браузерный JavaScript, скриншоты и репозиторий.
2. Откройте актуальную карточку модели и подтвердите нужную возможность: streaming, tools, structured output, batch либо deployment shape. Поддержка одной функции не доказывает поддержку другой.
3. Зафиксируйте минимальный тест: один запрос, одна модель, один набор параметров. На первом запуске отключите автоматические retry, чтобы увидеть исходную ошибку.
4. Выполните шаблон ниже. Проверяйте не только наличие choices, но и нужные поля, finish_reason, формат данных и контрольные маркеры.
5. Добавьте отрицательный тест из раздела ошибок. Сервис должен отказать предсказуемо, а приложение — сохранить безопасную диагностику и не повторять неисправимый запрос.
6. Прогоните минимум 20–50 обезличенных примеров реального распределения: короткие и длинные входы, кириллицу, пустые значения, граничные числа и ожидаемые отказы.
7. Только после этого включайте retry, concurrency, кэш или масштабирование. Меняйте по одному фактору и сравнивайте с тем же baseline.

Рабочий шаблон

headers={'x-session-affinity':'tenant-17-session-9','x-prompt-cache-isolation-key':'tenant-17'}
for question in ['Суммируй раздел 1','Суммируй раздел 2']:
    r=client.chat.completions.with_raw_response.create(model=MODEL,messages=[{'role':'system','content':STATIC_MANUAL},{'role':'user','content':question}],extra_headers=headers)
    print(r.headers.get('fireworks-cached-prompt-tokens'))

Команда иллюстрирует проверяемый контракт, а не готовый production-сервис. Добавьте timeout, централизованную маскировку секретов, ограничение размера входа и request ID. Для операций, создающих ресурсы, сначала выводите совместимые варианты и сохраняйте возвращённый resource name.

Готовый промпт для теста

Выполни только одну задачу на входных данных ниже.
Не добавляй факты, которых нет во входе.
Если обязательного значения нет, верни ошибку MISSING_FIELD.
Формат ответа соблюдай буквально и не добавляй Markdown.

Вход: {CONTROL_INPUT}
Ожидаемые контрольные маркеры: {EXPECTED_MARKERS}

Этот промпт полезен как воспроизводимый fixture. Он не заменяет response_format, JSON Schema, серверную валидацию аргументов или проверку прав. Если контракт должен быть строгим, его обеспечивает код, а не обещание модели.

Как проверить результат

• префикс байт-в-байт стабилен
• affinity постоянна
• cached tokens сняты
• TTFT измерен p50/p95
• изоляция арендаторов задана