Как получить строгий JSON по JSON Schema в Fireworks AI

Задача считается выполненной не после HTTP 200, а после проверки структуры ответа и контрольного бизнес-условия. Запишите точный model ID, endpoint, SDK, serving mode и параметры генерации. Без этой карточки удачный тест невозможно повторить после обновления модели.

Проверенные параметры

• response_format.type=json_schema применяет конкретную JSON Schema и рекомендован документацией.
• json_object ограничивает ответ любым валидным JSON без заданной структуры.
• В промпте всё равно следует явно попросить JSON; иначе возможна генерация пробелов до лимита.
• При finish_reason=length документ может быть усечён; ответ нельзя принимать до парсинга и валидации.

Не переносите настройки между serverless, batch и on-demand автоматически. Они различаются жизненным циклом, способом масштабирования и смыслом ошибок. Любой пример с <MODEL_ID>, <ACCOUNT_ID> или <SHAPE_NAME> — шаблон: значение берут из своего каталога или фактического вывода firectl, а не угадывают.

Контрольный пример до внедрения

Вход: Строка товар AB-7, количество 3 и схема с двумя обязательными полями.

Ожидаемый результат: Ровно объект {'sku':'AB-7','qty':3} без пояснений и дополнительных ключей; finish_reason не равен length.

Сохраните вход, очищенный JSON-ответ, HTTP-код, request ID, model ID и время выполнения. Ключ авторизации, персональные данные и закрытые документы в артефакт теста не попадают. Если задача связана с качеством модели, отделите технический успех запроса от смыслового PASS: валидный JSON может содержать неверный факт, а быстрый поток — неполный текст.

Настройка по шагам

1. Создайте отдельный API-ключ тестового проекта и передайте его через переменную FIREWORKS_API_KEY. Не вставляйте ключ в Python, браузерный JavaScript, скриншоты и репозиторий.
2. Откройте актуальную карточку модели и подтвердите нужную возможность: streaming, tools, structured output, batch либо deployment shape. Поддержка одной функции не доказывает поддержку другой.
3. Зафиксируйте минимальный тест: один запрос, одна модель, один набор параметров. На первом запуске отключите автоматические retry, чтобы увидеть исходную ошибку.
4. Выполните шаблон ниже. Проверяйте не только наличие choices, но и нужные поля, finish_reason, формат данных и контрольные маркеры.
5. Добавьте отрицательный тест из раздела ошибок. Сервис должен отказать предсказуемо, а приложение — сохранить безопасную диагностику и не повторять неисправимый запрос.
6. Прогоните минимум 20–50 обезличенных примеров реального распределения: короткие и длинные входы, кириллицу, пустые значения, граничные числа и ожидаемые отказы.
7. Только после этого включайте retry, concurrency, кэш или масштабирование. Меняйте по одному фактору и сравнивайте с тем же baseline.

Рабочий шаблон

schema={'type':'object','properties':{'sku':{'type':'string'},'qty':{'type':'integer','minimum':1}},'required':['sku','qty'],'additionalProperties':False}
r=client.chat.completions.create(model='accounts/fireworks/models/kimi-k2p5',messages=[{'role':'user','content':'Извлеки JSON: товар AB-7, количество 3'}],response_format={'type':'json_schema','json_schema':{'name':'line','schema':schema}})
obj=json.loads(r.choices[0].message.content)
assert obj == {'sku':'AB-7','qty':3}

Команда иллюстрирует проверяемый контракт, а не готовый production-сервис. Добавьте timeout, централизованную маскировку секретов, ограничение размера входа и request ID. Для операций, создающих ресурсы, сначала выводите совместимые варианты и сохраняйте возвращённый resource name.

Готовый промпт для теста

Выполни только одну задачу на входных данных ниже.
Не добавляй факты, которых нет во входе.
Если обязательного значения нет, верни ошибку MISSING_FIELD.
Формат ответа соблюдай буквально и не добавляй Markdown.

Вход: {CONTROL_INPUT}
Ожидаемые контрольные маркеры: {EXPECTED_MARKERS}

Этот промпт полезен как воспроизводимый fixture. Он не заменяет response_format, JSON Schema, серверную валидацию аргументов или проверку прав. Если контракт должен быть строгим, его обеспечивает код, а не обещание модели.

Как проверить результат

• JSON парсится
• required присутствуют
• типы совпали
• лишних ключей нет
• ответ не усечён