Как настроить одиночный function calling в Together AI безопасно

Задача считается выполненной не после HTTP 200, а после проверки структуры ответа и контрольного бизнес-условия. Запишите точный model ID, endpoint, SDK, serving mode и параметры генерации. Без этой карточки удачный тест невозможно повторить после обновления модели.

Проверенные параметры

• Инструмент задаётся объектом type:function с name, description и parameters.
• tool_choice принимает auto, none, required или объект конкретной функции.
• Arguments возвращаются JSON-строкой и требуют json.loads плюс schema validation.
• Для итогового ответа результат функции добавляют в историю сообщением tool с соответствующим tool_call_id.

Не переносите настройки между serverless, batch и on-demand автоматически. Они различаются жизненным циклом, способом масштабирования и смыслом ошибок. Любой пример с <MODEL_ID>, <ACCOUNT_ID> или <SHAPE_NAME> — шаблон: значение берут из своего каталога или фактического вывода tg, а не угадывают.

Контрольный пример до внедрения

Вход: Запрос заказа 42 и read-only функция, допускающая только положительный целый ID.

Ожидаемый результат: Ровно один разрешённый вызов get_order с id=42; id=0, строка и лишний ключ отклоняются до обращения к базе.

Сохраните вход, очищенный JSON-ответ, HTTP-код, request ID, model ID и время выполнения. Ключ авторизации, персональные данные и закрытые документы в артефакт теста не попадают. Если задача связана с качеством модели, отделите технический успех запроса от смыслового PASS: валидный JSON может содержать неверный факт, а быстрый поток — неполный текст.

Настройка по шагам

1. Создайте отдельный API-ключ тестового проекта и передайте его через переменную TOGETHER_API_KEY. Не вставляйте ключ в Python, браузерный JavaScript, скриншоты и репозиторий.
2. Откройте актуальную карточку модели и подтвердите нужную возможность: streaming, tools, structured output, batch либо deployment shape. Поддержка одной функции не доказывает поддержку другой.
3. Зафиксируйте минимальный тест: один запрос, одна модель, один набор параметров. На первом запуске отключите автоматические retry, чтобы увидеть исходную ошибку.
4. Выполните шаблон ниже. Проверяйте не только наличие choices, но и нужные поля, finish_reason, формат данных и контрольные маркеры.
5. Добавьте отрицательный тест из раздела ошибок. Сервис должен отказать предсказуемо, а приложение — сохранить безопасную диагностику и не повторять неисправимый запрос.
6. Прогоните минимум 20–50 обезличенных примеров реального распределения: короткие и длинные входы, кириллицу, пустые значения, граничные числа и ожидаемые отказы.
7. Только после этого включайте retry, concurrency, кэш или масштабирование. Меняйте по одному фактору и сравнивайте с тем же baseline.

Рабочий шаблон

tools=[{'type':'function','function':{'name':'get_order','description':'Read order','parameters':{'type':'object','properties':{'id':{'type':'integer','minimum':1}},'required':['id'],'additionalProperties':False}}}]
r=client.chat.completions.create(model='Qwen/Qwen3.5-9B',messages=[{'role':'user','content':'Покажи заказ 42'}],tools=tools,tool_choice='required')
call=r.choices[0].message.tool_calls[0]
args=json.loads(call.function.arguments)
assert call.function.name=='get_order' and args=={'id':42}

Команда иллюстрирует проверяемый контракт, а не готовый production-сервис. Добавьте timeout, централизованную маскировку секретов, ограничение размера входа и request ID. Для операций, создающих ресурсы, сначала выводите совместимые варианты и сохраняйте возвращённый resource name.

Готовый промпт для теста

Выполни только одну задачу на входных данных ниже.
Не добавляй факты, которых нет во входе.
Если обязательного значения нет, верни ошибку MISSING_FIELD.
Формат ответа соблюдай буквально и не добавляй Markdown.

Вход: {CONTROL_INPUT}
Ожидаемые контрольные маркеры: {EXPECTED_MARKERS}

Этот промпт полезен как воспроизводимый fixture. Он не заменяет response_format, JSON Schema, серверную валидацию аргументов или проверку прав. Если контракт должен быть строгим, его обеспечивает код, а не обещание модели.

Как проверить результат

• function в allowlist
• arguments разобраны
• схема пройдена
• ACL пройден
• tool_call_id сохранён