Как работает Prompt Caching в OpenAI API и что реально экономит токены

Короткий ответ

Prompt Caching помогает, когда длинная начальная часть запроса повторяется: системные правила, описание инструментов или большой общий контекст. Переменные пользовательские данные лучше размещать после стабильного префикса.

Как подготовить запрос

1. Вынесите постоянные инструкции в начало.
2. Сохраняйте одинаковый порядок и формулировки стабильных блоков.
3. Размещайте уникальный вопрос ближе к концу.
4. Не добавляйте случайные идентификаторы и даты в начало без необходимости.
5. Анализируйте usage и показатель cached tokens в ответе.

Как измерить пользу

Сравните серию одинаковых по структуре запросов на тестовом наборе. Смотрите не на один вызов, а на медианное время и фактическое использование токенов.

Ограничения

Кэш не превращает API в долговременную память и не гарантирует идентичный ответ. Экономия зависит от модели, длины и повторяемости префикса.

Чего не делать

Не дублируйте лишний контекст только ради кэша и не считайте кэширование заменой контролю расходов.

Официальный источник

OpenAI Platform Documentation: https://platform.openai.com/docs/guides/prompt-caching