Как считать токены до запроса Claude API и контролировать размер контекста

Понадобятся API-ключ, фактический messages payload, системную инструкцию и внутренний порог размера. Используйте тестовую копию. Удалите пароли, токены, персональные сведения и коммерческие секреты, если их обработка не разрешена. Секреты храните в переменных окружения или специализированном хранилище.

Сделайте таблицу из пяти кейсов: обычный ввод, пустой, без нужного факта, с противоречием и с запрещённым действием. Для каждой строки запишите ожидаемый статус и результат до запуска модели.

Пошаговый процесс

Соберите тот же payload, который планируете отправить в Messages API: model, system, messages, tools и документы. Перед генерацией передайте его в endpoint подсчёта токенов по примеру Anthropic. Не считайте слова вручную и не используйте усреднённый коэффициент для важного запроса.

Сравните input_tokens с внутренним бюджетом и запасом на ответ. Если контекст слишком большой, сначала удалите дубли, устаревшие сообщения и нерелевантные документы. Не обрезайте начало договора или системной инструкции вслепую. Запишите количество токенов до и после изменения. Счётчик помогает планированию, но фактическое usage ответа проверяйте отдельно.

Сохраните версию SDK, конфигурацию, идентификаторы ресурсов и дату. Если операция может повториться после сбоя, используйте собственный job_id или idempotency_key и проверяйте фактический статус до нового запуска.

Готовый шаблон

Сократи историю для нового вопроса [ВОПРОС]. Сохрани решения, определения и открытые задачи; удали приветствия и повторы. Не меняй факты. Верни summary и список omitted_items.

Замените квадратные скобки конкретными значениями. Не добавляйте «додумай при необходимости» в задачу извлечения фактов. Для программного потребителя сначала валидируйте форму, затем бизнес-правила и происхождение значений.

Пример входа и результата

Вход

Диалог содержит 80 сообщений, но новый вопрос относится только к утверждённому бюджету, сроку и двум рискам проекта.

Ожидаемый результат

В новый контекст попадают подтверждённые значения с происхождением, а бытовые реплики исключаются. Token Counting повторяется после сокращения.

Повторите тест без одного обязательного факта. Правильный ответ возвращает null, missing или blocked по вашей схеме. Убедительная догадка опаснее явной ошибки, потому что проходит дальше незаметно.

Три уровня проверки

На техническом уровне проверьте формат, статусы, ID и отсутствие секретов. На смысловом — вручную сверьте минимум три элемента, включая число, дату и отрицание. На процессном — воспроизведите таймаут и убедитесь, что повтор не создаёт дубль.

Меняйте один параметр за итерацию. Одновременная смена модели, промпта и данных лишает эксперимент смысла. Старую рабочую версию храните до полного регрессионного прогона.

Матрица тестов и критерии решения

Не оценивайте результат словами «вроде верно». Создайте таблицу с колонками case_id, input, expected, actual, source, status и error_type. Для извлечения данных сравнивайте каждое поле: точное совпадение для идентификаторов, чисел и перечислений; отдельно проверяйте допустимый null. Для текста заранее задайте обязательные факты и запрещённые утверждения. Кейс считается пройденным только тогда, когда выполнены все обязательные проверки.

Размечайте ошибки хотя бы на четыре класса: format_error — ответ нельзя разобрать; unsupported_claim — утверждение не подтверждается входом; wrong_action — выбрана неверная функция или операция; security_error — раскрыт секрет либо обойдена проверка прав. Такая классификация показывает, что именно исправлять. Изменение формулировки промпта редко устранит ошибку авторизации, а дополнительная схема не проверит истинность извлечённой цены.

Установите правило выпуска до теста. Например: ни одной ошибки безопасности и неверного действия; все идентификаторы совпадают посимвольно; отсутствующие сведения возвращаются как null; каждый внешний вызов виден в журнале. Это критерии приёмки, а не обещание точности модели. Если хотя бы один критический кейс провален, сохраните вход и конфигурацию, исправьте одну причину и повторите весь набор.