Как проверять пользовательский текст через OpenAI Moderation API

Задача и ожидаемый результат

Этот гайд помогает проверять пользовательский ввод до передачи основному ИИ и принимать предсказуемое решение allow, review или block. В конце у вас будет не просто демонстрация, а проверяемый процесс: исходные данные, повторяемые шаги, контрольный пример и критерий отказа. Метод особенно полезен, когда результат передаётся другому человеку или используется приложением.

Сначала определите границу задачи. Запишите одним предложением, что должно получиться, и отдельно — что инструмент не должен делать. Например, «извлечь сроки из переданного документа» не означает «добавить типичные сроки из интернета». Такая граница резко упрощает проверку.

Что подготовить

Чек-лист перед использованием

• задача и запрещённые действия записаны отдельно;
• использованы только разрешённые входные данные;
• названия функций и параметры сверены с официальной документацией;
• ключи и токены не находятся в коде, промпте и журнале;
• успешный пример проходит от начала до конца;
• отсутствие данных не превращается в выдуманный факт;
• числа, даты, имена и ссылки сверены вручную;
• ошибки дают понятный статус и не запускают опасное действие;
• сохранены версия настроек, дата и идентификатор теста.

Типичные ошибки и исправления

Самая частая ошибка — менять сразу модель, промпт и входные данные. После такого эксперимента нельзя понять причину улучшения или ухудшения. Меняйте один элемент за итерацию и повторяйте один и тот же набор тестов.

Вторая ошибка — принимать отсутствие технической ошибки за правильный результат. HTTP 200 или зелёный статус означает, что запрос обработан, но не подтверждает факты. Для каждого критичного поля нужен источник или явный статус «не найдено».

Третья ошибка — публиковать внутренние детали. Убирайте stack trace, системные инструкции, локальные пути и названия секретов из пользовательского ответа. Для диагностики используйте закрытый журнал с ограниченным сроком хранения и доступом.

Ограничения

Moderation API — один слой защиты. Он не заменяет правила продукта, ограничение инструментов, контроль доступа и процедуру апелляции. Любой изменяемый факт — доступность функции, формат API, список моделей, тариф или лимит — проверяйте непосредственно перед внедрением. Не переносите настройки из старого скриншота или стороннего обзора без сверки.

FAQ

Можно ли использовать результат без ручной проверки?

Для учебного черновика — иногда. Для публикации, отправки клиенту, изменения данных или автоматического действия нужна проверка по исходнику и правилам организации.

Что делать, если функция отсутствует в интерфейсе?

Сначала откройте официальную документацию и проверьте поддержку вашей платформы и аккаунта. Не пытайтесь имитировать отсутствующую функцию неподтверждённым способом.

Как понять, что промпт достаточно точный?

Он проходит обычный, пустой и противоречивый тесты; формат стабилен, а отсутствующие сведения помечаются явно. Один красивый ответ этого не доказывает.

Нужно ли сохранять исходные запросы?

Да, если процесс повторяется. Сохраняйте обезличенный вход, инструкцию, параметры, дату и результат, чтобы находить регрессии после изменений.

Официальный источник и дата проверки

Функции и названия элементов сверены 11 сентября 2026 года: официальное руководство OpenAI по Moderation. Цены и численные лимиты здесь намеренно не приводятся: они могут меняться и должны проверяться на официальной странице в момент использования.