Как использовать OpenAI Moderation API для проверки пользовательского контента

Что решает Moderation API

Модерация помогает классифицировать потенциально опасный пользовательский контент до публикации или обработки. Это один слой защиты, а не готовая политика для любого сервиса.

Схема интеграции

1. Определите запрещённые и ограниченные сценарии продукта.
2. Проверяйте пользовательский ввод до выполнения чувствительного действия.
3. При необходимости проверяйте и созданный моделью результат.
4. Свяжите категории модерации со своими действиями: пропуск, предупреждение, блокировка, ручная проверка.
5. Сохраняйте минимальный безопасный журнал решения.
6. Добавьте процесс обжалования.

Как тестировать

Используйте заранее подготовленный набор примеров, включая пограничные случаи, цитирование и образовательный контекст. Оценивайте ложные блокировки и пропуски отдельно.

Приватность

Не храните полный опасный текст, если для аудита достаточно идентификатора, категории и версии политики. Ограничьте доступ к журналам.

Чего не делать

Не блокируйте пользователя навсегда по одному автоматическому сигналу и не публикуйте внутренние пороги защиты.

Официальный источник

OpenAI Platform Documentation: https://platform.openai.com/docs/guides/moderation