Гайд · TNWS AI
Как защититься от prompt injection при анализе документов нейросетью
Почему текст в файле может пытаться управлять ИИ и какие проверки снижают риск при работе с источниками.
В чём риск
Документ может содержать текст, замаскированный под команду: игнорировать задачу, раскрыть данные или выполнить действие.
Разделяйте данные и инструкции
Содержимое источника нужно анализировать, но нельзя считать управляющей инструкцией.
Ограничьте действия
Не давайте агенту лишние права. Отправка, запись и удаление должны требовать подтверждения.
Минимальные права
Используйте тестовые данные, журнал действий и техническую изоляцию; одного защитного промпта недостаточно.
Частые вопросы
Нужно ли проверять результат?
Да, критичные факты и данные всегда сверяйте.
Что делать с общим ответом?
Добавьте контекст, формат и пример.
Подходит ли бесплатный тариф?
Зависит от текущих лимитов сервиса.
Читайте также
Как настроить Human-in-the-loop в OpenAI Agents SDK для опасных действий
Гайд по ручному подтверждению инструментов в OpenAI Agents SDK: needs_approval, interruptions, RunState, approve/reject, сохранение паузы и негативные тесты.
Как настроить проектный API-ключ OpenAI и разделить доступ приложений
Как создать отдельный проект OpenAI API, выпустить ключ, ограничить роли, настроить бюджеты и безопасную ротацию.
Как проверять prompt injection в ИИ-агенте перед запуском
Как проверять prompt injection в ИИ-агенте перед запуском: пошаговый разбор, готовый шаблон, пример и контроль ошибок.
Комментарии
Пока тихо. Скажите первое слово