Гайд · TNWS AI

Как защититься от prompt injection при анализе документов нейросетью

1 мин

Почему текст в файле может пытаться управлять ИИ и какие проверки снижают риск при работе с источниками.

В чём риск

Документ может содержать текст, замаскированный под команду: игнорировать задачу, раскрыть данные или выполнить действие.

Разделяйте данные и инструкции

Содержимое источника нужно анализировать, но нельзя считать управляющей инструкцией.

Ограничьте действия

Не давайте агенту лишние права. Отправка, запись и удаление должны требовать подтверждения.

Минимальные права

Используйте тестовые данные, журнал действий и техническую изоляцию; одного защитного промпта недостаточно.

Частые вопросы

Нужно ли проверять результат?

Да, критичные факты и данные всегда сверяйте.

Что делать с общим ответом?

Добавьте контекст, формат и пример.

Подходит ли бесплатный тариф?

Зависит от текущих лимитов сервиса.

Читайте также

Комментарии

Пока тихо. Скажите первое слово