Prompt Injection Deep Dive: атаки, защита, red teaming своего AI

Цели урока

• Разобрать механику direct injection: override, encoding bypass, payload splitting, roleplay escape
• Понять indirect injection: атаки через email, RAG-контекст, веб-страницы - и почему это опаснее
• Реализовать defense layers: sandwich prompting, XML isolation, canary token, dual-LLM architecture
• Построить automated red teaming framework с LLM-judge - запускать при каждом изменении prompt
• Пройти CTF-логику с нарастающей сложностью и вынести главный урок о стоимости атаки

Prompt injection - это SQL injection 2024 года. Первые CVE уже написаны. Первые судебные иски уже поданы. И как SQL injection в 1998 - большинство разработчиков думают что их это не касается. В 2023 исследователи показали: скрытый белый текст на белой странице заставил Bing Chat порекомендовать пользователю скачать malware. Никакого взлома сервера. Просто текст. Атакующий писал не код - он писал слова.

• Gandalf by Lakera (gandalf.lakera.ai) - 2M+ игроков, лучший интерактивный CTF для изучения prompt injection
• OWASP Top 10 for LLMs 2023-2024: Prompt Injection держится на #1 два года подряд - ни одна другая LLM-угроза не обогнала
• Simon Willison (создатель Django) предложил dual-LLM architecture - стала de facto стандартом для агентов с высоким уровнем доверия
• Google Project Zero обнаружил indirect injection в Bard через Google Docs: скрытые инструкции в документе управляли ответами ассистента

Как мир научился называть prompt injection

В **сентябре 2022** программист Simon Willison ввёл термин "prompt injection", сознательно проведя параллель с SQL injection: недоверенный ввод склеивается с доверенными инструкциями, и модель не способна их различить. Примерно тогда же сообщество раскрутило **джейлбрейки** вроде DAN ("Do Anything Now") - ролевые промпты, которые уговаривали модель обойти собственные правила безопасности. Следующий виток случился в **феврале 2023**, когда Kai Greshake, Sahar Abdelnabi и соавторы описали **indirect prompt injection**: атакующий вообще не общается с моделью напрямую, а прячет инструкции внутри веб-страницы, письма или документа, который LLM потом прочитает. Та работа переосмыслила угрозу. Любой внешний контент, который потребляет AI, стал потенциальной поверхностью атаки, а не только сообщение самого пользователя.

Предварительные знания

• Guardrails: LLM Security - Prompt Injection, Jailbreak, Content Filtering

Direct Injection: пользователь атакует через свой ввод

У LLM нет понятия 'данные' и 'инструкции'. Есть только токены. Пользовательский ввод и system prompt - одна и та же субстанция, просто с разным приоритетом. Direct prompt injection - атака, при которой пользователь вставляет инструкции прямо в ввод, перебивая system prompt. OWASP Top 10 for LLMs: 78% инцидентов безопасности в LLM-приложениях 2023-2024 - это direct injection.

RLHF обучает модель следовать инструкциям - именно это делает её умной. И именно это делает её уязвимой: модель одинаково хорошо слушается и разработчика, и хорошо сформулированного злоумышленника. Instruction following - это сила и слабость одновременно.

Sandwich prompting - один из ответов на это. Идея проста до неприличия: повторить system prompt после пользовательского сообщения. Модели труднее забыть инструкцию, которую видела последней. Работает в ~60% случаев - и это честная цифра для такого нулевого overhead.

Indirect Injection: атака через данные, которые обрабатывает LLM

Прямой injection заметен - пользователь сам пишет атаку в чат. Indirect injection не виден никому. Вредоносные инструкции прячутся в данных, которые LLM обрабатывает: email, документы, веб-страницы, RAG-контекст. Исследователи из ETH Zurich в 2023 показали: скрытый текст на веб-странице (белый на белом фоне) заставил Bing Chat отправить пользователю фишинговую ссылку. Атакующий не взламывал сервер - просто написал текст на своей странице.

Это новая поверхность атаки, которой не было до LLM-агентов. Agentive AI с tool calling читает email - и email содержит инструкцию для агента. Агент обращается к RAG - и документ в базе знаний содержит вредоносный payload. Чем больше у агента инструментов, тем опаснее indirect injection.

**Indirect injection - главная нерешённая проблема безопасности LLM.** Не существует 100% надёжной защиты. Модель не может надёжно отличить 'данные' от 'инструкций' в natural language. Все защиты - это снижение вероятности успешной атаки, не гарантия.

Defense Layers: input sanitization, output filtering, dual-LLM

Simon Willison - создатель Django - в 2023 предложил dual-LLM architecture. Идея простая: разделить parsing и execution на две модели с разными привилегиями. Quarantined LLM читает пользовательский ввод и внешние данные - но не имеет доступа к tools. Privileged LLM выполняет действия - но никогда не видит raw input. Injection в quarantined модели даже при успехе не может вызвать destructive action - у неё нет инструментов.

Это instruction hierarchy на уровне архитектуры. Не 'попросить модель игнорировать injection', а физически лишить скомпрометированную модель возможности навредить. Принцип least privilege - старый как Unix, но в мире LLM-агентов снова актуален.

Dual-LLM разделяет parsing (что хочет пользователь) и execution (выполнение действий). Injection в raw input не доходит до модели с tools - она получает только structured intent и parameters. Whitelist на intent - финальный рубеж: даже если quarantined LLM обманули и она вернула `send_email`, privileged LLM отклонит нераспознанный action.

Red Teaming: как тестировать свою систему на injection

Red teaming - процесс, при котором команда (или автоматизированный pipeline) пытается сломать собственную AI-систему. Обойти guardrails, извлечь system prompt, заставить модель выполнить запрещённые действия. OpenAI, Anthropic и Google проводят red teaming перед каждым релизом. Для продакшн-приложения это не роскошь - это часть релизного цикла.

Llama Guard и аналогичные safety classifiers используют именно выходные данные red teaming сессий как training data. Каждая обнаруженная атака - это обучающий пример для следующего слоя защиты. Но ещё важнее: автоматизированный red team запускается при каждом изменении system prompt - потому что невинное редактирование формулировки может открыть уязвимость, которой раньше не было.

Запускать automated red teaming стоит при каждом изменении system prompt и еженедельно - для отслеживания новых attack vectors, которые community находит постоянно. Результаты включать в CI/CD pipeline наравне с eval metrics.

CTF-примеры: практика обхода и защиты

Gandalf от Lakera (gandalf.lakera.ai) - самый известный LLM-CTF: 7 уровней, 2M+ игроков, один секрет, который нужно извлечь. Каждый уровень добавляет слой защиты. Каждый слой обходится. Это лучшая интерактивная демонстрация того, почему prompt injection - системная проблема, не баг в одном месте.

Каждый уровень CTF - это урок: инструкции недостаточно, keyword filter обходится перефразированием, exact match не ловит форматирование, fuzzy filter обходится encoding. Абсолютной защиты нет. Цель - не непробиваемый замок, а повышение стоимости атаки до уровня, при котором она становится экономически нецелесообразной.

System prompt защищает от injection - пользователь не может его переписать

System prompt - это просто текст с более высоким приоритетом. Не security boundary. Модель видит всё как один поток токенов

LLM обрабатывает system prompt и user message как единую последовательность токенов - разница только в том, что system prompt идёт первым и RLHF обучал модель уважать его больше. Но 'уважать больше' - это статистическая тенденция, не гарантия. Достаточно сложная атака, roleplay фрейминг, encoding bypass или indirect injection через внешние данные - и instruction hierarchy ломается. System prompt не является sandbox, firewall или cryptographic boundary.

Prompt Injection: атаки и защита

• Direct injection: override, encoding (base64), payload splitting, roleplay escape - sandwich prompting + XML isolation + canary token снижают риск, не устраняют
• Indirect injection: вредоносные инструкции в email, RAG-контексте, веб-страницах - опаснее, потому что невидим для пользователя
• System prompt - не security boundary: это текст с приоритетом, не sandbox. Instruction hierarchy ломается при сложных атаках
• Dual-LLM: quarantined (parsing, без tools) + privileged (execution, без raw input) - наиболее надёжная архитектура через least privilege
• Automated red teaming с LLM-judge - запускать в CI/CD при каждом изменении prompt. Цель защиты: повысить стоимость атаки, не достичь абсолюта

Что дальше

Prompt injection - самая опасная угроза. Observability помогает обнаруживать атаки в production и реагировать на инциденты.

• Observability — Логирование guardrail violations, отслеживание injection attempts, алертинг на аномалии
• Guardrails — Prompt injection defense - часть общей системы guardrails. Этот урок - deep dive в один компонент
• Error Handling для LLM — Injection может вызвать неожиданные ошибки - error handling обрабатывает последствия

Связанные уроки

• aie-33-guardrails — Защита от инъекций расширяет слои guardrails
• aie-35-observability — Обнаруживаем попытки инъекций в трейсах
• aie-32-error-handling-llm — Сбои защиты идут в безопасную обработку
• aie-16-tool-calling — Доступ к tools расширяет радиус инъекции
• net-43-ddos — Враждебный ввод, злоупотребляющий доверенным каналом
• sd-03-scalability