Безопасность AI/ML систем

2016 год. Microsoft Tay. AI chatbot запущен в Twitter. 16 часов. Пользователи заполнили feedback расистскими фразами. Tay начал генерировать расистский контент. Microsoft отключил. Этот случай показал: ML системы атакуемы через данные, не только через код. Data poisoning через feedback loop - реальная угроза для любого online learning системы.

• Tesla Autopilot 2018: наклейки на разметке -> Tesla перестраивается в неправильную полосу. Physical adversarial example
• Samsung ChatGPT 2023: конфиденциальный код в ChatGPT -> корпоративный запрет. AI data leakage
• Bing Chat 2023: prompt injection раскрывает system prompt. Первый массовый LLM exploit в production

Adversarial Attacks: обман нейросетей

2013 год. Szegedy et al. открыли: добавление специально сконструированного шума к изображению - невидимого глазу - заставляет нейросеть классифицировать pandas как gibbons с 99.3% confidence. 2018 год. Tesla Autopilot. Исследователи Keen Security Lab показали: наклейки на дорожной разметке заставляют Tesla перестроиться в неправильную полосу. Adversarial examples - фундаментальная уязвимость нейронных сетей.

Physical adversarial examples: атаки работают в реальном мире - распечатанные паттерны, наклейки, специальные очки. 2016: StopSign adversarial patch -> Tesla видит Stop как Speed Limit. 2019: adversarial patch на одежде делает человека невидимым для YOLO object detection. Autonomous vehicles и surveillance системы особенно уязвимы.

Model Poisoning и Data Poisoning

2021 год. Microsoft Tay chatbot (2016 прецедент): Twitter пользователи заполнили training feedback расистскими фразами. Tay за 16 часов стал генерировать расистский контент. Data poisoning через feedback loop. 2022 год. Исследователи показали: 0.1% яд в обучающих данных достаточно для backdoor атаки на image classifier. Backdoor: model работает нормально на всех входах кроме специфического trigger pattern - тогда всегда выдаёт target label.

Federated Learning: обучать модель на устройствах пользователей, только gradients (не данные) отправляются на сервер. Но: gradient inversion attacks могут восстановить исходные данные из gradients. Differential Privacy в Federated Learning - добавить шум к gradients перед отправкой. Epsilon <= 10 считается приемлемой приватностью.

Prompt Injection: атаки на LLM

2023 год. Bing Chat (Sydney) - Microsoft. Через специально сконструированные промпты пользователи заставляли модель игнорировать system prompt и раскрывать internal instructions. 2024 год. Исследователи показали prompt injection через email: Claude читает email -> email содержит инструкции -> Claude выполняет их как инструкции пользователя. Prompt injection - аналог SQL Injection для LLM: ненадёжные данные смешиваются с инструкциями.

OWASP LLM Top 10 (2023): LLM01 Prompt Injection, LLM02 Insecure Output Handling, LLM06 Sensitive Information Disclosure, LLM08 Excessive Agency. Excessive Agency - LLM агент имеет слишком много permissions (отправлять email, удалять файлы). Prompt injection + excessive agency = критическая уязвимость. Принцип least privilege применим к LLM агентам так же как к IAM.

AI Safety: безопасность AI систем в production

2023 год. Samsung. Сотрудники вставляли конфиденциальный код в ChatGPT для помощи с debugging. OpenAI использует вводимые данные для улучшения модели. Три инцидента за месяц -> корпоративный запрет ChatGPT. AI Safety в production: не только alignment (что модель не делает плохих вещей), но и data privacy, model security, operational reliability. ML системы в критических приложениях требуют такого же secure development lifecycle как любое ПО.

Model cards (Google) и Datasheets for Datasets (Microsoft) - документация для ML моделей: intended use cases, evaluation results, limitations, biases. Аналог README для модели. NIST AI Risk Management Framework (AI RMF) - структура управления рисками AI систем. Регуляторы начинают требовать документацию AI систем: EU AI Act, NIST AI RMF, FDA AI/ML guidance для медицинских устройств.

Итоги

• Adversarial Attacks: невидимый шум меняет предсказание. Physical attacks работают в реальном мире (Tesla, surveillance)
• Data Poisoning: 0.1% ядовитых данных достаточно для backdoor. HuggingFace pretrained models - supply chain риск
• Prompt Injection: direct (в prompt) и indirect (через документы). Excessive Agency + prompt injection = критично
• AI Safety: EU AI Act, data privacy, audit logs, human oversight для high-risk AI. ML системы = software со всеми его угрозами

Связанные темы

AI/ML безопасность пересекается с классическими web и privacy угрозами:

• Injection атаки (SSRF, CSRF) — Prompt injection - аналог SQL/command injection для LLM систем
• Privacy Engineering — Training data содержит PII - GDPR применимо к ML pipeline
• Supply Chain Security — Pretrained модели с HuggingFace = supply chain риск (backdoor)

Вопросы для размышления

• Как принцип least privilege применяется к LLM агентам с доступом к внешним API?
• Почему differential privacy в federated learning не решает полностью проблему privacy?
• Как EU AI Act меняет требования к разработке ML систем для кредитного скоринга?

Связанные уроки

• sec-03 — Аутентификация и авторизация в AI системах
• sec-08 — Prompt injection аналогичен SSRF/injection атакам
• sec-37 — Privacy Engineering критична для ML данных (training data)
• ml-01-intro