(Текст сгенерирован ИИ и затем отредактирован автором)

Получающие всё больше распространение системы ИИ (искусственного интеллекта) могут быть не только объектом, но и инструментом атак в руках злоумышленников. Причем, распознать их и защититься от таких инструментов атак часто бывает сложнее, чем предотвратить традиционные риски безопасности.

Угрозы безопасности для ИИ делятся на две большие категории:

1. Угрозы, которые создаёт сам ИИ (злоумышленники используют ИИ для атак).
2. Угрозы для самих систем ИИ (атаки злоумышленников на модели, данные и инфраструктуру ИИ).

На 2025–2026 годы эти риски значительно выросли из-за распространения генеративных моделей (LLM вроде Grok, GPT и др.), автономных агентов (agentic AI) и интеграции ИИ в критические системы.

1. Угрозы, источником которых является сам ИИ.

Злоумышленники могут использовать ИИ как «усилитель» традиционных атак, делая их быстрее, масштабнее и сложнее для обнаружения.

• Гиперперсонализированный фишинг и социальная инженерия — ИИ генерирует идеальные тексты писем, голосовые и видео-дипфейки (deepfakes). Сгенерированные с помощью ИИ ложные сообщения (имитация голоса и видео известной персоны) стали почти неотличимы от реальных сообщений. Примеры: подделка голоса руководителя для распоряжения о переводе миллионов долларов, автоматизированные колл-центры мошенников.
• Автоматизированное вредоносное ПО и полиморфный зловредный код (malware) — ИИ создаёт код, который меняется в реальном времени, обходя антивирусы. Появляются malware, использующие публичные LLM для генерации команд на лету (примеры: LAMEHUG, PROMPTFLUX).
• Автономные атаки — Инструменты вроде Villager или HexStrike AI автоматизируют всю цепочку: разведка → эксплуатация уязвимостей → действия на цели. В 2026 году ожидают рост атак с полностью автономными AI-агентами.
• Deepfakes и дезинформация — Массовое создание фейковых видео/аудио для манипуляции общественным мнением, шантажа или влияния на выборы/рынки.
• Оптимизация ransomware и DDoS — ИИ ищет уязвимости быстрее человека и адаптирует атаки под конкретную жертву.

В 2025 году был зафиксирован рост атак с использованием ИИ (AI-enabled) на 89%, причем, многие атаки стали «безмалварными» (fileless), т.е. не содержащими сами по себе никакого зловредного кода, который можно обнаружить и устранить.

2. Угрозы для самих систем ИИ, т.е. атаки, объекты которых — именно системы ИИ.

Системы ИИ имеют уникальные уязвимости, которых нет у обычного ПО. OWASP Top 10 для больших языковых моделей LLM и Национальный институт стандартзации США NIST выделяют следующие ключевые риски.

• Prompt Injection (инъекция промптов) — Самая распространённая уязвимость (№1 по OWASP 2025). Пользователь или вредоносный контент «внедряет» инструкции, заставляя модель игнорировать системные правила: раскрывать конфиденциальные данные, выполнять вредоносные действия или обходить фильтры (jailbreak).
• Data / Model Poisoning (отравление данных или модели) — Злоумышленник «загрязняет» обучающие данные или наборы тонкой настройки (fine-tuning). В результате модель начинает выдавать предвзятые, вредоносные или неверные ответы, или содержит «backdoor». Особенно опасно для RAG-систем (Retrieval-Augmented Generation).
• Adversarial Attacks (состязательные атаки) — Небольшие, специально подобранные изменения входных данных (изображения, текст), которые сильно сбивают модель с толку (например, не распознаёт знак «стоп» на дороге или принимает вредоносный код за безопасный).
• Model Inversion / Extraction — Восстановление обучающих данных или кража самой модели (model stealing).
• Утечки данных через публичные LLM — Сотрудники органзации случайно или намеренно загружают её конфиденциальную информацию в ChatGPT, Grok и т.п., после чего эта информация может попасть в логи и использоваться для переобучения.
• Атаки на цепочку поставок ИИ — Отравление открытых наборов данных, уязвимости в фреймворках (например, недавняя уязвимость в MCP Go SDK с оценкой 10/10 по CVSS).
• DoS-атаки на ИИ — Исчерпание квот запросов или перегрузка модели.

ФСТЭК России в декабре 2025 года впервые официально включила риски ИИ (модели ML, датасеты, RAG, LoRA и т.д.) в банк данных угроз.

Дополнительные риски

• Автономные ИИ-агенты — Чем умнее агенты (tool-calling, reasoning), тем выше риск, что они будут использованы для автономных вредоносных действий или выйдут из-под контроля.
• Теневые ИИ — Неавторизованное использование сотрудниками публичных моделей.
• Экзистенциальные/долгосрочные риски — Хотя они обсуждаются реже в контексте «кибербезопасности», misalignment (несоответствие целей), потеря контроля над супер-интеллектом или использование ИИ в оружии тоже относятся к угрозам безопасности.

Как защищаться (кратко)

• Для пользователей/компаний: Использовать приватные/enterprise-версии моделей, проверять промпты, внедрять guardrails, мониторить RAG-источники, проводить red teaming ИИ-систем.
• Технические меры: Input/output filtering, adversarial training, sandboxing агентов, мониторинг на poisoning.
• Организационные: Политики «не загружать чувствительные данные в публичные LLM», регулярные аудиты по OWASP LLM Top 10 и MITRE ATLAS.

ИИ — это одновременно мощный инструмент защиты (AI-driven threat detection) и новый мощный вектор атак. В 2026 году баланс сил смещается в сторону тех, кто быстрее адаптирует оборону под ИИ-угрозы.