ИИ и безопасность6 мин чтения
Как взламывают ИИ — и как компании защищаются
Чат-бота можно обмануть словами: промпт-инъекции, джейлбрейки, утечки данных. Что за этим стоит и как защитить вашего бота.

Чтобы «взломать» чат-бота, часто нужен не код, а всего лишь ловко сформулированная фраза. Из-за этого ИИ-ассистенты на сайтах уязвимы так, как классическая информационная безопасность прежде не знала. В этой статье мы объясняем принцип и защиту на уровне руководства. Инструкции для атак вы здесь намеренно не найдёте.
Почему языковые модели можно обмануть
Языковая модель получает правила владельца и запросы пользователей в виде одного-единственного текста. Надёжно отделить одно от другого она не может. Ещё в 2023 году исследователи писали, что ИИ-приложения тем самым «размывают границу между данными и инструкциями» [3].
Организация по безопасности OWASP в своём списке десяти главных рисков для LLM-приложений (издание 2025 года) ставит промпт-инъекцию (prompt injection) на первое место [1]. Имеется в виду следующее: ввод непредусмотренным образом меняет поведение модели — иногда через содержимое, которого люди вообще не видят, но которое модель читает [2]. Джейлбрейк, по определению OWASP, — одна из её форм, цель которой — полностью обойти защитные механизмы модели [2]. Важно: и OWASP признаёт, что ни одна контрмера не даёт абсолютной защиты [2].
1-е место
Для компаний с чат-ботом особенно важны ещё три пункта списка OWASP: раскрытие конфиденциальной информации (LLM02), извлечение системного промпта (LLM07) и недостоверная информация (LLM09) [1]. Иначе говоря, бот может выдать внутреннюю информацию, раскрыть собственные инструкции или просто утверждать неправду — и каждая из этих проблем в итоге ложится на вас. Поэтому одного хорошо составленного системного текста для защиты недостаточно. Нужны несколько уровней: техника, организация и тесты.

Прямо и косвенно: два пути к одной цели
В прямом варианте поведение модели меняет сам ввод пользователя — намеренно или случайно. В косвенном модель читает внешнее содержимое, например веб-страницу или файл, в которых спрятаны инструкции [2]. Второй вариант коварен тем, что злоумышленнику вообще не нужно разговаривать с ботом. Исследователи во главе с Каем Грешейком в 2023 году продемонстрировали его, в частности, на чате Bing на базе GPT-4 [3].
Возможные последствия, по данным OWASP, — от утечки данных и несанкционированного доступа до команд в подключённых системах и искажённых решений [2]. Федеральное ведомство по информационной безопасности (BSI) объединяет (косвенные) промпт-инъекции, джейлбрейки и состязательные атаки (adversarial attacks) под названием «атаки уклонения» (evasion attacks): они действуют во время работы системы, а сама модель остаётся неизменной [4].
BSI формулирует это трезво: контрмеры могут затруднить атаки или уменьшить возможный ущерб [4]. Это реалистичная цель. Кто обещает полную неуязвимость, продаёт не безопасность, а надежду.
Что пошло не так на практике
В декабре 2023 года пользователи заставили чат-бота дилера Chevrolet в калифорнийском Уотсонвилле «продать» Tahoe за один доллар. Бот был от стороннего поставщика Fullpath; GM заявила, что такие инструменты дилеры выбирают сами [5]. Fullpath сообщила о более чем 3 000 попыток манипуляции за одни выходные и подчеркнула, что бот не выдал никаких данных дилера [6]. Пришлось ли дилеру когда-либо исполнять эту «сделку», источники не сообщают; вскоре бот исчез с сайта [5].
Другой случай был не атакой, а вопросом ответственности. В феврале 2024 года трибунал по гражданским спорам Британской Колумбии (Civil Resolution Tribunal) постановил, что Air Canada отвечает за неверные сведения своего чат-бота на сайте о траурных тарифах. Авиакомпания среди прочего утверждала, что бот — самостоятельное юридическое лицо, которое само отвечает за свои действия. Суд признал бота частью сайта и присудил клиенту около 650 долларов, а также проценты и сборы [7]. Сумма небольшая, принцип — нет: то, что говорит ваш бот, вменяется вам.
ок. 650 $
А утечки данных возникают не только из-за атак. В мае 2023 года Samsung запретила использовать генеративный ИИ на рабочих устройствах после того, как, согласно внутренней служебной записке, сотрудники через ChatGPT раскрыли внутренние данные, в том числе исходный код; сообщалось о трёх инцидентах. О записке известно из сообщения Bloomberg, которое пересказывает TechRadar [8].

Настоящий риск: боты, которым разрешено действовать
Бот, который только отвечает на вопросы, может опозорить. Бот, который оформляет заказы, отправляет письма или читает базы данных, может нанести ущерб. OWASP называет это «чрезмерными полномочиями» (Excessive Agency): вредные действия в ответ на неожиданные, неоднозначные или подменённые выходные данные модели. Среди триггеров — галлюцинации, а также прямая и косвенная промпт-инъекция; причины — слишком много функций, слишком широкие права и слишком большая автономия [9]. Разумный принцип — относиться к модели как к недоверенному пользователю [2].
Чек-лист: как защитить ваш чат-бот
- Минимальные права: бот получает только те инструменты и доступ к данным, которые ему действительно нужны, по возможности только на чтение. Права проверяет система за ним, а не модель [9].
- Человек в контуре: значимые действия — обязательства, платежи, удаление или отправку — явно подтверждает человек или как минимум сам пользователь [2][4][9].
- Проверка ответов: ожидаемые форматы проверяются кодом, ввод и вывод фильтруются [2]. Цены и юридически значимые обещания никогда не исходят от одного только бота.
- Изоляция чужого содержимого: документы и веб-страницы третьих лиц помечаются как недоверенные и фильтруются [2][4].
- Регулярные тесты: целенаправленные тесты на атаки перед запуском и затем через фиксированные интервалы [2].
- Журналирование и лимиты: логи, мониторинг и ограничение частоты запросов (rate limits) не предотвращают злоупотреблений, но ограничивают ущерб [9].
- Чёткие правила для сотрудников: какие данные можно передавать в какие внешние ИИ-сервисы? Случай Samsung показывает, как быстро здесь всё идёт не так [8].
В ноябре 2025 года BSI опубликовало под названием «Evasion Attacks on LLMs – Countermeasures in Practice» контрмеры для разработчиков и ответственных за IT, дополненные чек-листом. Среди них — точные системные промпты, фильтрация вредоносного содержимого из документов третьих лиц и явное подтверждение пользователем, прежде чем модель выполнит функции [4]. Это во многом совпадает со списком выше.
Источники (9)
- [1]OWASP Top 10 for LLMs and Gen AI Apps 2025OWASP GenAI Security Project · 1 января 2025 г.
- [2]LLM01:2025 Prompt InjectionOWASP GenAI Security Project · 1 января 2025 г.
- [3]Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt InjectionGreshake et al., arXiv:2302.12173 · 23 февраля 2023 г.
- [4]BSI представляет меры против атак уклонения (evasion attacks) на большие языковые модели (пресс-релиз на немецком)Bundesamt für Sicherheit in der Informationstechnik (BSI) · 10 ноября 2025 г.
- [5]Chevy dealer's AI chatbot allegedly recommended Fords, gave free access to ChatGPTThe Autopian · 18 декабря 2023 г.
- [6]There were more than 3,000 attempts to hack a dealership's AI chatbot this weekendThe Autopian · 1 декабря 2023 г.
- [7]BC Tribunal confirms companies remain liable for AI chatbot-created information (Moffatt v. Air Canada, 2024 BCCRT 149)Torkin Manes LLP · 1 февраля 2024 г.
- [8]Samsung bans ChatGPT use after employee leakTechRadar (со ссылкой на Bloomberg) · 2 мая 2023 г.
- [9]LLM06:2025 Excessive AgencyOWASP GenAI Security Project · 1 января 2025 г.
Сколько этого уже есть в вашей повседневной работе?
На бесплатной первой консультации мы вместе посмотрим, что ИИ уже сегодня может делать в вашей компании — и где ему не место.
Записаться на консультацию

