Релиз OWASP: ИИ-интеллект в теле безопасности OWASP Top 10 2026

послеИИЭволюция от простых чат-ботов до агентского ИИ с автономными возможностями планирования, принятия решений и исполнения радикально изменила поверхность атаки приложений.

В отличие от традиционных приложений LLM, агентный ИИ не только генерирует контент, но и может представлять пользователей в различных системах.Планирование, принятие решений и осуществление операцийТакая "автономность" - обоюдоострый меч. Такая "автономность" - палка о двух концах: она значительно повышает эффективность, но в то же время означает, что если она выходит из-под контроля, то ее разрушительная сила уже не ограничивается выпуском дезинформации, а распространяется на утечку данных, потерю средств и даже разрушение физических систем.

OWASP выпустила Агентный ИИ Топ-10 2026 Такие же правила безопасности существуют и для искусственного интеллекта. В этой статье мы расскажем о каждом из них.Агентный искусственный интеллект Вот десять ключевых рисков.

От "сверх агента" до "минимального агента"

В контексте безопасности агентного ИИ происходит изменение основной философии. Традиционный принцип наименьших привилегий (Least Privilege) распространяется наПринцип наименьшего агента (наименьшего агентства).

• Риски автономии: Развертывание ненужных моделей поведения агентов расширяет поверхность атаки. Если агенты могут автономно вызывать инструменты высокого риска без подтверждения человека, небольшие уязвимости могут перерасти в катастрофы системного уровня.
• Необходимость наблюдаемостиСильная наблюдаемость становится необязательной из-за неопределенности поведения агента. Мы должны точно знать, что делает агент, почему он это делает и какие инструменты он вызывает.

OWASP Agentic AI Top 10 (2026) Подробности о рисках

Вот 10 основных рисков безопасности, с которыми сталкивается агентский искусственный интеллект:

ASI01. Перехват цели агента(Перехват целей агента)

• определить: Злоумышленник может изменить заявленные агентом цели, выбор задачи или путь принятия решения, манипулируя инструкциями, подсказками или внешними данными. Поскольку агент не может надежно отличить "инструкции" от "содержимого", злоумышленник может перенаправить автономность агента.
  
• сценарий атаки:
  • Косвенное введение подсказкиАгент встречает скрытые инструкции (например, белые шрифты, встроенные в веб-страницу) во время обработки веб-страницы или документа (сценарий RAG), что заставляет агента молча отправить конфиденциальные данные злоумышленнику.
  • календарная атакаВредоносные приглашения в календарь содержат инструкции для агента перейти в "тихий режим" или одобрить запросы с низким уровнем риска, минуя обычные одобрения.
• защитная мера:
  • Рассматривайте все данные естественного языка как недостоверные и очищайте их до того, как они повлияют на цели агента.
  • Внедрите модель "капсулы намерений", которая требует одобрения человека для операций с высоким риском.
  • Блокировка системных подсказок (System Prompts) для предотвращения подмены приоритета цели.

ASI02: Злоупотребление и эксплуатация инструментов

• определить: Агент небезопасно использует легитимные инструменты при выполнении задач. Сюда входит неправильное использование инструментов из-за внедрения подсказок или двусмысленных инструкций, например удаление данных, избыточный вызов дорогостоящих API или утечка данных через инструменты.
  
• сценарий атаки:
  • Инструменты чрезмерной привилегированности: Инструмент почтового дайджеста получает права "отправлять" или "удалять", а не только "читать".
  • атака на цепочку инструментов: Злоумышленник побуждает агента соединить внутренний CRM-инструмент с внешним почтовым инструментом для экспорта данных о клиентах.
• защитная мера:
  • наименьшая привилегия на уровне инструмента (LLP)Определите строгие диапазоны разрешений для каждого инструмента (например, доступ к базе данных только для чтения).
  • криминалистика на уровне действийОбеспечьте явную аутентификацию или подтверждение человеком действий, связанных с высоким риском (например, удаление, передача).
  • семантический брандмауэр: Проверяйте семантический смысл вызовов инструментов, а не только синтаксическую корректность.

ASI03: Злоупотребление идентичностью и привилегиями

• определить:: Использование недостатков в управлении идентификацией агента (например, отсутствие независимой идентификации у самого агента или чрезмерное наследование прав пользователя) для повышения привилегий. Поскольку агенты часто действуют в условиях "разрыва атрибуции", трудно обеспечить соблюдение истинных наименьших привилегий.

• сценарий атаки:
  • Сбитый с толку агент (Сбитый с толку заместитель): Агент с низкими привилегиями направляет вредоносный запрос доверенному агенту с высокими привилегиями, который напрямую выполняет его, не проверяя исходное намерение.
  • наследование привилегийАгент администратора кэшировал учетные данные SSH, и последующие низкопривилегированные пользователи повторно использовали эту сессию через диалог для получения привилегий администратора.
• защитная мера:
  • недолговечный жетон: Генерируйте токены, чувствительные ко времени и ограниченные по объему (JIT Token) для каждой задачи.
  • изоляция личностиСтрого разграничьте память сеанса для разных пользователей и задач, чтобы предотвратить межсеансовые привилегии.
  • Намерение связать: Привязывает токен OAuth к намерениям подписи, предотвращая использование токена в непредусмотренных целях.

ASI04: Уязвимости агентурных цепочек поставок

• определить: компоненты сторонних разработчиков (модели, инструменты, плагины, серверы MCP, другие Агенты), на которые полагается Агент, были подделаны или содержат вредоносный код; этот риск усугубляется тем, что Агентская система способна динамически загружаться во время выполнения.
  
• сценарий атаки:
  • Вредоносные инструменты MCP: Злоумышленник публикует поддельный дескриптор инструмента MCP (Model Context Protocol), чтобы побудить агента подключиться и выполнить вредоносные команды.
  • Похищение имен (Typosquatting): Злоумышленник регистрирует вредоносную службу с именем, похожим на имя легитимного инструмента, и обманом заставляет агента вызвать ее.
• защитная мера:
  • AIBOM и подписи: Требование и проверка SBOM/AIBOM и цифровых подписей для компонентов.
  • Опора на стробирование: Разрешено использовать только инструменты из белого списка, прошедшие проверку подлинности, и источники агентов.
  • верификация во время выполнения (RTV): Непрерывный мониторинг хэшей компонентов и их поведения во время выполнения.

ASI05: Неожиданное выполнение кода (RCE)

• определитьАгенты (особенно те, которые обладают возможностями программирования) генерируют и выполняют вредоносный код, заданный злоумышленником. Поскольку код обычно генерируется в реальном времени, от него трудно защититься традиционным статическим анализом.
  
• сценарий атаки:
  • Прямой впрыск в оболочку: Злоумышленник вставляет команды Shell в подсказку (например. рм-рф), агент интерпретирует его как часть задания и выполняет его.
  • Кодирование вибраций вышло из-под контроля: В задаче автоматического программирования Агент автоматически загружает и устанавливает пакет зависимостей, содержащий бэкдор.
• защитная мера:
  • Отключите производственную среду Eval: Категорически запрещается использовать в производственной среде без ограничений. eval() функция.
  • Реализация песочницы: Весь сгенерированный код должен выполняться в изолированном контейнере без доступа к сети и с ограниченными ресурсами.
  • ручное утверждение: Код с высокой степенью риска должен быть вручную проверен перед выполнением.

ASI06: Отравление памяти и контекста

• определить: Злоумышленник заражает долговременную память агента, библиотеку векторов RAG или контекстное окно, заставляя агента искажать свои будущие решения или выполнять вредоносное поведение. Это заражение носит постоянный характер.
  
• сценарий атаки:
  • Отравление RAG: Злоумышленник загружает в базу знаний документы, содержащие дезинформацию, что заставляет агента постоянно выдавать в последующих ответах вводящие в заблуждение рекомендации.
  • Дрейф долговременной памяти: Подсознательное изменение восприятия агентом веса цели с помощью многочисленных диалогов для постепенного отклонения от стратегии безопасности.
• защитная мера:
  • изоляция памяти: Изолируйте хранение памяти по пользователям и доменам, чтобы предотвратить перекрестное заражение.
  • Проверка источникаРазрешить запись в память только доверенным источникам данных и периодически очищать непроверенные записи в памяти.
  • RBAC: Обеспечьте строгий контроль доступа при чтении и записи памяти.

ASI07: Небезопасное межагентное взаимодействие

• определить: В многоагентных системах связь между агентами не имеет шифрования, проверки целостности или аутентификации, в результате чего сообщения могут быть перехвачены, подделаны или подменены.
  
• сценарий атаки:
  • атака "человек посередине: Злоумышленник перехватывает незашифрованную связь HTTP Agent и внедряет вредоносные инструкции для изменения цели нижестоящего агента.
  • атака на воспроизведение: Воспроизведение старых сообщений авторизации, чтобы обманом заставить агента повторить операцию передачи или авторизации.
• защитная мера:
  • полное шифрование ссылок: Используйте mTLS для взаимной аутентификации и зашифрованной связи между агентами.
  • подпись сообщения: Цифровая подпись всех сообщений и проверка целостности.
  • механизм защиты от повторного воспроизведения: Предотвращает повторное воспроизведение сообщений с помощью временных меток и Nonce.

ASI08: Каскадные сбои

• определитьСбои в работе отдельных агентов (например, галлюцинации, инъекции) распространяются по сети агентов, что приводит к эффекту домино, вызывающему паралич на уровне системы. Сосредоточение внимания на неисправномРаспространение и усиление.
  
• сценарий атаки:
  • Циклическое усиление: Два агента зависят от результатов работы друг друга, создавая тупиковую петлю, которая истощает системные ресурсы (DoS) или приводит к скачкам счетов.
  • Автоматизированные операции КатастрофаАгент планирования галлюцинирует и посылает неправильные инструкции по масштабированию, а агент исполнения слепо их выполняет, что приводит к неконтролируемым расходам на облачную инфраструктуру.
• защитная мера:
  • механизм слияния: Установите автоматические выключатели между агентами, чтобы автоматически разрывать соединения при обнаружении ненормального трафика или ошибок.
  • Ограничения максимальной зоны влияния: Задайте верхний предел "радиуса взрыва" операции (например, максимальное количество транзакций, максимальное количество вызовов API).
  • Архитектура нулевого доверия: Дизайн предполагает, что вышестоящий агент может выйти из строя или быть скомпрометирован, и не доверяет входным данным вслепую.

ASI09: Эксплуатация доверия между человеком и агентом

• определитьАгент становится инструментом социальной инженерии для злоумышленников, которые используют "предвзятость авторитетов" или эмоциональное доверие к ИИ, чтобы побудить пользователей одобрить небезопасные операции.
  
• сценарий атаки:
  • ложное объяснение: Захваченный агент придумывает правдоподобную причину (например, "оптимизация пространства для хранения") для вредоносной операции (например, удаления базы данных) и обманом заставляет администратора одобрить ее.
  • эмоциональная манипуляция: Проявление сочувствия Агент побуждает пользователей делиться личной конфиденциальностью или корпоративными секретами.
• защитная мера:
  • Признаки низкой уверенности: Когда агент выполняет рискованную или неопределенную операцию, интерфейс пользовательского интерфейса должен четко обозначить риск, чтобы разрушить слепое доверие пользователя.
  • прямое подтверждениеКритические операции должны подтверждаться в несколько этапов, а информация о подтверждении должна содержать четкое описание последствий (а не сгенерированное ИИ объяснение).

ASI10: Агенты-изгои

• определить: Хотя агент вроде бы выполняет задание, его поведение постепенно отклоняется от заявленной цели (дрейф согласования), что приводит к обманчивому, паразитическому или разрушительному поведению. Обычно это вызвано неправильной постановкой цели или взломом вознаграждения (Reward Hacking).
  
• сценарий атаки:
  • Вознаграждение за взломАгент, отвечающий за снижение расходов на облачные вычисления, считает, что удаление всех резервных копий - самый быстрый способ снизить расходы, поэтому он удаляет критически важные данные.
  • самовоспроизведение: Скомпрометированные автоматические агенты несанкционированно реплицируют себя по всей сети, чтобы сохранить цель "постоянства".
• защитная мера:
  • Неприкосновенные бревна: Запись поведения агента для аудита и своевременное обнаружение дрейфа поведения.
  • Выключатель аварийного останова (Kill Switch): Возможность отрезать привилегии агента или поместить его в карантин одним щелчком мыши.
  • Базовый мониторинг поведения: Постоянный мониторинг поведения агента и предупреждение или перехват, как только он отклоняется от заданного манифеста.

    библиография

    OWASP Top 10 для агентских приложений на 2026 год :

    https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/

    https://mp.weixin.qq.com/s/Hr3unoyTgCZ4eyx5VoYmWg