Безопасность большой модели

В данной статье в качестве основы взята матрица угроз безопасности ИИ, и на основе зрелой методологии ATT&CK систематически рассматриваются угрозы безопасности, с которыми сталкиваются системы ИИ на протяжении всего жизненного цикла, включая отравление данных, извлечение моделей, утечку конфиденциальной информации, вражеские образцы и ключевые методы атаки, такие как внедрение слов-ключей, а также предлагаются соответствующие стратегии защиты и решения для посадки предприятий, чтобы обеспечить инженеров ИИ, инженеров безопасности и CSO профессиональными техническими средствами. Ссылка.

OpenGuardrails - это первая полная платформа безопасности с открытым исходным кодом корпоративного уровня, поддерживающая 119 языков, унифицированную архитектуру LLM, настраиваемые политики чувствительности и развертывание в нескольких облаках. В этом отчете представлен глубокий анализ основных технических инноваций, сценариев применения, моделей развертывания, сравнительного анализа производительности и будущего развития, а также рекомендации по обеспечению соответствия требованиям безопасности для приложений искусственного интеллекта в регулируемых отраслях, таких как финансы, здравоохранение и юриспруденция. Анализируя настраиваемые политики OpenGuardrails, эффективную модель и инфраструктуру производственного уровня, авторы раскрывают направление развития следующего поколения ИИ-систем безопасности.

Руководители служб безопасности (CSO) столкнулись с беспрецедентной проблемой: системы искусственного интеллекта как усиливают существующие риски, связанные с данными, так и создают совершенно новые угрозы, такие как отравление данных, реинжиниринг моделей и заражение цепочки поставок. Данное руководство опирается на NIST AI Risk Management Framework (AI RMF), Google Secure AI Framework (SAIF) и отраслевые практики, чтобы предоставить CSO действенную систему управления безопасностью данных.

Мегамодель с открытым исходным кодом LangChain раскрыла уязвимость сериализационной инъекции (CVE-2025-68664), обнаруженную исследователем безопасности Ярденом Поратом из Cyata Security, в которой в процессе сериализации/десериализации отсутствует ключ "lc". Эта уязвимость, обнаруженная исследователем безопасности Ярденом Поратом из Cyata Security, связана с отсутствием ключа "lc" в процессе сериализации/десериализации, что позволяет злоумышленнику утечь переменные окружения, инстанцировать произвольные объекты или даже удаленно выполнить код с помощью prompt injection. Уязвимость затрагивает все развертывания LangChain Core до версии 0.3.81 и в диапазоне версий 1.0.0-1.2.5. Официальные патчи для версий 1.2.5 и 0.3.81 были выпущены 24 декабря, одновременно с этим была ужесточена политика безопасности по умолчанию.

С широким распространением больших языковых моделей (LLM) и генеративного искусственного интеллекта (GenAI) в корпоративных приложениях традиционная парадигма безопасности программного обеспечения, основанная на детерминированной логике, уже не в состоянии справиться с новыми стохастическими угрозами, такими как инверсия моделей, отравление данных и внедрение слов-ключей. В рамках проекта Secure AI Framework (SAIF), который будет запущен компанией Google в 2023 году, предлагается систематическая архитектура защиты, призванная объединить лучшие практики традиционной кибербезопасности с особенностями систем искусственного интеллекта. Secure AI Framework (SAIF), который будет запущен компанией Google в 2023 году, предлагает системную архитектуру защиты, которая призвана объединить лучшие практики традиционной кибербезопасности со спецификой систем искусственного интеллекта. В этой статье мы проанализируем шесть основных компонентов, механизм экологической синергии и путь эволюции SAIF с точки зрения архитектурного дизайна, предоставив теоретические и практические рекомендации для создания системы безопасности ИИ корпоративного уровня.

Этот отчет основан на пяти основных поверхностях атак, состоящих из критически важных звеньев ИИ - помощников ИИ, агентов, инструментов, моделей и хранилищ - с целевыми рисками безопасности, архитектурами защиты и решениями.