LLM Безопасность
-
Безопасность цепочек поставок с помощью искусственного интеллекта: отчет о глубоком анализе атак около 175 000 глобальных экземпляров Ollama Framework
С ростом популярности больших моделей (LLM) локализованные фреймворки развертывания с открытым исходным кодом, представленные компанией Ollama, значительно снизили порог использования и управления моделями ИИ для разработчиков. Однако такое удобство породило и новые масштабные риски безопасности. Недавнее исследование, совместно опубликованное компаниями SentinelOne, Censys и Pillar Security, показало поразительный факт: в Интернете по всему миру существует более 175 000 публично открытых экземпляров Ollama, что создает массивную поверхность атак на вычислительную инфраструктуру ИИ.
Цель данного отчета - провести глубокий технический анализ этого инцидента. Цель данного отчета - провести глубокий технический анализ этого инцидента, проанализировать поверхность атаки, реальные угрозы, системные риски и предложить соответствующие стратегии усиления безопасности и управления на уровне предприятия. -
Защита искусственного интеллекта на глубине: объяснение структуры безопасности искусственного интеллекта Google SAIF
С широким распространением больших языковых моделей (LLM) и генеративного искусственного интеллекта (GenAI) в корпоративных приложениях традиционная парадигма безопасности программного обеспечения, основанная на детерминированной логике, уже не в состоянии справиться с новыми стохастическими угрозами, такими как инверсия моделей, отравление данных и внедрение слов-ключей. В рамках проекта Secure AI Framework (SAIF), который будет запущен компанией Google в 2023 году, предлагается систематическая архитектура защиты, призванная объединить лучшие практики традиционной кибербезопасности с особенностями систем искусственного интеллекта. Secure AI Framework (SAIF), который будет запущен компанией Google в 2023 году, предлагает системную архитектуру защиты, которая призвана объединить лучшие практики традиционной кибербезопасности со спецификой систем искусственного интеллекта. В этой статье мы проанализируем шесть основных компонентов, механизм экологической синергии и путь эволюции SAIF с точки зрения архитектурного дизайна, предоставив теоретические и практические рекомендации для создания системы безопасности ИИ корпоративного уровня.
