Дэвид Коэн (David Cohen), старший исследователь безопасности, сказал: "Полезная нагрузка модели предоставляет злоумышленнику оболочку над зараженной машиной, что позволяет ему получить полный контроль над машиной жертвы через то, что обычно называют "бэкдором"".
"Такое бесшумное проникновение может предоставить доступ к критически важным внутренним системам и открыть путь к масштабным утечкам данных и даже корпоративному шпионажу, затрагивая не только отдельных пользователей, но и целые организации по всему миру, при этом жертвы остаются в полном неведении относительно своего скомпрометированного статуса".
В частности, неавторизованная модель инициирует обратное shell-соединение с 210.117.212[.] 93, IP-адресу, принадлежащему Открытой сети исследовательской среды Кореи (KREONET). Другие хранилища с такой же нагрузкой были замечены подключающимися к другим IP-адресам.
В одном случае автор модели призвал пользователей не скачивать ее, что увеличивает вероятность того, что публикация может быть работой исследователя или практикующего специалиста по ИИ.
"Однако фундаментальный принцип исследований в области безопасности заключается в том, чтобы не публиковать эксплойты или вредоносный код, который действительно работает", - говорит JFrog. "Этот принцип нарушается, когда вредоносный код пытается подключиться обратно к реальному IP-адресу".
Полученные результаты еще раз подчеркивают угрозы, таящиеся в открытых репозиториях, которые могут быть отравлены вредоносными действиями.
От риска для цепочки поставок до "нулевой точки" на червя #
В то же время исследователи разработали эффективные методы генерации сигналов, которые могут быть использованы для вызова вредоносных реакций у больших языковых моделей (LLM) с помощью техники Beam Search-based Adversarial Attack (BEAST).
Исследователи безопасности разработали генеративного ИИ-червя под названием Morris II, способного похищать данные и распространять их через множество систем.вредоносное программное обеспечение.
Morris II - это разновидность одного из старейших компьютерных червей, который использует враждебные самовоспроизводящиеся сигналы, закодированные во входных данных, таких как изображения и текст, когда GenИИ Когда модели обрабатывают эти сигналы, они могут быть запущены, чтобы "копировать входы в качестве выходов (репликация) и участвовать в атаках. Вредоносная активность (полезная нагрузка)", - говорят исследователи безопасности Став Коэн, Рон Биттон и Бен Насси.
Что еще более тревожно, эти модели могут быть использованы для создания вредоносных материалов для новых приложений путем использования связей в экосистеме генеративного ИИ.
Эта техника атаки, известная как ComPromptMized, имеет сходство с традиционными методами, такими как переполнение буфера и SQL-инъекции, поскольку она внедряет код и данные из запроса в область, которая, как известно, содержит исполняемый код.
ComPromptMized затрагивает приложения, процесс выполнения которых опирается на результаты работы генеративных сервисов ИИ, а также приложения, использующие Retrieval Augmented Generation ("RAG"), в которых модель генерации текста сочетается с компонентом поиска информации для обогащения ответов на запросы.
Это исследование не первое и не последнее, в котором изучается использование мгновенных инъекций в качестве метода атаки на LLM и обмана их для выполнения неожиданных действий.
Ранее ученые продемонстрировали атаки, использующие изображения и аудиозаписи для внесения невидимых "враждебных возмущений" в мультимодальную LLM, заставляя модель выводить текст или команды по выбору злоумышленника.
В работе, опубликованной в конце прошлого года, Насси вместе с Евгением Багдасаряном, Цунг-Ин Хсиехом и Виталием Шматиковым заявил: "Злоумышленники могут заманивать жертв на веб-страницы с интересными изображениями или отправлять электронные письма с аудиоклипами. "
"Когда жертва подает изображения или ролики непосредственно в изолированный LLM и задает соответствующие вопросы, модель будет руководствоваться подсказками, введенными злоумышленником."
В начале прошлого года CISPA Helmholtz, Саарский университет, Германияинформационная безопасностьГруппа исследователей из Центра и компании Sequire Technology также обнаружила, как злоумышленник может использовать модель LLM, стратегически внедряя скрытые подсказки в данные, в которых модель, скорее всего, появится (т. е. косвенное внедрение подсказок). В результате, в ответ на пользовательский ввод, извлекается информация.
Оригинальная статья написана Chief Security Officer, при воспроизведении просьба указывать: https://www.cncso.com/ru/ai-ml-models-found-on-hugging-face-platform.html.
