このモデルのペイロードは、攻撃者に感染したマシンのシェルを提供し、一般的に『バックドア』と呼ばれるものを介して被害者のマシンを完全に制御することを可能にする。
「このような無言の侵入は、重要な内部システムへのアクセスを許可し、大規模なデータ漏洩や企業スパイへの道を開く可能性がある。
具体的には、不正なモデルは、Korea Research Environment Open Network（KREONET）に属するIPアドレスである210.117.212[.]93へのリバースシェル接続を開始します。93、Korea Research Environment Open Network（KREONET）に属するIPアドレスに逆シェル接続を開始します。同じ負荷を持つ他のリポジトリは、他のIPアドレスへの接続が確認されています。
あるケースでは、モデルの作者がユーザーにダウンロードしないよう促していたため、出版物が研究者やAIの実務者の作品である可能性が高まった。
「しかし、セキュリティ研究の基本原則は、実際に動作するエクスプロイトや悪意のあるコードの公開を避けることである。「悪意のあるコードが実際のIPアドレスに接続しようとすると、この原則は破られる。
この調査結果は、悪意のある活動によって汚染される可能性のあるオープンソースのリポジトリに潜む脅威を再確認するものである。
サプライチェーンリスクからワーム#へのゼロインへ
同時に研究者たちは、ビームサーチベースの逆境攻撃（BEAST）技術を用いて、大規模言語モデル（LLM）から有害な応答を引き出すために使用できるキューを生成する効果的な方法を考案した。
これに関連して、セキュリティ研究者は、データを盗み出し、複数のシステムに拡散させることができる生成AIワーム「Morris II」を開発した。悪意のあるソフトウェア。
Morris IIは最も古いコンピュータ・ワームの一つで、画像やテキストなどの入力にエンコードされた敵対的な自己複製キューを使用する。AI モデルがこれらの手がかりを処理すると、「入力を出力としてコピーし（レプリケーション）、攻撃に関与する」ようにトリガーされる可能性がある。悪意のある活動（ペイロード）」とセキュリティ研究者のStav Cohen、Ron Bitton、Ben Nassiは述べている。
さらに憂慮すべきことに、これらのモデルは、生成AIのエコシステム内のつながりを悪用することで、新しいアプリケーションに悪意のある入力を提供するために武器化される可能性がある。
ComPromptMizedとして知られるこの攻撃手法は、バッファオーバーフローやSQLインジェクションのような従来の手法と類似しており、実行可能なコードを保持することが知られている領域にクエリからのコードとデータを埋め込む。
ComPromptMizedは、実行プロセスが生成AIサービスの出力に依存するアプリケーションや、テキスト生成モデルと情報検索コンポーネントを組み合わせてクエリ応答を豊かにするRAG（Retrieval Augmented Generation）を使用するアプリケーションに影響を与える。
LLMを攻撃し、予期せぬ行動をとらせる方法としてインスタント・インジェクションの利用を探る研究は、この研究が最初でも最後でもない。
以前、研究者たちは、画像や音声の録音を利用して、目に見えない「敵対的摂動」をマルチモーダルLLMに注入し、攻撃者が選んだテキストやコマンドをモデルに出力させる攻撃を実証した。
昨年末に発表された論文の中で、ナッシはユージン・バグダサリアン、ツォンイン・シェー、ヴィタリー・シュマチコフとともに、「攻撃者は、興味深い画像を掲載したウェブページに被害者を誘い込んだり、オーディオクリップを掲載した電子メールを送ったりすることがある。"
"被害者が孤立したLLMに画像やクリップを直接送り込み、関連する質問をすると、攻撃者によって注入されたプロンプトによってモデルが誘導される。"
昨年初め、ドイツ・ザールラント大学のCISPAヘルムホルツは、次のように述べた。情報セキュリティーまた、同センターとSequire Technology社の研究者グループは、攻撃者がLLMモデルを悪用する方法として、モデルが出現する可能性の高いデータに隠されたヒントを戦略的に注入する方法（間接的ヒント注入）を発見した。ユーザーの入力に応じて取得される
元記事はChief Security Officerによるもので、転載の際はhttps://www.cncso.com/jp/ai-ml-models-found-on-hugging-face-platform.html。
