生成AI搭載アプリを狙うマルウェア「Morris II」 Gemini ProやGPT-4搭載アプリを介して個人情報窃取に成功
ITmedia NEWS / 2024年4月5日 8時5分
提案するマルウェアは、c1からc2、c3へと広がっていく
米Cornell Tech、イスラエル工科大学、米Intuitに所属する研究者らが発表した論文「ComPromptMized: Unleashing Zero-click Worms that Target GenAI-Powered Applications」は、生成AIが組み込まれたアプリケーションを攻撃するマルウェアを提案した研究報告である。
企業は既存の製品やプラットフォームに生成AIを統合することで、コンテンツ生成の自動化、不要なユーザー操作の削減、複雑なタスクの効率化を目指している。チャットbotやバーチャルアシスタントなど、既存および新興の製品への生成AIの導入が進むことで、生成AIを搭載した半自律・全自律のエージェントから成るエコシステムが生まれつつある。
この研究では、そんな生成AIを搭載したアプリケーションを攻撃するワーム型のマルウェア「Morris II」を提案する。これは、36年前に登場した初期のインターネットワーム「Morris Worm」へのオマージュとして名付けられた。
Morris IIは「Adversarial self-replicating prompt」と呼ばれる特殊なプロンプトを利用する。感染したアプリが生成AIモデルにこのプロンプトを与えると、生成AIは攻撃者の意図した悪意ある動作を実行し、プロンプト自体も出力に含めて自己複製する。これによりMorris IIは、生成AIエコシステム内の他のアプリへと自律的に広がっていく。
このワームは、エンドユーザーに対する幅広い悪意ある攻撃(スパム送信、プロパガンダ拡散、個人データの流出、フィッシング攻撃など)を行うために利用できる。
研究チームは、RAG(Retrieval Augmented Generation)を利用した生成AI(ChatGPT、Gemini Pro、LLaVA)を用いたメールアシスタントアプリを標的に、Morris IIの実際の動作を確認した。
その結果、画像ファイルに細工を施してプロンプトを埋め込み、メールの添付ファイルから感染を広げるケースでは、大量のスパムメール送信を引き起こすことができた。また、アプリがメールの文脈に応じて関連情報を検索する際、データベースにプロンプトを紛れ込ませて感染し、個人情報を窃取することにも成功した。
Morris IIは、テキストや画像などさまざまな形式の入力データを介して感染し、生成AIの出力をジャックすることで波及と攻撃を実現している。ユーザーの操作を一切必要とせず、生成AIを内包するシステムの脆弱性を突くゼロクリック型の攻撃であることから、検知や防御が非常に難しいとされる。
Source and Image Credits: Cohen, Stav, Ron Bitton, and Ben Nassi. “Here Comes The AI Worm: Unleashing Zero-click Worms that Target GenAI-Powered Applications.” arXiv preprint arXiv:2403.02817(2024).
※2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。X: @shiropen2
外部リンク
この記事に関連するニュース
-
そもそも「サイバー攻撃」「マルウェア」とは何か 典型的な手口3選と感染対策をわかりやすく
東洋経済オンライン / 2024年4月25日 8時0分
-
ネットスコープ、国内のサイバー脅威の調査結果を発表 日本企業はクラウドの悪用によるマルウェアの脅威に直面している
PR TIMES / 2024年4月16日 14時15分
-
Windowsスクリプトから配布されるワーム「Raspberry Robin」、HPが注意喚起
マイナビニュース / 2024年4月15日 9時57分
-
交通事故に見せかけたフィッシングメールに注意、生成AI悪用で巧妙な説得力
マイナビニュース / 2024年4月7日 17時44分
-
次世代Siri? Apple、画面内の状況を理解できるAI「ReALM」を論文発表 GPT-4超えとアピール
ITmedia NEWS / 2024年4月4日 8時40分
ランキング
-
1ジョージア大使、松屋にポーランド風ハンバーグ登場で心配「国際情勢に影響しかねない熾烈な戦いになりそう」
iza(イザ!) / 2024年5月1日 13時55分
-
2「そっち使うの?!」「これは天才」 さびだらけの鉄くぎをぐつぐつ煮込むと……? DIYに役立つ“まさかの使い道”が200万再生
ねとらぼ / 2024年5月2日 12時15分
-
3Androidアプリに悪意あるコードを追加して再配布するマルウェアに注意
マイナビニュース / 2024年5月2日 8時31分
-
4パイオニアの車載スマートデバイス「NP1」を試して感じたイイところ、ムムムなところ 音声操作前提のドラレコ&カーナビ
ITmedia Mobile / 2024年5月2日 6時5分
-
5iPhoneの天気アプリ、文京区で「大雪」とウソつく 気象庁のサイトで“正しい情報”を確認する方法は?
ITmedia Mobile / 2024年5月2日 18時50分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください