ChatGPTのカスタム指示を悪用したプロンプトインジェクション攻撃の手法
マイナビニュース / 2024年4月2日 11時51分
Impervaは3月28日(米国時間)、「From ChatBot To SpyBot: ChatGPT Post Exploitation|Imperva」において、ChatGPTの「カスタム指示(Custom instructions)」を悪用して永続的なプロンプトインジェクション攻撃を可能にする手法を解説した。この手法は実際に用いられたわけではないが、同社は利用の可能性があるとして注意を促している。
○プロンプトインジェクションとは
ChatGPTなどの生成AIは出力に制限がかけられており、機密情報などの生成すべきでない情報の出力を防止する仕組みが備わっている。しかしながら、プロンプトを細工してこの制限を突破するプロンプトインジェクションと呼ばれる手法が存在し、生成AIの課題となっている。
これまでにもさまざまなプロンプトインジェクションの手法が開発され、その都度対策が施されてきた。最近では、マークダウン画像を表示させることで本来ならば生成されない情報の窃取に成功している(参考:「Prompt injection attack on ChatGPT steals chat data | System Weakness」)。ChatGPTではこの攻撃への対策として、マークダウン画像のURLが以前の会話に存在していた場合にアクセスを許可するように変更している。
○対策のバイパス
ChatGPTは上記のURL検証のため、「/backend-api/conversation/{uuid}/url_safe?url={url}」というエンドポイントを使用する。このエンドポイントでは「{url}」に指定された任意の文字列(URLである必要はない)が過去の会話やカスタム指示に存在するかをチェックする。Impervaはこのエンドポイントについて分析を実施し、トップレベルドメインを無条件で有効とみなす動作を確認している。そのため、トップレベルドメインを指定することで会話にないマークダウン画像にアクセスさせることができる。
Impervaは悪用する方法として3種類のドメインパターンを例示している。いずれも攻撃用のドメインを1つ、または文字数分だけ容易する必要はあるが、システムの構築はそれほど難しくないと考えられる。
○永続的な攻撃への活用
ChatGPTは、クロスサイトスクリプティング(XSS: Cross-Site Scripting)によりアクセストークンを窃取可能な脆弱性を発見されたことがある。そのため、ChatGPTでは同様の攻撃に備え、アクセストークンに約2日半の有効期限を設定している。この有効期限により攻撃者はアクセストークンを介してアカウントの侵害に成功しても、2日後までの情報しか窃取することはできない。
-
- 1
- 2
この記事に関連するニュース
-
ロシアの脅威グループがWindowsの印刷スプーラーの脆弱性悪用、アップデートを
マイナビニュース / 2024年4月30日 12時53分
-
Kubernetesで不正マイニング、OpenMetadataの脆弱性を突く攻撃発見
マイナビニュース / 2024年4月23日 11時19分
-
生成AI特有の新たなサイバー脅威に対抗するセキュリティソリューション「AiFort」を提供開始
PR TIMES / 2024年4月19日 12時15分
-
交通事故に見せかけたフィッシングメールに注意、生成AI悪用で巧妙な説得力
マイナビニュース / 2024年4月7日 17時44分
-
Macユーザーは偽の「Arcブラウザ」と会議ソフト「Meethub」に注意
マイナビニュース / 2024年4月3日 13時21分
ランキング
-
1「ギガ 300MB」とは……? 何かがおかしいデータ通信量の珍表記に「違和感」「0.3って書けばよかったのに」などツッコミ続出
ねとらぼ / 2024年4月30日 20時30分
-
2佐野正弘のケータイ業界情報局 第125回 SIMフリーに消極的だったサムスン電子、なぜ「Galaxy S24」で方針を一転させた?
マイナビニュース / 2024年4月30日 11時30分
-
3TVアニメ『わんだふるぷりきゅあ!』、いなばペットフードとのコラボ企画を中止 一連の報道が影響か「まぁ…そうなるよね…」
ねとらぼ / 2024年4月30日 13時15分
-
4【レビュー】Beatsの定番ヘッドホンが刷新! ロスレス再生に対応「Beats Solo 4」を聴く
ASCII.jp / 2024年4月30日 23時0分
-
5アップル「iPhone 16」再び物理ボタン廃止の可能性浮上
ASCII.jp / 2024年4月30日 20時0分
複数ページをまたぐ記事です
記事の最終ページでミッション達成してください