AIセーフティに関するレッドチーミング手法ガイドを公開

2024年9月25日
AIセーフティ・インスティテュート
独立行政法人情報処理推進機構


AIセーフティに関するレッドチーミング手法ガイドを公開
～AIシステムに施したリスクへの対策を攻撃者の視点から評価するための手法を解説～

AIセーフティ・インスティテュート（AISI、所長：村上明子）は、AIセーフティ評価手法の一つであるレッドチーミング手法を解説する「AIセーフティに関するレッドチーミング手法ガイド」を公開しました。AIシステムの開発・提供管理者が本書を参照することで、AIシステムにおける弱点や対策の不備を攻撃者の視点から評価するためのレッドチーミング手法の基本的な考慮事項を理解することができ、それらの堅牢化につなげることができます。

「AIセーフティに関するレッドチーミング手法ガイド」URL：https://www.ipa.go.jp/digital/ai/begoj90000004szb-att/ai_safety_rt_v1.00_ja.pdf
「概要説明資料」URL：https://www.ipa.go.jp/digital/ai/begoj90000004sxz-att/ai_safety_rt_summary_v1.00_ja.pdf

AIシステムの開発・提供・利用が進み、イノベーションの促進や社会課題の解決が期待されている一方で、AIシステムの悪用や誤用、不正確な出力による懸念などが生じています。AIセーフティ（注釈1）についての関心が国内外で高まりつつあり、AIセーフティ評価の一環として、特にレッドチーミング手法の検討が各国で進んできています。AISIでは本年9月に「AIセーフティに関する評価観点ガイド」としてAIセーフティ評価の全般的な考え方を公開しました。これに続き、レッドチーミングについても国内外における検討や先行事例を勘案し、国際整合性を考慮したうえで基本的な考慮事項をとりまとめた「AIセーフティに関するレッドチーミング手法ガイド」（以下「本書」）を本日公開しました。

本書は、AIシステムの開発者や提供者が、対象のAIシステムに施したリスクへの対策を、攻撃者の視点から評価するためのレッドチーミング手法に関する基本的な考慮事項を示したものです。レッドチーミングは「攻撃者がどのようにAIシステムを攻撃するかの観点で、AIセーフティへの対応体制及び対策の有効性を確認する評価手法」であり、AIセーフティ評価の手法の一つです。主な想定読者はAI開発者・AI提供者のうち、レッドチーミングの企画・実施に関与する者です。また、システムとしては大規模言語モデル（LLM）を構成要素とするAIシステム（LLMシステム）を対象として記載しています。本書の構成は次のとおりです。