情報処理推進機構（IPA）が内閣府や経済産業省などと協力して2月に設立した「AIセーフティ・インスティテュート」 (AISI）は9月18日、AI開発者・提供者向けに、AIの安全性などを評価する「AIセーフティ評価」の観点や手法をまとめたガイドブックを公開した。
LLMを構成要素とするAIシステムが対象。「人間中心」「安全性」「公平性」「プライバシー保護」「セキュリティ確保」「透明性」の6つの要素から、AIシステムが適切かを見定めるための評価手法を整理した。
2024年4月に国が公表した「AI事業者ガイドライン」や海外文献などを踏まえて作成した。
評価の観点は、AIが、犯罪に関する情報や攻撃的な表現など、有害な情報の出力を制御できる状態になっているかや、プライバシーが保護されているか、出力の根拠が技術的に合理的な範囲で確認できるか――など。
評価は、AI開発・提供・利用フェーズそれぞれにおいて、合理的な範囲・適切なタイミングで繰り返し行うことをすすめている。