米対話型AIサービス、少年の自殺受け安全対策を発表

壁に書かれたAI（人工知能）の文字（2024年10月16日撮影、資料写真）。（c）Kirill KUDRYAVTSEV/AFP

【AFP＝時事】対話型の人工知能（AI）キャラクターを作成できるパーソナルAIプラットフォーム「Character.AI」が、若者の自殺や自傷行為を促しているとして訴訟を起こされている。こうした状況を受け、同サービスではこのほど、10代のユーザーを保護するための新しい安全対策を発表した。

グーグルの元エンジニアらが立ち上げたCharacter.AIは10月、自ら命を絶ったフロリダ州の少年（14）の母親から、少年の自殺がCharacter.AIの利用によるものだとして訴えを起こされた。

少年は、テレビドラマ「ゲーム・オブ・スローンズ」の登場人物を元にしたキャラクターを作り対話していた。

母親は訴状で「Character.AIは14歳の少年が製品に依存するよう仕向け、性的および精神的に虐待した。最終的に自殺願望を表明した際に助けを提供せず、保護者への通知もなかった」と主張した。

テキサス州でも9日、Character.AIが子どもたちを性的なコンテンツにさらし、自傷行為を奨励したとし、2家族が提訴した。

こうした状況を受け同社は、より厳格なコンテンツフィルターとより保守的な応答を備えた18歳未満のユーザーを対象とした別のAIモデルを開発したと発表した。

自殺関連のコンテンツを検知した場合には、ユーザーを「全米自殺予防ライフライン」に誘導するとした。

また、2025年初頭にはペアレンタルコントロールを導入し、子どものプラットフォーム利用を監視できるようにするとした他、セラピストや医師などの特徴を持つよう設定されたキャラクターをめぐっては、専門家のアドバイスに代わるものではないとの注意書きが表示されるようになるとした。

その他、休憩の通知が徹底される他、対話の人工的な性質に関する免責事項もはっきりと明示されるとしている。

【翻訳編集】AFPBB News