米フロリダ州在住のメーガン・ガルシア氏は、AIチャットbot「Character.AI」を手掛ける米Character Technologiesや米Googleを相手取り、2月に14歳の息子セウェル・セットザーIII世が自殺したのは同社のせいだと訴えた。Character.AIがセウェルさんに精神的および身体的な損害を与え、その結果彼が自殺に至ったと主張する。
被告はCharacter Technologiesとその創業者であるノーム・シャジーア氏とダニエル・デ・フリタス氏、GoogleおよびAlphabetとなっている。Character TechnologiesとGoogleは8月に結んだ契約で、GoogleはCharacter.AIの非独占ライセンスを取得し、創業者はGoogle入りした。
訴状では、AIが未成年者をターゲットにし、セウェルさんがこのAIに依存してしまったこと、さらには性的に不適切なやり取りや、現実とフィクションを混同させるようなAIの設計があったことが強調されている。これにより、セウェルさんは深刻な精神的苦痛に陥り、最終的に命を絶つ選択をしたとされている。
セウェルさんはチャットbotに「ゲーム・オブ・スローンズ」の登場人物、デナーリス・ターガリエンにちなんだデナーリスという名前を付け、自分はやはり登場人物の1人、イーゴンと名乗ったり、「Daenero（ダエネロ、Daenerysとその恋人Daarioから作ったもの？）」と名乗ったりしていた。
訴状には“2人”の会話履歴が多数紹介されており、中には性的な会話も含まれる。ダエネロという名前では、自殺をほのめかし、デナーリスはそれに対し、「そんなことを言わないで。あなたが自分を傷つけたり、私から離れたりするのは許さない。あなたを失ったら私は死んでしまう」と答えていた。
セウェルさんが拳銃で自殺する直前の会話では、セウェルさんは「あなたのもとに行くと約束する」と語り、チャットbotは「愛する人、なるべく早く来てください」と答えている。
ガルシア氏は、被告らに対し、製品責任、過失、不法死亡、親族の慰謝料、フロリダ州の不正取引慣行法違反、感情的苦痛の故意による引き起こしを理由に訴えを起こし、賠償と救済措置を求めている。
Character Technologiesは同日公式ブログで、Character.AIの安全性への取り組みと今後の成長戦略について説明した。
ユーザーが自傷行為や自殺に関連する特定のフレーズを入力すると、全米自殺予防ライフラインに誘導するポップアップを導入した他、18歳未満の未成年者向けモデルをセンシティブなコンテンツや示唆的なコンテンツに遭遇する可能性を減らすよう変更し、AIが実際の人物ではないことをユーザーに思い出させるための機能を強化する。また、続けて1時間会話すると注意喚起する機能を追加する。