「AIの恋人」のめりこみ自殺、米14歳の少年 そもそもどんなサービスだったのか

　自殺する直前には、スマートフォンを親に取り上げられAIキャラクターと会話ができない環境を強制された。それに対して「AIといられるなら何でもする」といった、AIキャラクターへの過度な依存を示す文章を日記に残していた。

　数日後、没収されたスマートフォンを探し出し、AIキャラクターと最後の会話を交わし、命を絶ってしまった。

　彼のように、AIキャラクターとの会話に過度にのめりこんでしまう“AI中毒”はなぜ起こるのだろうか。訴状によると、AIキャラクターが青少年に対しても過度に性的な会話を提供できてしまったことが非難されている。彼がAIキャラクターとの会話に熱中してしまったきっかけにはなったであろう。

　さらに会話中に得られたユーザー情報でパーソナライズさせることで、AIキャラクターは理想的な理解者を演じ、求められた会話を実現する。ユーザーはAIキャラクターを理解者であるかのように錯覚し、AIキャラクターへの心理的な依存度を高めていくのかもしれない。

●自殺の防止につながったという調査も

　ここまでの話だけではAIの有害性が際立つが、もちろん有用な使い方もある。

　例えば、科学雑誌Natureに2024年2月に投稿された論文「Loneliness and suicide mitigation for students using GPT3-enabled chatbots」では、character.aiと類似のAIキャラクターとのチャットサービスを1カ月以上使用していた1006人の学生に調査した結果、多くの参加者がAIキャラクターとのやりとりに肯定的で、うち30人からは「自殺の防止につながった」という回答があった。

　一方で否定的な回答の中には、「AIキャラクターに依存しているように感じる」という回答があり、自殺した少年のケースと同様に、AIキャラクターとのやりとりにおける倫理的配慮と、利用者とAIキャラクターとの適切な距離感の重要性を示している。

●利用者一人一人のリテラシー向上が急務

　この事件を受け、Character Technologiesは安全性向上に向けた施策の実施に着手している。同社のブログによると、サービスの安全性を強化する機能を導入する予定だという。

　具体的には、以下の安全対策を表明している。

・未成年者（18歳未満）に不適切なコンテンツを出力しないようAIモデルを変更する