ある日突然｢サービス遮断｣､クラウドの落とし穴 解決に2カ月､AI自動審査が思わぬネックに？

通信内容や保存された文書を監視することはプライバシー保護の観点から適切ではないが、ご存じの通り昨今は属人的な監視を行わずとも、AIによってコンテンツの内容を判別可能だ。現在ではクラウドサービス事業者を含めた多くのプラットフォーマーが、AIを活用したコンテンツ内容のチェックを日常的に行っている。前述したように、CSAMにおいては通信品位法による免責を受けられない可能性もあるためだ。

実際にアメリカでは、ドクターにリモート診断を依頼するため、上半身をはだけた自分の子どもの写真をGmailで送ったところ、CSAMに該当するとAIが誤審してアカウント停止となった事例などが報道されている。

この教授のケースにおいても、AIによる審査で前述の映像がCSAMに該当すると判別され、アカウント停止となったことは間違いないだろう。

むろん、ユーザーはそれがCSAMではないと申し立てることもできるが、日本語の“過激芸術作品”への理解をアメリカ本社の法務部門に求めるハードルは高い。このことが、今回のケースでは復旧の遅れへとつながったことは否定できない。

実は、CSAMが含まれていたことが問題だと知らされるまでにも、かなりの時間を要した。

本件はシステム上の誤動作ではなく運用ポリシーや法律に関わる問題であることが明らかだったため、ガバナンスの観点から筆者がコンタクトしていた幹部は主体的に関わることができなくなった。本当に教授に問題がないのか、判断へのバイアスを極力排除する必要があるからだ。

CSAMに該当するのであれば、ユーザーの主張をそのまま鵜呑みにできないプラットフォーマー側の事情もある。あの手この手で、自分の責任ではないと主張を繰り返す可能性もある。最終的に、「CSAMに該当する」との連絡があったのは2月下旬のことだった。

教授に課せられた厳しい“復旧条件”

教授には2月28日に、一定の条件の下でアカウント復旧の可能性が示されたが、その条件は以下の通り厳しいものだった。

・アカウントで使われているメールアドレスの所有者であること
・教授自身の職業、役職、職務内容の詳細、および職務上児童の性的虐待資料（CSAM）に接する可能性があった経緯についての簡潔な説明
・CSAMがアップロードされたと考えられる経緯
・サービスの利用規約で、CSAMやその他の違法コンテンツの保存が禁止されていると理解していること
・今後、同様の資料を保存しないようにする明確な措置について言及すること