ある日突然｢サービス遮断｣､クラウドの落とし穴 解決に2カ月､AI自動審査が思わぬネックに？

しかしそこから問題解決に至るまでには、2カ月という長い道のりが残っていた。

判明したアカウント停止の理由

最初にわかったのは、日本における個人向けサービスはアメリカ本社が担っており、日本法人は関わっていないということだった。日本法人は企業向けの事業開発、営業、サポートに特化しており、個人向けグローバルサービスは本社が一括している。クラウドを通じた個人向けのグローバルサービスでは一般的な体制と言える。

そこで本社のサポート部門に確認してもらったところ、教授の問い合わせに対してサポート部門からすぐに返信がなかった理由が判明した。教授のアカウントに同社の倫理規定に抵触するコンテンツが含まれていたことが、アカウント停止の原因だったからだ。

単なる倫理規定違反ならば、まだ交渉の余地はあったかもしれない。しかし抵触していたのは、「CSAM（Child Sexual Abuse Material：児童性的虐待コンテンツ）」と呼ばれる未成年を扱った露骨な性的コンテンツだった。

アメリカではCSAMに該当する写真、動画、コンピュータ生成による画像などのあらゆる映像描写に対する流通防止の義務があり、これは通信事業者においても同じだ。

通信品位法の下、送受信されるコンテンツ内容に関して通信プロバイダの責任が免除されることは広く知られているが、そこには例外的な事例もある。通信プロバイダはCSAMの拡散を防止するため、児童ポルノの流通防止措置を講じることを義務付けられている。

この法律に対応するため、アップルはiCloudに預けられた写真にCSAMが存在しないかをスキャンする機能を開発して話題となった。グーグルは同社のストレージやGmailなどで扱う写真が不適切と判断した場合、予告なくアカウントを凍結することがある。CSAMをサーバーにアップロードしたと判断した場合、無条件でアカウントを凍結するのは、アメリカに拠点を置くすべてのプラットフォームに共通したものと想定すべきだろう。

サポート部門からの応答がなかったのは、明らかにCSAMに違反するコンテンツを取り扱っていたからにほかならなかった。

では教授がCSAMコンテンツを収集、あるいは製作していたのかと言えばそうではない。問題となったのは、彼が大学で関わっていた研究資料の中に含まれていた、半世紀以上前に撮影された日本映画作品だった。

この映像は子どもたちによる大人社会への反乱をスキャンダラスな表現で描いたもので、子どもが無邪気に動物虐待や人種差別、レイプなどを含む強い性的表現を演じるシーンがある。過激表現を含む芸術作品として知られているが、現代的には極めて不適切な表現が多く、CSAMと判断されることは想像に難くない。

コンテンツ内容はAIが日常的に審査