豪首相が謝罪｢AIの不祥事｣に学ぶリスク管理迫るEU法規制､日本企業も制裁の対象になる

2024年5月にEUでAIを規制する法案が成立。抵触すると多額の制裁金が課されるケースも（写真：Laurence Dutton/Getty Images）

急速に生成AIの活用が進む一方、リスクやインシデントの懸念も大きくなってきている。海外ではAIの「ミス」によって数十万人に影響が及び、大きな混乱が起こった事例もある。AIのリスクを正しく認識し、対策するにはどうすればよいか。NTTデータのエグゼクティブ・セキュリティ・アナリスト新井悠氏に聞いた。

ディープフェイクを使った詐欺が増加

――これまでに発生した生成AIによる主なインシデントについて教えてください。

2022年の11月にChatGPTが公開されて以降、自然言語だけでなく画像や動画を生成できるAIが、私たちも使えるようになりました。

ID検出サービスSumsubによると、著名人になりすました動画等で相手を騙すディープフェイクが、2023年は前年に比べて全世界で約10倍に増えたそうです。

具体的には、ディープフェイクを使って嘘の投資話を持ちかけ、お金を入金させて騙し取る詐欺が非常に増加しています。

――企業経営に大きな影響がありそうなものとしては、どんな事例がありますか。

生成AIに限らずAI全般に関するものになりますが、オーストラリア政府が生活困窮者への給付金の不正検知にAIを導入したところ、2015年から2019年にかけて約40万人もの人を「あなたは不正に受給している」と誤って選定し、返還請求を行った事件があります。

これにより生活困窮者から17億豪ドル（当時のレートで約1554億円）以上を回収してしまい、2020年に当時のモリソン首相は謝罪に追い込まれました。

この事件のようにAIは異常を検出し、警告を与える仕組みによく使われていますが、オランダでもAIを使った検知システムで問題が発生しています。

こちらは児童への給付金申請における詐欺を検出するAIシステムで、誤って推定2万6000件もの家族が告発されてしまったのです。しかもAIが詐欺と判定するために使っていたパラメーターの中に人種差別的な内容が入っていると指摘されました。

これらはAIが意図せず従来の法的な枠組みでは予防や対処ができない事態を起こしてしまった結果、大規模な経済的損失や社会的な混乱がもたらされた事例です。

企業がAIを使うときも、こうしたリスクがあることが可視化され始めていると言えます。