家や職失う｢巨大冤罪｣招いたアルゴリズムの怖さ オランダ政府は激しく非難され､内閣も総辞職

要は、詐欺を疑われた人々のなかで、移民やその子どもたちの割合が不釣り合いに大きかったのだ。その後、2020年の夏にようやく真相が明らかになった。国税関税執行局で使われていたアルゴリズムは、「二重国籍」を詐欺の強力な「リスク要因」とみなしていたのだ。

近年の大規模な詐欺事件で二重国籍者が犯人だった場合が多かったことから、アルゴリズムはそれを「重要な要因」とみなすようになったのかもしれない。

だが、詐欺の犯人に二重国籍者が多かったことを、単なる連想や偶然の一致としてではなくリスク要因として捉えるのは、果たして適切なことなのだろうか。

たとえ、特定の移民コミュニティ内で組織的詐欺の証拠が発見されていたとしても（実際、ブルガリア人に関するそうした例があった）、その国籍であることを理由に犯人だと判断するのは、政治的に慎重な対応とはとてもいえない。

しかも、「二重国籍」という要因はあまりに曖昧なため、現実的に詐欺の犯人かどうかの判断材料にはとうていなりえない。

アルゴリズムが出した結果を見た同局は、オランダ以外の194カ国のいずれかとつながりのある人のほうが、オランダ国籍しかもっていない人より詐欺師になる可能性が高いと、本気で納得したのだろうか。

このアルゴリズムは、完全に自身の裁量に任されていたため、いわばブラックボックスのなかで働いていたようなものだった。もし誰かがときどき箱のふたを開けて、アルゴリズムが何に取り組んでいるのかを確認していたら、問題はもっと早く見つかったかもしれない。

この不祥事で、内閣も総辞職

「児童手当事件（toeslagenaffaire）」として知られるようになった、国税関税執行局によるこの不祥事によって、オランダ政府は10億ユーロ（約1298億円）を超える補償金を払うことになると考えられている。人種差別、人権侵害、市民に対する「前代未聞の不当行為」を行ったとして、政府は激しく非難された。総選挙を2カ月後に控えた2021年1月、この不祥事の責任を取って、首相をはじめ内閣が総辞職した。

確かに、「アルゴリズムは公平な判断に基づいて機能している」「アルゴリズムは監視しなくてもいい」と思ったほうが楽であり、「どのみち高度すぎて、一般の人には理解できないものだ」と考えるのも当然のことだ。

「最初のころは、アルゴリズムは本物の魔法にしか思えない」と、数学者のハンナ・フライは記している。「だが、しだいにその仕組みがわかってくると、謎めいた雰囲気は消え去ってしまう。ほとんどの場合、あの見た目の裏に潜んでいるのは、笑ってしまうほど単純なもの（あるいは不安になるほど無鉄砲なもの）なのだ」。