中国の「監視社会化」を考える（4）──市民社会とテクノロジー

第一は、ＡＩのもつデータあるいは判断がもつ「バイアス」に関するものです。たとえば、2015年にGoogleの画像認識サービス（Google Photo）が白人に偏った認識システムを構築したために、アフリカ系アメリカ人の画像を「ゴリラ」とラベル付けしてしまった、という有名な事例があります。このようなバイアスの存在は、マイノリティへの差別を再生産ないし助長してしまう恐れがあります。
　
第二は、ＡＩによるデータの蓄積及び判断が、「セグメント化」、すなわち個々の人間をまず「20代の男性」や「後期高齢者」といったいくつかの「セグメント（共通の属性を持った集団）」として認識することを前提としている──自動運転における犠牲者の回避判断が、「高齢者」「信号を無視した人」「子ども」といったセグメントを前提として行われたように──という点に関わります。このことは、ＡＩの行う「予測」が、セグメントに回収されない個人の特性や潜在能力が十分考慮されないまま行われてしまう、という点で「個人の尊厳」を脅かす可能性があります。

第三は、ＡＩが意思決定を行う際のアルゴリズムがブラックボックス化して、「自分でもわけのわからない理由」によってスコア付けをされたり、行動が制限されたりする、という問題です。これは、これまでもディストピア小説で繰り返し描かれてきたような問題ですが、それだけ、私たちは「わけのわからない理由」にとって自分の行動が決められてしまうことに本能的な警戒感を持っている、と言えそうです。
　
その上で山本さんは、GDRPのような個人データ保護の動きを、AIネットワーク社会と個人の尊重原理との関係を考える上で重要な示唆を含んだ、21世紀の「人権宣言」だとして評価します。彼によればGDPRに関して、個人の尊重原理の観点から特に重要なのは以下の三つの条文になります。
　
一つは、データ主体がプロファイリングに対して異議を唱える権利（21条）。これは、権利が行使された場合、データ管理者は主体の利益などを超える「やむにやまれぬ正当な根拠」を示す必要がある、というものです。これは、ＡＩが示すバイアスによって不当なプロファイリングを受けた個人が、そのことに対して異議申し立てを行う権利だと言えるでしょう。
　
二つ目は、プロファイリングなどの自動処理のみに基づき、データ主体に関する重要な決定を下されない権利（22条）。これは、個人の特性を軽視しがちなAIによる統計的・確率的なセグメント化に基づく判断からの自由を保障し、個人一人一人の評価に時間とコストをかけることを要請する権利です。