中国の「監視社会化」を考える（3）──市民社会とテクノロジー

こういった道徳的なジレンマは、吉川浩満さんのという表現を借りると「いわば脳内で義務論的な直観と功利主義的な批判が戦う状況」なのですが、その勝負の帰結は初めから明らかです。「もしゆっくり選べるならのなら批判的な吟味が可能な功利主義的思考が選ばれるだろう」からです（吉川、2018）。

しかし、このことは一つの疑問を私たちに投げかけることになります。功利主義は人間の合理的な思考、すなわちシステム2に基づき道徳的な善悪を判断する思考です。このシステム2は作動するのに大きなコストがかかり、しかも、完全ではありません。だとしたら、いっそのこと初めから人工知能（ＡＩ）に任せてしまった方が、より正しい道徳的判断ができるのではないでしょうか。

図1：Moral Machine実験
図1：Moral Machine実験 Moral Machine（日本語版） http://moralmachine.mit.edu/hl/ja

このような問題意識は、すでに現実のものとなっています。このような「トロッコ問題」に関する思考実験によって得られる知見は、例えば自動運転技術を社会実装する際のアルゴリズム──走行中に障害物に衝突しそうになった時にどのような行動をとるべきか──を決定する際の一つの基準を与えるものとして議論されるようになっています。また、ＭＩＴの研究グループが、こういった自動運転車の思考実験をインターネットを通じて不特定多数の人々を対象に実施したところ、事故によって犠牲になってもよい対象を選ぶ際に「人数」「信号を無視したかどうか」「年齢」「性別」「社会的地位」などの基準のうちどれを重視するかは、地域によって大きな違いがあるという結果も得られています（Edmond et al.,2018）。

このような実験による分析結果のデータをもとに、各国における自動運転のアルゴリズムが決定されるとしたら、それが導入された社会では交通事故の可能性が低くなるだけでなく、仮に事故が起きた時にも「万人に納得がいく」ような形で犠牲者が死んでくれる、すなわちより道徳的なストレスの少ないものになるはずです。そして、道徳的な善悪の基準について帰結的主義を採用する、すなわちある選択肢が望ましいとして、それを実現する手段を問わない功利主義は、このようなAIの判断により次第にストレスが軽減していく社会の変化を、強力に後押しするイデオロギーとなることでしょう。