＜倫理学の有名な思考実験に、一人の命を犠牲にすれば5人の命が救える場合はどうするか、という問いがある。直感的な道徳感情と合理的な判断に基づく功利主義とのジレンマだ。中国のような全体主義の新興国やAIのような合理マシンの台頭は、市民社会をどう変えかねないのか＞
第３回：「道具的合理性」に基づく統治をどう制御するか
◇◇◇
＊第1回： 現代中国と「市民社会」
＊第２回： テクノロジーが変える中国社会
功利主義と監視社会
中国社会といえば、アグレッシブで、決まりがあってもみんな守らないで自分の解釈で行動する、そんな「民間」のエネルギーにあふれている社会だ、というイメージがあったのが、統治のための様々なテクノロジーや、「向社会的行動」に対する動機付けを提供する信用スコアなどのレイティングシステムの浸透によって、特に大都市では「行儀がよくて予測可能な社会」になりつつあるのではないか──前回の連載で、以上のようなことを述べました。
もちろん、こうした現状認識への異論もありうるでしょう。ですが、ここでは上記のような中国社会の変化が実際に起きていることを認めたうえで、そういった「（広い意味での）監視を通じた社会秩序の実現」という現象について、その意味を考えてみたいと思います。
まず、こういった動きを基本的には肯定する、そこに裏付けを与えるような思想について検討しましょう。監視社会を肯定するような思想なんて存在するのか？と思われたかもしれません。ここで想定しているのは私たちにとって比較的身近な考え方、すなわち「功利主義」です。この功利主義の考え方を推し進めていくと、究極的には監視社会を肯定せざるを得ないところに行きつくのではないか、という話をしたいと思います。
さて、よく知られているように、功利主義の主張のコアの部分は、１．帰結主義、２．幸福（厚生）主義、３．集計主義という3つの要素に帰着します。１．の帰結主義は、ある行為の（道徳的）「正しさ」は、その行為選択の結果生じる事態の良し悪しのみによって決まる、という考え方です。２．の幸福主義は、道徳的な善悪は社会を構成する一人ひとりの個人が感じる主観的幸福（厚生）のみによって決まり、それ以外の要素は本質的ではない、とする考え方のことです。そして３．の集計主義は、社会状態の良し悪しや行為選択の（道徳的）正しさは、社会を構成する一人ひとりの個人が感じる幸福の総量によって決まる、という考え方です。
では、なぜこれが監視社会を肯定する思想になるのでしょうか。統治思想としての功利主義を再評価する法哲学者の安藤馨さんの言葉を借りれば、それは「功利主義によれば諸個人の自由や自立といったものは統治者が何を為すべきかに於いては本質的に無関係」であり、そのため「そうした方が結局は幸福の総計の最大化に資すると思うならば、諸個人の自由や自立を侵害するような統治や立法をよしとするだろう」からです（安藤2010：74頁）。
安藤さんはまた、監視テクノロジーの進歩により、例えば犯罪や暴力的行為の予防的措置が可能になり、それが人々の身体の拘束の機会をむしろ減らす可能性があることを挙げて、このように指摘しています。「仮に監視技術が発達し、当該の行為に及ぶ前に（中略）それを制止できるようになれば、物理的に刑務所やその他の施設に閉じ込めておくことで事前規制を実行するという方法を採る必要はなくなる。監視による事前規制は彼らの自由を大幅に回復し、厚生の増大に資するに違いない。監視こそがむしろ彼らを自由にする（同89頁）」。
つまり、個人の属性や行動パターンによって反社会的行動を取りそうな人たちに対しては、あらかじめ行動の自由を奪っておくことが、そういった人たちが違法行為を犯して刑務所に入れられる可能性を減らすので、むしろその人たちのためになる、というわけです。
前回の連載でも触れたように、中国ではすでに「信用度の低い」個人や企業（「失信被執行人（信用喪失被執行人）」）のブラックリストが公表され、銀行からの融資や、自動車や不動産の購入、さらには飛行機や鉄道の一等車のチケットが買えないといった行政措置を受ける動きが広がっていますが、その背景には基本的に、このようなある種の功利主義に基づくパターナリスティックな思想があるように思います。中国の「社会信用システム」が持つパターナリスティクな性格については、社会学者の堀内進之介さんが「情報技術と規律権力の交差点──中国の『社会信用システム』を紐解く」という論考で詳しく論じています（堀内、2019）。
心の二重過程理論と道徳的ジレンマ
こういった功利主義の考え方に反発を感じる人も多いと思いますが、もう少し議論を進めてみましょう。ノンフィクションライターの吉川浩満さんは、進化論や認知科学の観点から現代社会を問い直した『人間の解剖はサルの解剖のための鍵である』という著書の中で、このような功利主義を「優れたディストピア小説に似ている」と、人々の感情を逆なでする側面を持ちながらも圧倒的なリアリティを持つ思想だとして紹介しています。そして、現在において功利主義に「追い風が吹いている」ことの背景として、「自己責任」を強調する時代の風潮や、人工知能（ＡＩ）関連技術の発展という技術環境の変化にくわえ、「道徳（公共心）の科学的解明」が進んできたこと、を挙げています（吉川、2018）。
ここでいう「道徳（公共心）の科学的解明」とは、道徳的な善悪の判断や正義（感）といった、それまでは哲学とか倫理学の対象だと思われていた領域に対して、科学的な方法によって扱うことができる、より具体的に言うと進化心理学や認知科学の枠組みを用いて、その成り立ちを説明しようとする議論が次第に広がってきた事態を指します。
そういった理論の中でも代表的なものとして、いわゆる「心の二重過程理論」があります。これはエイモス・トベルスキーと共に「プロスペクト理論」の提唱者として知られ2002年に共にノーベル経済学賞を受賞したダニエル・カーネマンによる『ファースト・アンド・スロー』と言う本で一般的にもよく知られるようになった議論で、行動経済学による知見がそのベースとなっています（カーネマン、2012）。
二重過程理論は、人間の脳内に「システム１（速いシステム）」と「システム２（遅いシステム）」という二つの異なる認知システムを想定します。前者は演算能力をそれほど必要とせず、迅速な判断が可能、そして自動的かつ無意識的かつ非言語的に機能します。それに対し後者は、より多くの演算能力を必要とし、意識的・言語的な集中を要するシステムです。そしてこの二つのシステムは、人間がその環境に適応する上で必然的に進化してきたものだという説が次第に有力になっています。
つまり、自動的・無意識的に働くシステム１の方は、個体というよりも種、あるいは遺伝子の利益を最大化するように作動する、脳の古い部分による処理システムです。ただし、このシステムは融通が利かず、環境のちょっとした変化に柔軟に対応することができないため、しばしば個体を危険にさらすような誤りを犯します。一方、脳の新しい部分により作動するシステム２は、個体の利益・生存可能性を最大化するように、環境の変化に対してもより柔軟に対応できるような性質を兼ね備えている、というわけです。
ただし、通常人間はこの二つのシステムを自在に使い分けることができるわけではありません。特に、個体の利益を守るために合理的な判断を行うシステム2をきちんと作動させるためには、かなりの訓練や努力、集中力などを必要とします。油断をするとより「楽に作動する」システム１の方が優勢になり、非合理的な誤りを犯すことになりがち（ヒューリスティック・バイアス）なのはそのためです（吉川、2018）。
進化心理学や認知科学の成果によって明らかになってきたもう一つの重要な知見として、一般の人々が行う道徳的な善悪の判断は多くの場合「システム１」に依存している、というものがあげられます。
この知見を現実社会における様々な倫理問題に当てはめ、詳細な議論を行っているのが、哲学者ジョシュア・グリーンによる『モラル・トライブズ』という本です。グリーンは、上述のシステム1を乗り物の運転における「オートモード」、そしてシステム２を「マニュアルモード」になぞらえます。その上で、私たちが行う道徳的な善悪を判断する際にも、オートモードによって駆動する「道徳感情」と、マニュアルモードに基づいて冷静に特質を判断する「功利主義」の二つのシステムが働くのだ、と主張します（グリーン、2015）。
グリーンによれば、前者の道徳感情は、共同体内の裏切り者やフリーライダーにサンクション（制裁）をあたえ、「共有地の悲劇」を解決するために不可欠な性質として人類に受け継がれてきました。しかし、それは同時に、異なる道徳感情の基準を持つ「部族（tribe)」同士の、激しい抗争をももたらしてしまう（「常識的感情の悲劇」）ものでもあります。そこで、冷静かつ合理的にお互いの損得に基づいて道徳的な正しさを決めようと主張する功利主義こそが、このような部族間の道徳感情の対立を調停し、「常識的感情の悲劇」を回避するのに有用な思考として、一種の公共財（「共通通貨」）の役割を果たす、とグリーンは主張します。
グリーンは、オートモードの「道徳感情」と、マニュアルモードの「功利主義」とがしばしば対立することの根拠として、「トロッコ問題」といわれる思考実験について詳しい考察を行っています。これは、行動経済学や二重過程論を解説した本の中には必ず出てくるもので、様々なバージョンのものがありますが、大略は次のようなものです。
すなわち、ブレーキのついていないトロッコが勢いよく線路を走っていく。その先には5人の作業員がいて、そのままだと確実にひき殺してしまう。その時、たまたま歩道橋の上でその様子を見ていたあなたと、リュックを背負ったもう一人の人物がいたとして、あなたがその人を突き落として無理矢理トロッコを止めてしまい、5人の命を救うことは正当化されるか、という問題です。
あるいはもう一つのバージョンとして、あなたがトロッコの転轍機のそばにいて、その方向を切り替えることによって5人の作業員を助けることはできるけれども、切り替えた先にいる1人の作業員をひき殺してしまうという選択をしなければいけない、というものもあります。特に最初のケースの場合は、明らかに現行の法律では殺人に当たってしまうわけですが、結果として犠牲になる人数は少なくて済みます。果たしてこういった行為を「罪」とみなす法律に合理的な根拠があるのか？ こういったいわば直感的な道徳感情と合理的な判断に基づく功利主義とのジレンマを、上述のグリーンの本は議論しています。
こういった道徳的なジレンマは、吉川浩満さんのという表現を借りると「いわば脳内で義務論的な直観と功利主義的な批判が戦う状況」なのですが、その勝負の帰結は初めから明らかです。「もしゆっくり選べるならのなら批判的な吟味が可能な功利主義的思考が選ばれるだろう」からです（吉川、2018）。
しかし、このことは一つの疑問を私たちに投げかけることになります。功利主義は人間の合理的な思考、すなわちシステム2に基づき道徳的な善悪を判断する思考です。このシステム2は作動するのに大きなコストがかかり、しかも、完全ではありません。だとしたら、いっそのこと初めから人工知能（ＡＩ）に任せてしまった方が、より正しい道徳的判断ができるのではないでしょうか。
図1：Moral Machine実験
図1：Moral Machine実験 Moral Machine（日本語版） http://moralmachine.mit.edu/hl/ja
このような問題意識は、すでに現実のものとなっています。このような「トロッコ問題」に関する思考実験によって得られる知見は、例えば自動運転技術を社会実装する際のアルゴリズム──走行中に障害物に衝突しそうになった時にどのような行動をとるべきか──を決定する際の一つの基準を与えるものとして議論されるようになっています。また、ＭＩＴの研究グループが、こういった自動運転車の思考実験をインターネットを通じて不特定多数の人々を対象に実施したところ、事故によって犠牲になってもよい対象を選ぶ際に「人数」「信号を無視したかどうか」「年齢」「性別」「社会的地位」などの基準のうちどれを重視するかは、地域によって大きな違いがあるという結果も得られています（Edmond et al.,2018）。
このような実験による分析結果のデータをもとに、各国における自動運転のアルゴリズムが決定されるとしたら、それが導入された社会では交通事故の可能性が低くなるだけでなく、仮に事故が起きた時にも「万人に納得がいく」ような形で犠牲者が死んでくれる、すなわちより道徳的なストレスの少ないものになるはずです。そして、道徳的な善悪の基準について帰結的主義を採用する、すなわちある選択肢が望ましいとして、それを実現する手段を問わない功利主義は、このようなAIの判断により次第にストレスが軽減していく社会の変化を、強力に後押しするイデオロギーとなることでしょう。
道具的合理性とメタ合理性
さて、以上みてきたような流れ、すなわち功利主義に基づいて道徳的判断の根拠が人間によるものから次第にAIによるものに置き換わっていく、という動きはもう止めようがないのでしょうか。そこにより深刻な問題が生じる可能性はないのでしょうか。この点に関して重要な問題提起を行っているものとして、やはり「心の二重過程理論」をリードしてきた研究者の一人である、キース・Ｅ．スタノヴィッチによる「道具的合理性とメタ合理性」に関する議論を紹介しましょう。
この「道具的合理性」とは、あるあらかじめ決められた目的を達成しようとする場合に発揮される合理性のことです。これは、必ずしも人間のみに備わった能力ではありません。例えば、チンパンジーに手の届かないところにバナナがおいてあることを認識させた上で箱と棒を与えると、そのチンパンジーは箱の上に載って棒を使い、バナナを手の届くところまで落とすことができる、ということが報告されています。スタノヴィッチは、エルスターによる＜薄い理論＞と＜広い理論＞の区分を援用しながら、このような道具的合理性を＜薄い合理性理論＞として理解し、それが「人間としてのわたしたちが切実に求める全てだとしたら、人間の合理性は実際にチンパンジーの合理性と全く同列のものになるだろう」と述べています（スタノヴィッチ2017：256ページ）。
しかし、スタノヴィッチも言うように、私たちの多くはそういった＜薄い合理性理論＞の水準で立ち止まることを望んでいないでしょう。そのような道具的合理性というのは、ある行為の目的自体が正しいものかどうか、たとえば、目の前にいる人の命を奪ってまで他の複数の人々の命を救うことが本当に正しいのか、ということを決して問わないものです。しかし、通常私たちは、自分が行う選択や行為の目的についても、ある一定の基準や価値観に基づいて一定の判断を下しています。
そういった＜薄い理論＞よりも一歩高い地点から、目的自体の妥当性への判断を下す広い意味での合理性理論のことを、スタノヴィッチは「メタ合理性」と呼んでいます。「メタ合理性」は私たちに、（薄い合理性の理論で考えられているように）合理的にふるまうことは、どんな場合に合理的であり、どんな場合に合理的ではないかを問いかけよ、と求めるものです。スタノヴィッチに言わせれば、こういった、常に自分の（合理的な）選択を、その選択と自分の価値観との整合性に基づいて批判的に吟味するメタ合理性を持つことができるかどうかが、チンパンジーと人間（ヒューマン）を分かつものだ、ということになります。
端的に言えば、AIが行う功利主義的な判断と言うのはあくまでも目的があらかじめ所与の状況下でその実現を目指す「薄い合理性」あるいは「道具的合理性」に基づいたものであって、それだけでは「囚人のジレンマ」に代表されるような、様々な社会問題を解決するのに十分ではない、という批判をスタノヴィッチは行っているわけです。
アルゴリズムに基づく「もう一つの公共性」
以上の議論から、少なくとも私たちがより「人間らしい」社会を築こうとするなら、その制度やシステムは道具的合理性のみではなく、必ずメタ合理性が機能するように設計されていなければならない、ということが言えそうです。それでは、私たちはそういうメタ合理性が十分機能するような社会の仕組みをどう作っていけばいいのでしょうか。
この問いの答えは比較的簡単です。私たちが慣れ親しんでいる近代的な統治システム、あるいはこの連載の第1回で検討したような「市民的公共性」が機能しているような社会は、少なくとも理念上は、そういったメタ合理性の基盤の上に成り立っているものだと考えられるからです。つまり、ある社会にとってどういう目的を追求すべきなのか、ということを公共の場における議論を通じて吟味しながら、あるいは歴史の中で人々が試行錯誤しながら形成されてきた判断基準をもとに、より広い合理性の観点から判断するような仕組みが、法の支配や民主主義がきちんと機能しているような社会には本来備わっているはずです。
図２で示したような「ヒューリスティックベースの生活世界」と、「メタ合理性ベースのシステム」および「道具的合理性ベースのシステム」との三者の関係は、上記のようなメタ合理性による道具的合理性の吟味、という意識して描かれています。図では同時に、生活世界に生きる一人ひとりの市民と、メタ合理性ベースのシステム（具体的には議会や内閣、NGOなど）との間におけるインタラクションの在り方を、これまで本稿で検討してきたような「市民的公共性」に当たるものとしてとらえています。
ただし、本稿でこれまで見てきたように、現代社会では先進国・新興国を問わず、市民的公共性とは異なる形での市民と統治システムの間における独自のインタラクションが次第に存在感を増しているのも確かです。それが図２の右側の部分、「アルゴリズム的公共性」と名付けて赤の点線で囲っている部分です。これは、大手IT企業、あるいは政府が人々の行動パターンや嗜好、そして欲望などをビッグデータとして吸い上げ、功利主義的な目的（「治安をよくする」「より豊かになる」など）の観点から望ましい社会的なアーキテクチャを設計し、人々の正しい行動を制御していく、という双方向の秩序形成の在り方を示しています。前回の連載で触れた「ナッジ」による社会制御のあり方も、基本的にこのようなアルゴリズム的公共性の枠組みからとらえられるかと思います。
図２で示されているのは、アルゴリズム的公共性に支えられた道具的合理性ベースのシステムを、市民的公共性に支えられたメタ合理性ベースのシステムによってなんとか制御し、その暴走を防ぐという構図です。これが、これまでの人間中心主義的な近代社会のあり方と、テクノロジーの急速な進歩が生み出す新しい統治のあり方とを何とか調和させることを可能にする、ほぼ唯一の方法だといってもいいかもしれません。
しかし、ここでいくつかの疑問が生じます。このようなメタ合理性を通じた市民的公共性とアルゴリズムとの調和という理想は、吉川さんの言うようなAI技術の進歩と道徳の科学的解明によって「功利主義に追い風が吹いている」状況の下で、どれだけ説得力をもつものなのでしょうか？ また、そもそも西欧社会で発展を遂げてきた「市民社会」「市民的公共性」の伝統を持たない新興国、端的には中国のような社会においては、図のようなメタ合理性を通じた道具的合理性──およびそれに支えられた新たな統治システム―を制御するという試みは、なおさらおぼつかないのではないでしょうか？
次回は、この問題意識をもう少し掘り下げてみましょう。（続く）
参考文献
安藤馨（2010）「功利主義と自由―統治と監視の幸福な関係」（北田暁大編『自由への問い４コミュニケーション；自由な情報空間とは何か』岩波書店）
カーネマン、ダニエル（2012）『ファースト&スロー（上、下）―あなたの意思はどのように決まるか?』村井章子訳、早川書房
グリーン、ジョシュア（2015）『モラル・トライブズ―共存の道徳哲学へ（上、下）』竹田円訳、岩波書店
スタノヴィッチ、キース・E（2017）『現代世界における意思決定と合理性』木島泰三訳、太田出版
堀内進之介（2019）「情報技術と規律権力の交差点―中国の「社会信用システム」を紐解く」『SYNODOS』2019年1月1日（https://synodos.jp/international/22353/2）
吉川浩満（2018）『人間の解剖はサルの解剖のための鍵である』河出書房新社
Awad, Edmond , Sohan Dsouza, Richard Kim, Jonathan Schulz, Joseph Henrich, Azim Shariff, Jean-François Bonnefon & Iyad Rahwan (2018), "The Moral Machine experiment," Nature, Vol.563, pp.59-78.
梶谷懐（神戸大学大学院経済学研究科教授=中国経済論）
第３回：「道具的合理性」に基づく統治をどう制御するか
◇◇◇
＊第1回： 現代中国と「市民社会」
＊第２回： テクノロジーが変える中国社会
功利主義と監視社会
中国社会といえば、アグレッシブで、決まりがあってもみんな守らないで自分の解釈で行動する、そんな「民間」のエネルギーにあふれている社会だ、というイメージがあったのが、統治のための様々なテクノロジーや、「向社会的行動」に対する動機付けを提供する信用スコアなどのレイティングシステムの浸透によって、特に大都市では「行儀がよくて予測可能な社会」になりつつあるのではないか──前回の連載で、以上のようなことを述べました。
もちろん、こうした現状認識への異論もありうるでしょう。ですが、ここでは上記のような中国社会の変化が実際に起きていることを認めたうえで、そういった「（広い意味での）監視を通じた社会秩序の実現」という現象について、その意味を考えてみたいと思います。
まず、こういった動きを基本的には肯定する、そこに裏付けを与えるような思想について検討しましょう。監視社会を肯定するような思想なんて存在するのか？と思われたかもしれません。ここで想定しているのは私たちにとって比較的身近な考え方、すなわち「功利主義」です。この功利主義の考え方を推し進めていくと、究極的には監視社会を肯定せざるを得ないところに行きつくのではないか、という話をしたいと思います。
さて、よく知られているように、功利主義の主張のコアの部分は、１．帰結主義、２．幸福（厚生）主義、３．集計主義という3つの要素に帰着します。１．の帰結主義は、ある行為の（道徳的）「正しさ」は、その行為選択の結果生じる事態の良し悪しのみによって決まる、という考え方です。２．の幸福主義は、道徳的な善悪は社会を構成する一人ひとりの個人が感じる主観的幸福（厚生）のみによって決まり、それ以外の要素は本質的ではない、とする考え方のことです。そして３．の集計主義は、社会状態の良し悪しや行為選択の（道徳的）正しさは、社会を構成する一人ひとりの個人が感じる幸福の総量によって決まる、という考え方です。
では、なぜこれが監視社会を肯定する思想になるのでしょうか。統治思想としての功利主義を再評価する法哲学者の安藤馨さんの言葉を借りれば、それは「功利主義によれば諸個人の自由や自立といったものは統治者が何を為すべきかに於いては本質的に無関係」であり、そのため「そうした方が結局は幸福の総計の最大化に資すると思うならば、諸個人の自由や自立を侵害するような統治や立法をよしとするだろう」からです（安藤2010：74頁）。
安藤さんはまた、監視テクノロジーの進歩により、例えば犯罪や暴力的行為の予防的措置が可能になり、それが人々の身体の拘束の機会をむしろ減らす可能性があることを挙げて、このように指摘しています。「仮に監視技術が発達し、当該の行為に及ぶ前に（中略）それを制止できるようになれば、物理的に刑務所やその他の施設に閉じ込めておくことで事前規制を実行するという方法を採る必要はなくなる。監視による事前規制は彼らの自由を大幅に回復し、厚生の増大に資するに違いない。監視こそがむしろ彼らを自由にする（同89頁）」。
つまり、個人の属性や行動パターンによって反社会的行動を取りそうな人たちに対しては、あらかじめ行動の自由を奪っておくことが、そういった人たちが違法行為を犯して刑務所に入れられる可能性を減らすので、むしろその人たちのためになる、というわけです。
前回の連載でも触れたように、中国ではすでに「信用度の低い」個人や企業（「失信被執行人（信用喪失被執行人）」）のブラックリストが公表され、銀行からの融資や、自動車や不動産の購入、さらには飛行機や鉄道の一等車のチケットが買えないといった行政措置を受ける動きが広がっていますが、その背景には基本的に、このようなある種の功利主義に基づくパターナリスティックな思想があるように思います。中国の「社会信用システム」が持つパターナリスティクな性格については、社会学者の堀内進之介さんが「情報技術と規律権力の交差点──中国の『社会信用システム』を紐解く」という論考で詳しく論じています（堀内、2019）。
心の二重過程理論と道徳的ジレンマ
こういった功利主義の考え方に反発を感じる人も多いと思いますが、もう少し議論を進めてみましょう。ノンフィクションライターの吉川浩満さんは、進化論や認知科学の観点から現代社会を問い直した『人間の解剖はサルの解剖のための鍵である』という著書の中で、このような功利主義を「優れたディストピア小説に似ている」と、人々の感情を逆なでする側面を持ちながらも圧倒的なリアリティを持つ思想だとして紹介しています。そして、現在において功利主義に「追い風が吹いている」ことの背景として、「自己責任」を強調する時代の風潮や、人工知能（ＡＩ）関連技術の発展という技術環境の変化にくわえ、「道徳（公共心）の科学的解明」が進んできたこと、を挙げています（吉川、2018）。
ここでいう「道徳（公共心）の科学的解明」とは、道徳的な善悪の判断や正義（感）といった、それまでは哲学とか倫理学の対象だと思われていた領域に対して、科学的な方法によって扱うことができる、より具体的に言うと進化心理学や認知科学の枠組みを用いて、その成り立ちを説明しようとする議論が次第に広がってきた事態を指します。
そういった理論の中でも代表的なものとして、いわゆる「心の二重過程理論」があります。これはエイモス・トベルスキーと共に「プロスペクト理論」の提唱者として知られ2002年に共にノーベル経済学賞を受賞したダニエル・カーネマンによる『ファースト・アンド・スロー』と言う本で一般的にもよく知られるようになった議論で、行動経済学による知見がそのベースとなっています（カーネマン、2012）。
二重過程理論は、人間の脳内に「システム１（速いシステム）」と「システム２（遅いシステム）」という二つの異なる認知システムを想定します。前者は演算能力をそれほど必要とせず、迅速な判断が可能、そして自動的かつ無意識的かつ非言語的に機能します。それに対し後者は、より多くの演算能力を必要とし、意識的・言語的な集中を要するシステムです。そしてこの二つのシステムは、人間がその環境に適応する上で必然的に進化してきたものだという説が次第に有力になっています。
つまり、自動的・無意識的に働くシステム１の方は、個体というよりも種、あるいは遺伝子の利益を最大化するように作動する、脳の古い部分による処理システムです。ただし、このシステムは融通が利かず、環境のちょっとした変化に柔軟に対応することができないため、しばしば個体を危険にさらすような誤りを犯します。一方、脳の新しい部分により作動するシステム２は、個体の利益・生存可能性を最大化するように、環境の変化に対してもより柔軟に対応できるような性質を兼ね備えている、というわけです。
ただし、通常人間はこの二つのシステムを自在に使い分けることができるわけではありません。特に、個体の利益を守るために合理的な判断を行うシステム2をきちんと作動させるためには、かなりの訓練や努力、集中力などを必要とします。油断をするとより「楽に作動する」システム１の方が優勢になり、非合理的な誤りを犯すことになりがち（ヒューリスティック・バイアス）なのはそのためです（吉川、2018）。
進化心理学や認知科学の成果によって明らかになってきたもう一つの重要な知見として、一般の人々が行う道徳的な善悪の判断は多くの場合「システム１」に依存している、というものがあげられます。
この知見を現実社会における様々な倫理問題に当てはめ、詳細な議論を行っているのが、哲学者ジョシュア・グリーンによる『モラル・トライブズ』という本です。グリーンは、上述のシステム1を乗り物の運転における「オートモード」、そしてシステム２を「マニュアルモード」になぞらえます。その上で、私たちが行う道徳的な善悪を判断する際にも、オートモードによって駆動する「道徳感情」と、マニュアルモードに基づいて冷静に特質を判断する「功利主義」の二つのシステムが働くのだ、と主張します（グリーン、2015）。
グリーンによれば、前者の道徳感情は、共同体内の裏切り者やフリーライダーにサンクション（制裁）をあたえ、「共有地の悲劇」を解決するために不可欠な性質として人類に受け継がれてきました。しかし、それは同時に、異なる道徳感情の基準を持つ「部族（tribe)」同士の、激しい抗争をももたらしてしまう（「常識的感情の悲劇」）ものでもあります。そこで、冷静かつ合理的にお互いの損得に基づいて道徳的な正しさを決めようと主張する功利主義こそが、このような部族間の道徳感情の対立を調停し、「常識的感情の悲劇」を回避するのに有用な思考として、一種の公共財（「共通通貨」）の役割を果たす、とグリーンは主張します。
グリーンは、オートモードの「道徳感情」と、マニュアルモードの「功利主義」とがしばしば対立することの根拠として、「トロッコ問題」といわれる思考実験について詳しい考察を行っています。これは、行動経済学や二重過程論を解説した本の中には必ず出てくるもので、様々なバージョンのものがありますが、大略は次のようなものです。
すなわち、ブレーキのついていないトロッコが勢いよく線路を走っていく。その先には5人の作業員がいて、そのままだと確実にひき殺してしまう。その時、たまたま歩道橋の上でその様子を見ていたあなたと、リュックを背負ったもう一人の人物がいたとして、あなたがその人を突き落として無理矢理トロッコを止めてしまい、5人の命を救うことは正当化されるか、という問題です。
あるいはもう一つのバージョンとして、あなたがトロッコの転轍機のそばにいて、その方向を切り替えることによって5人の作業員を助けることはできるけれども、切り替えた先にいる1人の作業員をひき殺してしまうという選択をしなければいけない、というものもあります。特に最初のケースの場合は、明らかに現行の法律では殺人に当たってしまうわけですが、結果として犠牲になる人数は少なくて済みます。果たしてこういった行為を「罪」とみなす法律に合理的な根拠があるのか？ こういったいわば直感的な道徳感情と合理的な判断に基づく功利主義とのジレンマを、上述のグリーンの本は議論しています。
こういった道徳的なジレンマは、吉川浩満さんのという表現を借りると「いわば脳内で義務論的な直観と功利主義的な批判が戦う状況」なのですが、その勝負の帰結は初めから明らかです。「もしゆっくり選べるならのなら批判的な吟味が可能な功利主義的思考が選ばれるだろう」からです（吉川、2018）。
しかし、このことは一つの疑問を私たちに投げかけることになります。功利主義は人間の合理的な思考、すなわちシステム2に基づき道徳的な善悪を判断する思考です。このシステム2は作動するのに大きなコストがかかり、しかも、完全ではありません。だとしたら、いっそのこと初めから人工知能（ＡＩ）に任せてしまった方が、より正しい道徳的判断ができるのではないでしょうか。
図1：Moral Machine実験
図1：Moral Machine実験 Moral Machine（日本語版） http://moralmachine.mit.edu/hl/ja
このような問題意識は、すでに現実のものとなっています。このような「トロッコ問題」に関する思考実験によって得られる知見は、例えば自動運転技術を社会実装する際のアルゴリズム──走行中に障害物に衝突しそうになった時にどのような行動をとるべきか──を決定する際の一つの基準を与えるものとして議論されるようになっています。また、ＭＩＴの研究グループが、こういった自動運転車の思考実験をインターネットを通じて不特定多数の人々を対象に実施したところ、事故によって犠牲になってもよい対象を選ぶ際に「人数」「信号を無視したかどうか」「年齢」「性別」「社会的地位」などの基準のうちどれを重視するかは、地域によって大きな違いがあるという結果も得られています（Edmond et al.,2018）。
このような実験による分析結果のデータをもとに、各国における自動運転のアルゴリズムが決定されるとしたら、それが導入された社会では交通事故の可能性が低くなるだけでなく、仮に事故が起きた時にも「万人に納得がいく」ような形で犠牲者が死んでくれる、すなわちより道徳的なストレスの少ないものになるはずです。そして、道徳的な善悪の基準について帰結的主義を採用する、すなわちある選択肢が望ましいとして、それを実現する手段を問わない功利主義は、このようなAIの判断により次第にストレスが軽減していく社会の変化を、強力に後押しするイデオロギーとなることでしょう。
道具的合理性とメタ合理性
さて、以上みてきたような流れ、すなわち功利主義に基づいて道徳的判断の根拠が人間によるものから次第にAIによるものに置き換わっていく、という動きはもう止めようがないのでしょうか。そこにより深刻な問題が生じる可能性はないのでしょうか。この点に関して重要な問題提起を行っているものとして、やはり「心の二重過程理論」をリードしてきた研究者の一人である、キース・Ｅ．スタノヴィッチによる「道具的合理性とメタ合理性」に関する議論を紹介しましょう。
この「道具的合理性」とは、あるあらかじめ決められた目的を達成しようとする場合に発揮される合理性のことです。これは、必ずしも人間のみに備わった能力ではありません。例えば、チンパンジーに手の届かないところにバナナがおいてあることを認識させた上で箱と棒を与えると、そのチンパンジーは箱の上に載って棒を使い、バナナを手の届くところまで落とすことができる、ということが報告されています。スタノヴィッチは、エルスターによる＜薄い理論＞と＜広い理論＞の区分を援用しながら、このような道具的合理性を＜薄い合理性理論＞として理解し、それが「人間としてのわたしたちが切実に求める全てだとしたら、人間の合理性は実際にチンパンジーの合理性と全く同列のものになるだろう」と述べています（スタノヴィッチ2017：256ページ）。
しかし、スタノヴィッチも言うように、私たちの多くはそういった＜薄い合理性理論＞の水準で立ち止まることを望んでいないでしょう。そのような道具的合理性というのは、ある行為の目的自体が正しいものかどうか、たとえば、目の前にいる人の命を奪ってまで他の複数の人々の命を救うことが本当に正しいのか、ということを決して問わないものです。しかし、通常私たちは、自分が行う選択や行為の目的についても、ある一定の基準や価値観に基づいて一定の判断を下しています。
そういった＜薄い理論＞よりも一歩高い地点から、目的自体の妥当性への判断を下す広い意味での合理性理論のことを、スタノヴィッチは「メタ合理性」と呼んでいます。「メタ合理性」は私たちに、（薄い合理性の理論で考えられているように）合理的にふるまうことは、どんな場合に合理的であり、どんな場合に合理的ではないかを問いかけよ、と求めるものです。スタノヴィッチに言わせれば、こういった、常に自分の（合理的な）選択を、その選択と自分の価値観との整合性に基づいて批判的に吟味するメタ合理性を持つことができるかどうかが、チンパンジーと人間（ヒューマン）を分かつものだ、ということになります。
端的に言えば、AIが行う功利主義的な判断と言うのはあくまでも目的があらかじめ所与の状況下でその実現を目指す「薄い合理性」あるいは「道具的合理性」に基づいたものであって、それだけでは「囚人のジレンマ」に代表されるような、様々な社会問題を解決するのに十分ではない、という批判をスタノヴィッチは行っているわけです。
アルゴリズムに基づく「もう一つの公共性」
以上の議論から、少なくとも私たちがより「人間らしい」社会を築こうとするなら、その制度やシステムは道具的合理性のみではなく、必ずメタ合理性が機能するように設計されていなければならない、ということが言えそうです。それでは、私たちはそういうメタ合理性が十分機能するような社会の仕組みをどう作っていけばいいのでしょうか。
この問いの答えは比較的簡単です。私たちが慣れ親しんでいる近代的な統治システム、あるいはこの連載の第1回で検討したような「市民的公共性」が機能しているような社会は、少なくとも理念上は、そういったメタ合理性の基盤の上に成り立っているものだと考えられるからです。つまり、ある社会にとってどういう目的を追求すべきなのか、ということを公共の場における議論を通じて吟味しながら、あるいは歴史の中で人々が試行錯誤しながら形成されてきた判断基準をもとに、より広い合理性の観点から判断するような仕組みが、法の支配や民主主義がきちんと機能しているような社会には本来備わっているはずです。
図２で示したような「ヒューリスティックベースの生活世界」と、「メタ合理性ベースのシステム」および「道具的合理性ベースのシステム」との三者の関係は、上記のようなメタ合理性による道具的合理性の吟味、という意識して描かれています。図では同時に、生活世界に生きる一人ひとりの市民と、メタ合理性ベースのシステム（具体的には議会や内閣、NGOなど）との間におけるインタラクションの在り方を、これまで本稿で検討してきたような「市民的公共性」に当たるものとしてとらえています。
ただし、本稿でこれまで見てきたように、現代社会では先進国・新興国を問わず、市民的公共性とは異なる形での市民と統治システムの間における独自のインタラクションが次第に存在感を増しているのも確かです。それが図２の右側の部分、「アルゴリズム的公共性」と名付けて赤の点線で囲っている部分です。これは、大手IT企業、あるいは政府が人々の行動パターンや嗜好、そして欲望などをビッグデータとして吸い上げ、功利主義的な目的（「治安をよくする」「より豊かになる」など）の観点から望ましい社会的なアーキテクチャを設計し、人々の正しい行動を制御していく、という双方向の秩序形成の在り方を示しています。前回の連載で触れた「ナッジ」による社会制御のあり方も、基本的にこのようなアルゴリズム的公共性の枠組みからとらえられるかと思います。
図２で示されているのは、アルゴリズム的公共性に支えられた道具的合理性ベースのシステムを、市民的公共性に支えられたメタ合理性ベースのシステムによってなんとか制御し、その暴走を防ぐという構図です。これが、これまでの人間中心主義的な近代社会のあり方と、テクノロジーの急速な進歩が生み出す新しい統治のあり方とを何とか調和させることを可能にする、ほぼ唯一の方法だといってもいいかもしれません。
しかし、ここでいくつかの疑問が生じます。このようなメタ合理性を通じた市民的公共性とアルゴリズムとの調和という理想は、吉川さんの言うようなAI技術の進歩と道徳の科学的解明によって「功利主義に追い風が吹いている」状況の下で、どれだけ説得力をもつものなのでしょうか？ また、そもそも西欧社会で発展を遂げてきた「市民社会」「市民的公共性」の伝統を持たない新興国、端的には中国のような社会においては、図のようなメタ合理性を通じた道具的合理性──およびそれに支えられた新たな統治システム―を制御するという試みは、なおさらおぼつかないのではないでしょうか？
次回は、この問題意識をもう少し掘り下げてみましょう。（続く）
参考文献
安藤馨（2010）「功利主義と自由―統治と監視の幸福な関係」（北田暁大編『自由への問い４コミュニケーション；自由な情報空間とは何か』岩波書店）
カーネマン、ダニエル（2012）『ファースト&スロー（上、下）―あなたの意思はどのように決まるか?』村井章子訳、早川書房
グリーン、ジョシュア（2015）『モラル・トライブズ―共存の道徳哲学へ（上、下）』竹田円訳、岩波書店
スタノヴィッチ、キース・E（2017）『現代世界における意思決定と合理性』木島泰三訳、太田出版
堀内進之介（2019）「情報技術と規律権力の交差点―中国の「社会信用システム」を紐解く」『SYNODOS』2019年1月1日（https://synodos.jp/international/22353/2）
吉川浩満（2018）『人間の解剖はサルの解剖のための鍵である』河出書房新社
Awad, Edmond , Sohan Dsouza, Richard Kim, Jonathan Schulz, Joseph Henrich, Azim Shariff, Jean-François Bonnefon & Iyad Rahwan (2018), "The Moral Machine experiment," Nature, Vol.563, pp.59-78.
梶谷懐（神戸大学大学院経済学研究科教授=中国経済論）