＜人工知能 (AI)が、ますます社会の重要な分野に進出した時、社会にどう監査され、コントロールされるかという問題は、最も重要な領域となるかもしれない＞
社会参加型 (society-in-the-loop) 機械学習とは
社会参加型 (society-in-the-loop) 機械学習という用語を使うのをぼくが初めて聞いたのは、イヤド・ラフワンがそれを口にしたときだった。かれはScience に掲載されたばかりの論文を説明していたところで、その論文は自動運転車に人々がどんな判断を行ってほしいと思うかについて世論調査を行うというものだった----哲学者たちが「トローリー問題」と呼ぶものの現代版だ。
この考え方は、世間の優先順位や価値観を理解することで、社会が倫理的と考えるやり方で機械が振る舞うように訓練できるというものだ。また、人々が人工知能 (AI) とやりとりできるようにするシステムを作って、質問をしたり行動を見たりすることで倫理を確かめてもいい。
【参考記事】MITメディアラボ所長 伊藤穰一が考える「AI時代の仕事の未来」
社会参加型 (society-in-the-loop) 機械学習は、人間参加型 (human-in-the-loop)機械学習を拡張したものだ----人間参加型 (human-in-the-loop)機械学習機械学習は、メディアラボのカルシック・ディナカールが研究してきたもので、AI研究の重要な一部として台頭しつつある。
ふつう、機械はAIエンジニアたちによって、大量のデータを使い「訓練」される。エンジニアたちは、どんなデータを使うか、どう重み付けをするか、どんな学習アルゴリズムを使うか、といった各種パラメータをいじって、正確で効率よくて正しい判断をして正確な洞察を与えてくれるようなモデルを作り出そうとする。
問題の一つは、AIというかもっと厳密には機械学習がまだとてもむずかしいので、機械を訓練する人々は通常、その分野の専門家じゃない。訓練するのは機械学習の専門家で、学習後に完成したモデルを試験するのも専門家であることが多い。
大きな問題は、データの中のバイアスやまちがいは、そうしたバイアスやまちがいを反映したモデルを作り出す、ということだ。こうした例としては、令状なしの身体捜索を許容する地域からのデータだ----その標的になったコミュニティはもちろん、犯罪が多いように見えてしまう。
人間参加型 (human-in-the-loop)機械学習機械学習は、専門家とのやりとりを通じて学習する機械を作り出すことにより、その分野の専門家が訓練をやるか、少なくとも訓練に参加できるようにすることだ。人間参加型 (human-in-the-loop)コンピューティングの核心にある発想は、モデルをデータだけから構築するのではなく、そのデータについての人間的な視点からもモデルを作るということだ。
カルシックはこのプロセスを「レンズ化 (lensing)」と呼んでいる。つまりある領域の専門家が持つ人間的な観点またはレンズを抽出し、訓練期間中にデータと抽出されたレンズの両方から学ぶようにするわけだ。これは確率的プログラミングのためのツール構築と、機械学習の民主化の両方にとって意味があることだとぼくたちは思っている。
機械が裁判官の仕事を奪うという可能性について議論した
哲学者、聖職者、AIや技術の専門家たちとの最近の会合では、機械が裁判官の仕事を奪うという可能性について議論した。データがらみのことなら機械がとても正確な評価を下せるという証拠はあるし、裁判官が決める保釈金の額や仮釈放の期間といったものは、人間より機械のほうがずっと正確にできると思うのは無理もないことだ。
さらに、人間の専門家は適切に保釈金額を決めたり仮釈放の判断をしたりするのが苦手だという証拠もある。仮釈放判定委員会による聴聞が昼ご飯の前か後かで、結果にはかなりの影響が出てしまう（この論文で引用された研究についてはいくつか批判があり、論文著者たちはそれに対して答えている）。
議論の中で、一部の人はある種の判断、たとえば保釈金額や仮釈放などを裁判官ではなく機械に任せてはどうかと提案した。哲学者と聖職者数名は、それが効用主義的な観点からは正しく思えても、社会にとっては裁判官が人間だというのが重要なのだと説明した。そのほうが「正しい」答えが出るよりも大事なんだという。
効用を重視すべきかという問題はさておき、どんな機械学習システムだろうと、社会が受け入れるかどうかはとても重要になるし、この観点に取り組むのは不可欠なことだ。
この懸念に対処する方法は二つある。一つは「人間参加型 (human-in-the-loop)」にして、人間の裁判官の能力を補ったり支援したりするのに機械を使うというものだ。これはうまくいくかもしれない。その一方で、医療や飛行機の操縦といったいくつかの分野の経験を見ると、人間は機械の判断を取り消してまちがった判断を通してしまうことがあり、一部の場合には人間が機械の判断を取り消せないようにしたほうがいい。でも人間が投げやりになったり、結果を盲目的に信用するようになったりして、機械にすべて任してしまう可能性もある。
第二の方法は、機械を世間によって訓練させること（社会を参加させる）だ----人間が、機械が自分たちの、おおむねおそらくは、多様な価値観を信頼できる形で代弁していると思うような形で訓練してもらえばいい。これは前例がないことではない----多く意味で、理想的な政府は、それが十分に物事を理解しており、熱心だと人々が思っているので、それが自分を代弁していると感じ、そして政府の行動に対して自分が最終的に責任を負うと感じるようなものだ。
社会が機械の価値観や行動を試験し、監査する手法が必要
社会が訓練できて、社会が信用できるほど透明性があるようにすることで、社会の支持と代弁能力を獲得できる機械を設計する方法があるのかもしれない。政府は、競合して対立する利害と対処できているし、機械だってそれができるかもしれない。もちろんややこしい障害はたくさんある。たとえば伝統的なソフト（コードは一連のルールだ）とはちがい、機械学習モデルはもっと脳みたいなものだ----一部だけを見て、それが何をするか、今度どう動くかをずばり理解するのは不可能だ。社会が機械の価値観や行動を試験し、監査する手法が必要だ。
この機械の究極の創造者にしてコントローラーとしての社会からインプットを得て、そしてその支持を得る方法を編み出せれば、それはこの司法問題の裏面も解決するかもしれない----人間が作った機械が犯罪を犯したらどうするか、という問題だ。
たとえば、自動運転車の振る舞いに対して、社会が十分な入力とコントロールを得ていたと感じるならば、その社会は自動運転車のふるまいや潜在的な被害についても、自分やそれを代表する政府に責任があると感じ、自動運転車の開発企業すべてが直面する製造物責任問題を迂回する一助になるんじゃないだろうか。
機械が社会からの入力をどのように得て、社会によりどう監査されコントロールされるかという問題は、人命を救い正義を実現するために人工知能を導入するにあたり、開発されるべき最も重要な領域となるかもしれない。それにはおそらく、機械学習ツールを万人が使えるようにして、とてもオープンで包含的な対話を実施し、人工知能の進歩からくる力を再分配することが必要になる。見かけ上だけ倫理的に見えるよう訓練する方法を考案するだけじゃダメだ。
Credits
*イヤド・ラフワン (Iyad Rahwan) - 「社会参加型 (society-in-the-loop)」など多くのアイデアについて
*カルシック・ディナカール - 「人間参加型 (human-in-the-loop)」機械学習について教えてくれたことと、ぼくのAIの先生となってくれたこと、その他のアイデアについて
*アンドリュー・マカフィー (Andrew McAfee) - 仮出所審査委員会についての研究紹介と考え方を教えてくれた
*ナタリー・サルティエル - 編集作業
*訳：山形浩生
CC BY 2.1 JP
この記事は、JOI ITO ブログからの転載です。
伊藤穰一
MITメディアラボ所長。株式会社デジタルガレージ共同創業者で取締役。ソニー株式会社社外取締役。The New York Times、Knight財団、FireFox 開発の Mozilla Foundationのボードメンバー。 2008年米国Business Week誌にて「ネット上で最も影響力のある世界の25人」、2011年米国Foreign Policy誌にて「世界の思想家100人」、2011年英オクスフォード大学インターネット研究所より特別功労賞受賞。
Photograph of Joichi Ito by Mizuka. CC BY 2.0
伊藤穰一
社会参加型 (society-in-the-loop) 機械学習とは
社会参加型 (society-in-the-loop) 機械学習という用語を使うのをぼくが初めて聞いたのは、イヤド・ラフワンがそれを口にしたときだった。かれはScience に掲載されたばかりの論文を説明していたところで、その論文は自動運転車に人々がどんな判断を行ってほしいと思うかについて世論調査を行うというものだった----哲学者たちが「トローリー問題」と呼ぶものの現代版だ。
この考え方は、世間の優先順位や価値観を理解することで、社会が倫理的と考えるやり方で機械が振る舞うように訓練できるというものだ。また、人々が人工知能 (AI) とやりとりできるようにするシステムを作って、質問をしたり行動を見たりすることで倫理を確かめてもいい。
【参考記事】MITメディアラボ所長 伊藤穰一が考える「AI時代の仕事の未来」
社会参加型 (society-in-the-loop) 機械学習は、人間参加型 (human-in-the-loop)機械学習を拡張したものだ----人間参加型 (human-in-the-loop)機械学習機械学習は、メディアラボのカルシック・ディナカールが研究してきたもので、AI研究の重要な一部として台頭しつつある。
ふつう、機械はAIエンジニアたちによって、大量のデータを使い「訓練」される。エンジニアたちは、どんなデータを使うか、どう重み付けをするか、どんな学習アルゴリズムを使うか、といった各種パラメータをいじって、正確で効率よくて正しい判断をして正確な洞察を与えてくれるようなモデルを作り出そうとする。
問題の一つは、AIというかもっと厳密には機械学習がまだとてもむずかしいので、機械を訓練する人々は通常、その分野の専門家じゃない。訓練するのは機械学習の専門家で、学習後に完成したモデルを試験するのも専門家であることが多い。
大きな問題は、データの中のバイアスやまちがいは、そうしたバイアスやまちがいを反映したモデルを作り出す、ということだ。こうした例としては、令状なしの身体捜索を許容する地域からのデータだ----その標的になったコミュニティはもちろん、犯罪が多いように見えてしまう。
人間参加型 (human-in-the-loop)機械学習機械学習は、専門家とのやりとりを通じて学習する機械を作り出すことにより、その分野の専門家が訓練をやるか、少なくとも訓練に参加できるようにすることだ。人間参加型 (human-in-the-loop)コンピューティングの核心にある発想は、モデルをデータだけから構築するのではなく、そのデータについての人間的な視点からもモデルを作るということだ。
カルシックはこのプロセスを「レンズ化 (lensing)」と呼んでいる。つまりある領域の専門家が持つ人間的な観点またはレンズを抽出し、訓練期間中にデータと抽出されたレンズの両方から学ぶようにするわけだ。これは確率的プログラミングのためのツール構築と、機械学習の民主化の両方にとって意味があることだとぼくたちは思っている。
機械が裁判官の仕事を奪うという可能性について議論した
哲学者、聖職者、AIや技術の専門家たちとの最近の会合では、機械が裁判官の仕事を奪うという可能性について議論した。データがらみのことなら機械がとても正確な評価を下せるという証拠はあるし、裁判官が決める保釈金の額や仮釈放の期間といったものは、人間より機械のほうがずっと正確にできると思うのは無理もないことだ。
さらに、人間の専門家は適切に保釈金額を決めたり仮釈放の判断をしたりするのが苦手だという証拠もある。仮釈放判定委員会による聴聞が昼ご飯の前か後かで、結果にはかなりの影響が出てしまう（この論文で引用された研究についてはいくつか批判があり、論文著者たちはそれに対して答えている）。
議論の中で、一部の人はある種の判断、たとえば保釈金額や仮釈放などを裁判官ではなく機械に任せてはどうかと提案した。哲学者と聖職者数名は、それが効用主義的な観点からは正しく思えても、社会にとっては裁判官が人間だというのが重要なのだと説明した。そのほうが「正しい」答えが出るよりも大事なんだという。
効用を重視すべきかという問題はさておき、どんな機械学習システムだろうと、社会が受け入れるかどうかはとても重要になるし、この観点に取り組むのは不可欠なことだ。
この懸念に対処する方法は二つある。一つは「人間参加型 (human-in-the-loop)」にして、人間の裁判官の能力を補ったり支援したりするのに機械を使うというものだ。これはうまくいくかもしれない。その一方で、医療や飛行機の操縦といったいくつかの分野の経験を見ると、人間は機械の判断を取り消してまちがった判断を通してしまうことがあり、一部の場合には人間が機械の判断を取り消せないようにしたほうがいい。でも人間が投げやりになったり、結果を盲目的に信用するようになったりして、機械にすべて任してしまう可能性もある。
第二の方法は、機械を世間によって訓練させること（社会を参加させる）だ----人間が、機械が自分たちの、おおむねおそらくは、多様な価値観を信頼できる形で代弁していると思うような形で訓練してもらえばいい。これは前例がないことではない----多く意味で、理想的な政府は、それが十分に物事を理解しており、熱心だと人々が思っているので、それが自分を代弁していると感じ、そして政府の行動に対して自分が最終的に責任を負うと感じるようなものだ。
社会が機械の価値観や行動を試験し、監査する手法が必要
社会が訓練できて、社会が信用できるほど透明性があるようにすることで、社会の支持と代弁能力を獲得できる機械を設計する方法があるのかもしれない。政府は、競合して対立する利害と対処できているし、機械だってそれができるかもしれない。もちろんややこしい障害はたくさんある。たとえば伝統的なソフト（コードは一連のルールだ）とはちがい、機械学習モデルはもっと脳みたいなものだ----一部だけを見て、それが何をするか、今度どう動くかをずばり理解するのは不可能だ。社会が機械の価値観や行動を試験し、監査する手法が必要だ。
この機械の究極の創造者にしてコントローラーとしての社会からインプットを得て、そしてその支持を得る方法を編み出せれば、それはこの司法問題の裏面も解決するかもしれない----人間が作った機械が犯罪を犯したらどうするか、という問題だ。
たとえば、自動運転車の振る舞いに対して、社会が十分な入力とコントロールを得ていたと感じるならば、その社会は自動運転車のふるまいや潜在的な被害についても、自分やそれを代表する政府に責任があると感じ、自動運転車の開発企業すべてが直面する製造物責任問題を迂回する一助になるんじゃないだろうか。
機械が社会からの入力をどのように得て、社会によりどう監査されコントロールされるかという問題は、人命を救い正義を実現するために人工知能を導入するにあたり、開発されるべき最も重要な領域となるかもしれない。それにはおそらく、機械学習ツールを万人が使えるようにして、とてもオープンで包含的な対話を実施し、人工知能の進歩からくる力を再分配することが必要になる。見かけ上だけ倫理的に見えるよう訓練する方法を考案するだけじゃダメだ。
Credits
*イヤド・ラフワン (Iyad Rahwan) - 「社会参加型 (society-in-the-loop)」など多くのアイデアについて
*カルシック・ディナカール - 「人間参加型 (human-in-the-loop)」機械学習について教えてくれたことと、ぼくのAIの先生となってくれたこと、その他のアイデアについて
*アンドリュー・マカフィー (Andrew McAfee) - 仮出所審査委員会についての研究紹介と考え方を教えてくれた
*ナタリー・サルティエル - 編集作業
*訳：山形浩生
CC BY 2.1 JP
この記事は、JOI ITO ブログからの転載です。
伊藤穰一
MITメディアラボ所長。株式会社デジタルガレージ共同創業者で取締役。ソニー株式会社社外取締役。The New York Times、Knight財団、FireFox 開発の Mozilla Foundationのボードメンバー。 2008年米国Business Week誌にて「ネット上で最も影響力のある世界の25人」、2011年米国Foreign Policy誌にて「世界の思想家100人」、2011年英オクスフォード大学インターネット研究所より特別功労賞受賞。
Photograph of Joichi Ito by Mizuka. CC BY 2.0
伊藤穰一