なぜAIは女性の人事評価を低く見積もってしまうのか

※写真はイメージです - 写真＝iStock.com／Vertigo3d

AIが人類の生活や安全を脅かす日は来るのだろうか。AIに詳しい作家の川添愛氏はAIの裏側にある“人間の側の問題”を指摘し「機械が言葉を扱う能力を正しく評価する必要がある」という——。（第1回／全2回）

※本稿は、川添愛『ヒトの言葉　機械の言葉』（角川新書）の一部を再編集したものです。

■「人間の言葉」を話せるようになったか

普段の生活の中で、機械が発する言葉を聞くのは珍しくありません。

留守番電話の「お預かりしているメッセージは『いっ』件です」や、駅の自動券売機でおつりが出たときにしつこく言われる「おつりをお取りください」などは、よく耳にする機械の言葉です。しかし、留守電や券売機の発する言葉を聞いて、「機械が自ら言葉を話している」と思う人はほとんどいないのではないでしょうか。

他方、スマートフォンやスマートスピーカーなどが発する言葉はどうでしょう。

そういった機器は現在、AI（人工知能）技術の発達のおかげで、私たちが発する音声をほぼ正確に認識し、私たちの話す内容に応じてかなり柔軟な反応をするようになっています。まるで人間がするような応答を聞いて、「AIは人間並みに言葉を理解し、話せるようになったのだ」と思っている人も多いかもしれません。そういった応答をする機械が人間に近い姿をしている場合は、さらにそのような印象は強まることでしょう。

第三次人工知能ブームが始まって以来、たびたびAIの脅威が囁かれるようになりましたが、そのきっかけが「AIの言葉」であることも少なくありません。2016年には、香港の企業が開発したソフィアというロボットが「人類を滅ぼす」と発言して話題になりました。

■AIは人類の敵なのか

また2017年には、「Facebook社が開発中のAIが人間にとって意味の分からない独自の言語を発明し、AIどうしで勝手にコミュニケーションを始めたため、開発者たちが機械を緊急停止した」と報じられました。

そのときは「これらのAIは人間をどうやって滅ぼすか相談していたのではないか？」といった憶測や、「SFの世界が現実になった、興奮する」「AIがせっかく新しい言語を発明したのに、なぜそれを解読せずに機械を止めてしまったのか。もったいない」などといった意見がありました。

実際のところ、今のAIは、人間と同じように言葉を理解したり、話したりしているわけではありません。「人類を滅ぼす」と言ったロボットについては詳細が明かされていませんが、このロボットが会話を「学習」するときに使われたデータの中にそのような言い回しが多数あったとする見方が一般的です（「学習」というのは「機械学習」のことです）。

またFacebook社の「独自言語を開発したAI」については、同社が後に正式に「（AIが）人間に何かを隠すような意図をもったというのは、全くクレイジーな狂言だといえる」と表明し、AIが独自言語を創り出したという報道を否定しています。

■まだ人間の「言葉」も解明できていない

よって、これらの事例から「AIがついに言葉を理解できるようになった」とか、「滅亡へのカウントダウンが始まった」「AIが人間を支配する日も近い」などと判断するのは早計であると言えます。ただしこの先、AI技術が進み、機械がより巧妙に、より私たちに近い形で言葉を扱えるようになることは想像に難くありません。

そのとき私たちは、どの時点で、いったいどういった根拠に基づいて「機械が人間と同じように言葉を理解し、話せるようになった」あるいは「まだそうなっていない」と判断すれば良いのでしょうか？　たとえば今後、より進んだAIが「人類を滅ぼす」などと発言したとき、私たちは何を根拠にして「これは脅威だ」あるいは「脅威ではない」と判断すればいいのでしょう？

実のところ、この問題に答えるのは簡単ではありません。なぜかというと、「言葉を理解するとはどういうことか」にも、「そもそも言葉の意味とは何か」にも、まだ確かな答えが出ていないからです。

しかし少なくとも、機械が言葉を扱う能力を正しく評価するための基礎知識として、今の機械がどのように言葉を扱っているか、また私たち人間の言葉にどのような謎があるかを知る必要があります。

■AIを特徴づける4つのポイント

ここ数年の間に、AIの研究は大きな発展を遂げています。ここで「今のAIの言葉」について簡単にポイントを紹介すると、次のようになります（ここでは説明は省きますが、詳しくは拙著『ヒトの言葉　機械の言葉』をお読みください）。

① コンピュータおよびAIの内部では、言葉や画像や音声などのデータをすべて数（の並び）として扱われる。
② 今のAIは、数（の並び）を入力したら数（の並び）を出力するものである。
③ 機械学習とは、限られた数のデータの中からパターンを発見し、新しいデータに対して分類や予測をする関数を求める技術である。
④ （機械学習の一種である）深層学習で用いられるニューラルネットワークは、膨大なパラメータ（媒介変数）を持つ関数と見なすことができる。

以上を踏まえた上で、以下では「今の機械の言葉」にまつわる問題をいくつか見ていきたいと思います。

■データを頼りにする機械学習

機械学習は、データを手がかりにして「こういう数（の並び）が入力されたら、こういう数（の並び）を出力する関数」を求める技術です。つまり機械学習で開発されるAIにとっては、データがお手本であり、正しい動作の基準になります。機械学習のこういった側面には、人間がわざわざ「こういう入力が来たら、これこれこういう過程を経てこういう出力を出しなさい」と機械に命じる必要がないというメリットがあります。

つまり、私たちがデータの中に潜んでいる法則性や規則性を自分で見つけたり、言葉で表したりする手間が省けるわけです。しかしその反面、お手本となるデータの数や質によってAIの動作が左右される、という問題があります。

たとえば、人と対話をするAIについて考えてみましょう。対話をするAIに対する入力は「人間からの問いかけ」です。それに対して、AIが出力するのは、入力に対する「自然な応答」です。自然な応答を出力できるAIを機械学習で開発する場合には、人間による対話のデータが必要です。対話のデータとは、たとえば次のようなものです。

問いかけ：調子どう？
返答：まあまあだよ。
問いかけ：見た目は元気そうだね。
返答：最近、ジムに通い始めたからね。
問いかけ：どこのジム？
返答：家から近いとこ。

このようなデータを機械学習に利用して、自然な応答ができるAIを作るわけです。この場合、AIが出してくる返答は、開発のときに与えられたデータに影響されます。もし、与えられた対話データの中に倫理的に問題のある内容が大量に含まれていれば、それを利用して開発されるAIも倫理的に問題のある応答をする可能性が高くなります。この記事の冒頭で紹介した「人類を滅ぼす」と発言したAIも、おそらく開発時に使われた対話データの中に、そのような物騒な発言が相当数含まれていたのでしょう。

■「AI人事」も“バイアス”を学習してしまう

また、機械学習によって開発されるAIが、ある種の「バイアス」を持ってしまう問題も指摘されています。たとえば、会社の人事評価に使われるAIが、女性よりも男性を高く評価してしまうといった問題です。

写真＝iStock.com／Poike

※写真はイメージです - 写真＝iStock.com／Poike

人事評価をするAIの開発に使われるデータは、たいてい「過去の人事評価のデータ」です。もし、過去の人事評価において女性よりも男性に高い評価が与えられる傾向があれば、そのデータを用いて開発されたAIもその傾向を「学習」してしまいます。

機械翻訳システムにおいてもバイアスが見られます。たとえば、日本語の「その医者は自分の子供を診察した」という文では、「医者」および「自分」が男性なのか女性なのかは明確にされていません。

しかしこれをニューラルネットワークを使って開発された機械翻訳システムで英訳したところ、「The doctor examined his child」のように、代名詞が男性形の「his」に訳されたという事例があります。これも、開発時に与えられるデータにおいて、医者が男性である状況を述べた文が多かったためであると考えられます。

このように、機械学習によって開発されるAIの振る舞いや判断は、開発の際に与えられるデータに大きく依存しています。また、これに加えて、今のAIが「開発に使われるデータそのものの正しさを疑うことができない」という点も強調しておくべきでしょう。

■悪意ある投稿から「誤学習」する場合も

再び機械翻訳を例に挙げますが、2019年の6月頃、Google翻訳の英語から中国語への翻訳に関して、とある「事件」が報道されました。

「so sad to see hong kong become china（香港が中国の一部になるのはとても悲しい）」という英語文を入力すると、「香港が中国の一部になるのはとても嬉しい」という、まったく逆の意味の中国語文が出てきたというのです。

原因についてはさまざまな憶測が飛び交いましたが、その中に、Googleがユーザからのフィードバックのために設けている「翻訳修正案の投稿欄」に、何者かが上記の正しくない訳文を大量に投稿し、それが翻訳システムの動作に反映された、という説がありました。

このときGoogle翻訳に実際に何が起こったのか、今も明らかになっていません。しかし、もし、悪意あるユーザが故意に正しくない訳文を大量に投稿し、機械翻訳システムがそのデータから「再学習」したことが原因なのだとしたら、それは機械学習を用いて開発される今のAIにとって深刻な問題を提起していることになります。今のAIには、学習用に与えられるデータの間違いを自ら発見し、修正するすべがないからです。

■データを増やしても“偏り”は解消しづらい

私たち人間は翻訳をするときに辞書や文法書を参考にしますが、ニューラルネットワークを用いた機械翻訳システムは、そういったものを参照しながら翻訳をするわけではありません。

今の機械翻訳システムは、人が与える「原文と訳文のデータ」を手がかりにし、原文に対して正しい訳文を出せるようにパラメータを調整した「巨大な関数」です。そこには、語彙の知識や文法の知識に基づく「正しい翻訳の基準」はなく、データが頼りなのです。したがって、もし誰かが故意に間違ったデータを大量に与えれば、機械翻訳をするAIはそれに影響され、間違った訳文を出すようになってしまいます。

川添愛『ヒトの言葉　機械の言葉』（角川新書）

こういった問題に対して、「より多くのデータを与えれば、きっとAIのバイアスは解消されるし、動作も正しくなるはずだ」と言う人もいます。しかし、単純にデータの数が増えたからといって、その中にあるバイアスや間違いが解消されるとは限りません。

現在、「まるで人間が書いたかのような文章を生成できる」として話題になっている「超巨大言語モデル」GPT-3についても、「女性は男性に比べて外見を表す言葉（beautifulやgorgeousなど）を使って形容されやすい」「イスラム教は他の宗教に比べて暴力やテロを表す言葉と一緒に現れやすい」などといったバイアスを含んでいることが報告されています。

以上のような、「現時点での問題点」や、「今の機械がどのように言葉を扱っているか」という知識を持ったうえで、私たちは機械が言葉を扱う能力を正しく評価する必要があるのです。

----------

川添 愛（かわぞえ・あい）
作家
1973年生まれ。九州大学文学部卒業。2005年同大学院にて博士号（理論言語学）を取得。津田塾大学女性研究者支援センター特任准教授、国立情報学研究所社会共有知研究センター特任准教授などを経て、言語学や情報科学をテーマに著作活動を行っている。著書に『白と黒のとびら オートマトンと形式言語をめぐる冒険』『精霊の箱 チューリングマシンをめぐる冒険』『働きたくないイタチと言葉がわかるロボット 人工知能から考える「人と言葉」』『数の女王』などがある。

----------

（作家 川添 愛）