｢AIは人間の敵｣と遠ざけてはもったいない…プロ棋士たちが実践している｢AIとの賢い付き合い方｣

※写真はイメージです - 写真＝iStock.com／metamorworks

AIが導き出した「答え」が、どうやって出てきたのか分からない。そんな不安を解消するために登場したのがXAI（説明可能なAI）だ。産業技術総合研究所フェローの辻井潤一さんは「AIと人間がお互いの判断の根拠を吟味しあえるようになれば、AIの性能を上げつつ人間の知見をさらに深められるのではないか」という。『生成AI時代の教養』（風濤社）より、辻井さんのインタビューを紹介する――。（聞き手＝桐原永叔）

※本稿は、桐原永叔・IT批評編集部編著『生成AI時代の教養』（風濤社）の一部を再編集したものです。

■「人間はAIを制御できなくなるのではないか」

――XAI（説明可能AI）というコンセプトが出てきたのは、このままAIがブラックボックス化していくことに対して、人間の側に恐怖心があることも理由だと思うのですが。

【辻井】恐怖感や不安はやっぱりあると思います。それはAIに限った話ではなく、非常に複雑なシステムについても同じことが言えます。それが出す結論なり動きが本当にうまくいっているのかどうなのか、われわれがわからない状態になってしまうと制御できなくなるわけです。

震災のときに原発の問題が露呈しましたが、何か予期せぬことが起こったときにどこをどう触ればうまく制御できるのかがわからなくなっている。そういうものの典型としてAIがあることは確かで、このままいくと制御できなくなるのではないかという不安はあるわけです。

ここはAIのほうが得意なので任せましょうと言ったときに、それが出してくる結果を信じられるときにはいいんだけれど、環境が構造的に変わったときにその判断は本当にいいのか悪いのかがわからないという状態が起こると、制御ができなくなるし、環境に合わせてシステムを再調整することも難しくなるという気がするんですね。

■新型コロナの変異株に振り回された人類

――現代はAIに限らず、人間の手に負えない事象がたくさん出てきているような気がします。

【辻井】コロナウイルスもそれに近い話ですよね。データはいろいろ揃っていて、いろんな予測はできるんだけど、ウイルス変種が出て内部の機構が変わってしまうと過去のデータは役に立たなくなる。だから、大きなデータで何かを処理していくことの危険性もあるわけです。

データというのはある種の機構を通して出てきていて、僕らが観察できるものになっている。その観察できるデータから内部の計算機構、規則性を推測して知的な判断に使っているわけです。そうすると、データをもともと出している機構そのものが変化すると、本当はそのデータはもう信用できなくなるわけです。

機構そのものが変化したときには判断を変えていかないとダメなわけですが、なぜそのデータが出てくるのかの機構を人間がわかっていないと、データを出してくる背後の機構が変わったときには対処できなくなるわけです。

■AIの知能は人間の知能をカバーできない

【辻井】そこでコントロールが効かないということがいちばん大きな問題だと思います。人間はこれまで科学だとか工学だとか技術を蓄積して、長い歴史のなかで対象を理解してきています。

それはデータだけを見てやっているわけではなくて、こういうことが起こっているのではないかという仮説を立てて実験をしデータをとって、また理論をつくりなおすといったことを繰り返してきました。

そういう歴史があって、われわれは科学や医学の体系をつくってきたわけです。データだけの知能が完全に人間がかたちづくってきた科学や工学に基づく知能をカバーできるかというと、カバーできないと思います。

データをいくら見ていても、われわれがつくってきた科学なり技術の体系を計算機だけで再構成することはできない。だからその2つをどうかみあわせるかということを考えていかざるを得ないでしょう。

■2つの知能を近づけて、互いに「進化」する道

――医療の世界では人間の知見とAIが協働していると聞きます。

【辻井】医療の場合は典型的ですね。たしかにお医者さんが、気がつかないある種の特徴が患者さんのデータにあって、それをAIが見つけだして正しい診断をする可能性はあるわけです。逆にそういうデータのなかに、たまたま現れた、病疾患の発現機構とは全く関係のない特徴に反応してしまって、他の患者さんにそれを適用して間違った結果を出している可能性もあります。

データだけを見ていると2つの可能性があって、1つは僕らの医学で理解できない特徴がやはりあって、それをAI側が捉えていて正しい結論を出している可能性です。もう1つは、病気のメカニズムから考えると特徴としては使ってはいけない、たまたまデータのなかに現れた本質的でない特徴に診断が左右されていて誤診断につながる可能性です。

それがブラックボックスになったAIでは僕らにはわからない。それが広い意味での「データバイアス」という話で、本来の機構からすると出てはいけないある種の規則性がデータのなかには含まれている可能性もあるわけです。

XAIは説明可能AIと呼ばれていますが、単に説明するだけではなく何を見て判断したのかをお医者さんに教えてあげることによって、お医者さんのほうも新しい医学の知識をつくることができるかもしれないし、それは使ってはいけないデータだよとAIに教えることができるかもしれない。

人間とAIの異なる2つの知能を近づけることでAIの性能を上げることができるし、人間の知見が深まり科学も進んでいく可能性もあります。

XAIという言葉を使うとすぐに「説明」とは何かという問題が前に出てしまいますが、僕らが考えているのはもう少しAIと人間が緊密にお互いの判断の根拠を吟味しあえるような、透明性を上げたAIのかたちをつくっていく必要があるんじゃないかということです。

■なぜAIは株式市場を予測できないのか

――データの話題が出るとよく言われることですが、データで株式市場を予測しましょうという試みも何度も繰り返してきましたが、必ず失敗します。株式市場が自己言及的になっていて自分たちの判断がデータのなかに織り込まれるので、どんどんデータそのものが変質していくことが起きるわけですね。

先生が言われている理解不能なAIも、AI自体がつくりだしたデータがAIそのものを変化させていくという意味合いもありますよね？

【辻井】それはありますね。判断する側と判断される側が離れている、主体と客体として完全に離れているときはいいんですけど、社会現象の多くは判断主体も社会のなかに組み込まれていて、お互いに影響を及ぼしあう構造になっています。

そういう問題はまたもう一段難しくなってきますね。経済現象というのはまさにそういう構造になっているんだろうと思います。

もともと複雑な判断というのは説明しにくい話なんです。同じデータを見ていても違った判断になるということはいくらでもあるわけです。だから「説明できない」というのは、必ずしもAIの持っている欠陥ではなく、ひょっとすると複雑な判断というのは本来的にそういう性質を持っているんだと思います。

写真＝iStock.com／tadamichi

※写真はイメージです - 写真＝iStock.com／tadamichi

■人間同士なら複雑な判断でも合意できる

【辻井】いろんなファクターが複雑に絡みあっていて、それをどういうふうに判断するかというのは判断主体の価値観にもかかわる話でもあり、AIだけがうまくできないのではなく人間の場合もうまくいかないわけです。

僕らでも、何かある複雑な判断をしたときに、この判断の根拠を説明してくださいといわれると、どんなに説明しても説明しきれないようなケースはいくらでもあるわけです。

ただAIと人間が違うのは2つの違う判断をした主体があったときに、人間同士の場合には、それぞれの判断過程を部分的にでも外化して相互に吟味しあうことができるところです。僕はこういうところを見てこういう判断をしたという根拠を相手に言って、相手はそれに対してまた違う根拠を見せる。

おそらく、複雑な判断というのは、いろんな根拠がある重みづけをもってホリスティックに決まってくるのだと思うのですが、そこを系統立てて説明するのは非常に難しい。説明不可能な領域というのはいっぱいあるわけです。

そこでお互いにその判断が信用できるというのは、根拠を出しあって議論することで妥当な判断であるという合意ができるからです。あるいは価値基準が違うから違った判断になるんですねというかたちで、判断が分かれるのを認めあうことも人間の場合にはある程度できるわけです。

■AIは人間のような「直感」を持ちはじめている

――面白いですね。将棋の羽生善治さんが言われていたことですが、棋士の指し手の選択肢はAIのように膨大にあるわけではなくて限られた手のなかから直感的に閃きで選んでいる。それが第3次AIブームになってから、もしかしたらAIも閃きのようなものを持ったんじゃないかと。

つまり、棋士の指し手の選択についても閃きという説明不能な部分がある。それならAIの説明不能な指し手の選択を閃きと考えてもいいんじゃないかということですよね。

現在では将棋のプロの棋士たちは、AIが指した手をみんなで解釈して説明して新しい手を探しています。AIの閃きを説明しようとしているともいえます。先生が言われているXAI的な未来を、もしかしたらプロ棋士たちがすでにやっている可能性はありますね。

【辻井】そうかもしれません。結局大きなデータを使って何かやるというのは、ある種の直感みたいなものを捉えていることだと思うんですね。それまで第3次のAIブーム以前のAIというのは直感的なものは捉えず、むしろ切り捨ててきていたわけです。僕らが合理的に規則化できるものを入れようとしていたわけですから。

ところが人間の判断というのは、多くの経験を積み重ねることによって、うまく説明できないんだけどキーになるものを選ぶことができる。そういう全体論的な、ホリスティックな判断、直観があったわけです。その能力をAIが持ちはじめているのは確かだと思います。

写真＝iStock.com／Tomo Nogi

※写真はイメージです - 写真＝iStock.com／Tomo Nogi

■「AIを分析するAI」でホワイトボックス化

――第4次のAIブームは、具体的にはどういうふうに進んでいくとお考えでしょうか？

【辻井】いくつかのフェーズがあると思っています。1つはAIのなかで何が起こっているかを透明化して見せる。実際に判断をしているAIの横に、その判断過程を見ている別のAIがいて、何を見ているのかを上手に人間の側に見せてあげるみたいなイメージです。

AIを分析するようなもう1つのAIをつくって、ちょうど人間とAIの間を仲介する役割を担わせます。アテンションの機構を可視化して、AIがこういうところを見ているのでこういう判断をしたんだと理解できるようにするとか、深層学習のネットワークの内部を可視化してどういう特徴量を捉えているのかを人間にうまく見せてあげる、といった試みが行われています。

AIを完全なブラックボックスから少しずつホワイトボックス化する役割を別のAIにやらせるわけです。

■人間の「理解のかたち」をAIに埋め込むと…

【辻井】もう1つは、AIの構成そのもののなかにもっと人間が持っている理解のかたちを埋め込んであげて、AIのアーキテクチャーの設計そのものにわれわれの科学や工学がつくりあげてきた理解の体系を投影するやり方があります。

たとえば、いろんな有機化合物の化学式からどういう性質を持つ物質なのかを予測するAIをつくろうというときに、1つは化学式と物性値のデータをたくさん集めてその間を深層学習のモデルでつないであげるというend-to-endのやり方が考えられます。

化合物の化学式の物性値のあいだに何か規則性があるんだけれど、その規則性をデータだけから学習させようという方法です。現在のAIはこうしたend-to-endのやり方が多いわけです。

一方で、われわれ人間には物理学の知識もあるわけですから、物性科学者は何が起こるとどういう物性値が出てくるのかという機構も理解しています。それを深層学習のモデルのなかに再現してあげるというやり方も考えられます。

end-to-endではないかたちの深層学習のモデルをつくるという研究をしているグループがあって物理的に規則性が判明している層を道標のようにAIのモデルのなかに置いてあげる。そうすることで、深層学習でも大きなネットワークは必要なくて小さなモデルで計算が可能になり、また外挿能力、言い換えると演繹能力の高いAIをつくることができます。

■演繹的なものと帰納的なものの融合が起きる

――人間の知見を埋め込むわけですね。

【辻井】そうすると演繹性が出るんですね。end-to-endでやっているときだと、低分子の有機化合物の物性値はデータもたくさんあるので当たるのですが、高分子になるとデータが非常にスパース（まばら）になるわけです。

桐原永叔・IT批評編集部編著『生成AI時代の教養』（風濤社）

いろんな分子がいろんなかたちで重なりあって大きめの分子をつくるので、そこはもう千差万別の化学式があり、そのデータをすべてとるというのはほとんど不可能になります。大きなネットワークで学習していると、低分子では当たるんだけど高分子になると全然当たらなくなるんですね。

ところが前述したような道標を入れてあげると演繹性も出て、高分子でもかなり当たるようになります。結局どういうことかというと、物理学が蓄えてきた知識を深層学習のモデル設計のところに入れてあげると、全体としてよりいいシステムができるということです。

そういう話は今いろんなところでやられていると思います。専門的な知識をAIのシステムのなかに入れ込んでいくというのも1つの方法として浸透していくでしょう。

----------

辻井 潤一（つじい・じゅんいち）
情報科学者
1973年京都大学大学院修了。工学博士。京都大学助教授、1988年マンチェスター大学教授、1995年東京大学大学院教授、2011年マイクロソフト研究所アジア（北京）首席研究員等を経て、産業技術総合研究所フェロー。マンチェスター大学教授兼任。計算言語学会（ACL）、国際機械翻訳協会（IAMT）、アジア言語処理学会連（AFNLP）、言語処理学会などの会長を歴任、2015年より国際計算言語学委員会（ICCL）会長。紫綬褒章、情報処理学会功績賞、船井業績賞、大川賞、AMT（国際機械翻訳協会）栄誉賞、ACL Lifetime Achievement Award、瑞宝中綬章等、受賞多数。

----------

----------

桐原 永叔（きりはら・えいしゅく）
「IT批評」編集長
幻冬舎メディアコンサルティング編集局長を経て、眞人堂株式会社創立。2019年、買収合併でAIベンチャーであるトリプルアイズに合流。取締役として事業企画・推進を行うかたわら、「Web IT批評」を運営している。また、企業へのコンサルティングや講演活動でも活躍。「Web IT批評」では毎月、レビュー記事を執筆・配信している。著書に『ももクロ論　水着と棘のコントラディクション』（共著／実業之日本社）がある。

----------

（情報科学者 辻井 潤一、「IT批評」編集長 桐原 永叔）