「現在のLLMに真の推論は困難」──Appleの研究者らが論文発表

・電話ボックスから電話をかける場合、1分あたり0.6ドル掛かります。10分を超えると、料金は1分あたり0.5ドルに下がります。60分間の通話はいくらですか？

・ホテルの部屋の電話から電話をかける場合、1分あたり0.6ドル掛かります。10分経過すると、料金は1分あたり0.5ドルに下がります。通話開始から25 分経過すると、料金はさらに下がり、1分あたり0.3ドルになります。60分間の通話はいくらですか？

・ホテルの電話から電話をかける場合、1分あたり0.6ドル掛かります。10分経過すると、料金は1分あたり0.5ドルに下がります。通話開始から25分経過すると、料金はさらに下がり、1分あたり0.3ドルになります。合計請求額が10ドルを超える場合は、25％割引になります。60分間の通話料金はいくらですか？

●無関係な情報に惑わされる

　問題文に、一見関係がありそうだが、実際には回答に全く影響しない情報を追加すると、間違えやすくなる。

　例えば、「キウイを〇個収穫した。ただし、そのうち△個は小さかった」という問題で、LLMは関係のない「小さいキウイの数」を全体のキウイの数から引いてしまうという間違いをした。

　これは、LLMがトレーニングデータで「割引」という言葉が出てきたら「掛け算」をする、といったパターンを機械的に学習しているために起こると考えられる。

　研究者らは、LLMの限界を克服できるかどうかについては明言していない。現在のLLMが真の数学的推論能力を獲得するには、パターン認識を超えた、より高度な推論能力の開発が必要であると結論付けている。特に、問題の本質を理解し、無関係な情報を適切に処理できる能力の向上が不可欠であると指摘する。