最新AIは日本の医師国家試験を突破できるか？

ChatGPTを初めて利用した時の衝撃は、それはもう日本語では名状しがたいものでした。どのような質問を入力しても、人間との会話のように、自然な文章を生成して返してくれるのです。

「嘘だろ、これが一般人の手に収まる時代なのか。」

その日のうちに毎月20USDのサブスクリプションを登録しました。2022年11月30日にOpenAIによりリリースされた後、ユーザーは1週間で100万人、現在では1億人以上が全世界でアカウントを持っていると推定されています。いつの日か、全員がChatGPTを片手に、学校の宿題に挑み、日常の健康問題を相談し、時には専門家が論文を書く、そんな時代もくるかもしれないな、と率直に思いました。

ChatGPTは、特定の分野に特化したトレーニングを受けていないにもかかわらず、法律やビジネスなどの分野において、大学院レベルの専門知識を仮定した試験において、合格点、またはそれに近い結果を既に達成しています。

さらに、追加のトレーニングや学習なしに、米国医師免許試験（USMLE）でも合格点に近い成績を達成したことが報告されています。臨床現場で既に実用されている画像情報をもとにしたAIのように、言語情報を利用して、臨床現場における診断や治療方針の決定のための補助要員として利用されることが期待されます。

臨床現場でのChatGPTの有用性は、様々な試験を解かせ、現段階での性能を評価することで、推定が可能です。そこで、私たちの研究では、2023年2月に実施された第117回日本医師国家試験を用いることで、ChatGPTが日本の臨床現場でどの程度活用できる可能性があるかを調査しました。

結果としては上述の通りで、全400問中ChatGPTにより何らかの回答が生成された問題は389問で、その正答率は55.0%でした。得点率は、必修問題が68.5%、一般臨床問題が51.0%でした。合格基準である必修問題の80％、一般臨床問題の70％はどちらも達成することはできませんでした。

しかしながら、ランダムチョイスの場合の得点は20％程度であるため、現段階で、それをはるかに上回る性能が示されました。具体的には、日本の医学部の6年生ぐらいのレベルでしょうか。ChatGPTは、OpenAIの以前のGPT-3.5言語モデルをベースに開発されており、教師あり学習と強化学習の両方から機能が強化されます。そのため、ユーザー数が増加するにつれて、正答率は自然に向上していく可能性が高く、今後、臨床シナリオでChatGPTを効果的に活用する方法を探求することが、患者の利益を最大化するために重要であると結論付けました。