最新AIは日本の医師国家試験を突破できるか？

金田侑大（北海道大学医学部）

【まとめ】

・2023年2月の日本医師国家試験をChatGPTに解かせたところ、高い正解率だった。

・ChatGPTのユーザー数増加につれて、正答率は自然に向上していく可能性が高い。

・性能がさらに向上すれば、診断や治療方針決定の補助に使用される可能性が示唆されました。

　

OpenAIの最新モデルChatGPT

高い正答率(55.0%)も合格点には届かず

⚫ 2022年11月30日にOpenAIによってリリースされたChatGPTを用いて、2023 年2月に実施された第117回日本医師国家試験の問題を解かせ、その回答の正答率を算出しました。

⚫ 全400問中ChatGPTにより何らかの回答が生成された問題は389問で、その正答率は、55.0%でした。得点率は、必修問題が68.5%、一般臨床問題が51.0%と、どちらの合格基準も満たすことはできませんでした。

⚫ 画像問題に関しても、問題文のみを入力して解かせたところ、その正答率は 51.5%と高い値を示しました。

⚫ 日本語環境下での臨床現場での実装レベルにはまだ達していませんが、性能がさらに向上すれば、診断や治療方針決定の補助に使用される可能性が示唆されました。

⚫ 本研究結果の医学論文のプレプリントを2023年3月10日(木)にPreprints.org で公開しました。 

--------------------------------------------------------------------------------------------------

以上がお忙しい方向けの、今回の研究のまとめです。以下、閑話休題です。

「侑大は何でも答えてくれるから助かるわ」

私には弟がいますが、彼が私に抱いてくれている信頼は厚いです。勉強から恋愛に至るまで、彼よりも5年も先に生まれた私は、自分の“痛い”経験から、涙を流しながら多くのことを学んできました。

その計算はここの公式が間違ってるよ。

そのポケモンはここに努力値振った方がいいよ。

その女の子、追いかけて大丈夫？

親友のような感じで、弟は私の発言の多くを、ふんふんと頷いて受け入れてきてくれたと思います。わからないことでも周りに聞ける人がいて、弟に生まれるって得だよなぁと、私自身も常に思いながら生きてきました。

ただ、そんな時代にはもう終わりが来そうで、これまでの私の役目だった弟の人生相談も、そのうちAIに取って代わられてしまうかもしれません。