「ChatGPT」が歯科医師国家試験に挑戦!GPT-3.5とGPT-4でどんな結果の違いがあった?
Techable / 2023年3月22日 16時30分
OpenAIが2023年3月14日(米国時間)に発表した最新AI言語モデル「GPT-4」が、話題をさらっています。この新たなバージョンは、ChatGPTに搭載されており、従来モデルのGPT-3.5と比較して回答の正確性、安全性、入力の自由度が大幅に向上しています。
通院不要の歯科矯正サービスを展開する株式会社Oh my teethは、GPT-4搭載のChatGPTを活用して、歯科医師国家試験の必修問題を解くという取り組みを早速実施。GPT-3.5とGPT-4、それぞれの正答率を検証しました。
はたして、どんな結果となったのでしょうか?株式会社Oh my teethの代表取締役CEOである西野誠氏に検証の内容を詳しく寄稿していただきました。
ChatGPTが日本の歯科医師国家試験に合格できるか検証今回Oh my teeth社は、2023年3月16日に合格発表のあった「第116回歯科医師国家試験」の必修問題を使って、ChatGPTの実力を試すことにしました。全80問で、合格ラインは正答率80%(67問以上正解)です。
まず、GPT-3.5に試験を受けてもらいました。基本的に問題をそのままコピペし、10問ごとに分割して実施。冒頭に「あなたは、東京医科歯科大学歯学部の首席レベルの優秀な学生です。」と書き、ロール(役割)を明確にしておきました。
すると、このようにGPT-3.5が猛烈スピードで回答してくれました。
回答は集計用のスプレッドシートに転記していきます(頭のよい人に回答済みの問題集を借りて、答えを丸写ししていた高校時代を思い出します…)。
次に、モデルをGPT-4に変更して実施しました。
なお、別冊のレントゲン写真が必要な設問では、質問文の最後に画像URLを貼り付けて対応しました。
実際に画像データを確認しているかはさておき、GPT-4の回答精度はGPT-3.5よりも高い印象でした。
ChatGPTの合格判定は?GPT-3.5・GPT-4、それぞれの合格判定を発表します。
※回答精度にばらつきがあるため、参考程度にしてください。事実、再度同じプロンプトを送信した際に異なる回答が出力されることがありました。
GPT-3.5:遠く及ばず従来のChatGPT(GPT-3.5)の正答率は58%でした。合格ラインには届かず不合格ですが、ランダムに回答すると20%程度の正答率になることを考慮すれば、それを大きく上回る性能があると言えます。
| GPT-3.5 |
| --- | --- |
| 正答数 | 46 |
| 問題数 | 80 |
| 正答率 | 58% |
| 合格基準 | 80% |
| 判定 | 不合格 |
一方、最新モデルのGPT-4を搭載したChatGPTは正答率80%で、合格ラインを突破しました。ただし、受験者の平均正答率は81.4%(麻布デンタルアカデミー「第116回歯科医師国家試験 採点サービス」より)なので、特別優秀な成績ではありません。
| GPT-4 |
| --- | --- |
| 正答数 | 64 |
| 問題数 | 80 |
| 正答率 | 80% |
| 合格基準 | 80% |
| 判定 | 合格 |
過去に模擬試験の仕事に関わった歯科医師に、ChatGPTが誤答した設問リストを見てもらったところ、「簡単な問題を普通に間違えている」との指摘がありました。
英語ではGPT-4が司法試験に上位10%のスコアで合格できると報告されていますが、日本語ではまだ改善の余地があるようです。それでも、GPT-3.5と比べて性能の進化は明確です。
今後の展望AI技術が今後さらに進化すれば、歯科医師のスキル向上や診療効率の改善につながり、最終的には歯科治療体験の向上に貢献できるでしょう。
例えば、歯科医師はAIを活用して効率的かつ的確な学習を進め、高度な診断や治療が可能になります。
さらに、最適な治療法を提案することも期待できます。歯科医師の学習だけでなく、一般の人々が歯の健康について学ぶための教育分野でも、AIが活用される可能性があります。
オーラルテックスタートアップ「Oh my teeth」でもこれらのテクノロジーを積極的に取り入れて、ユーザー中心の未来の歯科体験を生み出していきます。少しでもご興味持ってくださった方は、ぜひお気軽にご連絡ください。
<著者プロフィール>
西野誠
株式会社Oh my teeth
代表取締役CEO
1994年生まれ。大学在学中に物流スタートアップ「オープンロジ」にて創業期を経験。新卒でワークスアプリケーションズに入社。2019年10月、株式会社Oh my teethを共同創業。代表取締役CEOに就任。ファーストプロダクトである通院不要の歯科矯正「Oh my teeth」は利用者1万人を突破(2022年12月時点)。Onlab 21th「DemoDay」最優秀賞。ICC FUKUOKA 2022「D2C&サブスク カタパルト」優勝。
Twitter:https://twitter.com/mktnjp
note:https://note.com/mktnjp
外部リンク
この記事に関連するニュース
-
息子が将来「歯科医師」か「薬剤師」になりたいといっています。安定した収入を得るならどちらの方がおすすめですか?
ファイナンシャルフィールド / 2024年7月2日 2時10分
-
AI受験生が上位大学の文系学部に「合格」、大きく進歩した技術―中国
Record China / 2024年6月29日 23時0分
-
「医師や歯科医の合格率が高い大学」ランキング 24年国家試験実績、医師は私大、歯科医は国立強い
東洋経済オンライン / 2024年6月28日 7時0分
-
孫正義氏「がん治療は真っ先に遺伝子検査を受けるべき」 AIが医師に選択肢を提案
マイナビニュース / 2024年6月28日 7時0分
-
20−30代に支持されてきたマウスピース矯正「Oh my teeth」に40代女性が増加する理由
PR TIMES / 2024年6月24日 17時45分
ランキング
-
1プロが本気で“アンパンマンの塗り絵”をしたら…… 衝撃の仕上がりが360万再生「凄すぎて笑うしかないww」「チーズが、、、」
ねとらぼ / 2024年7月18日 22時0分
-
2『地獄先生ぬ~べ~』2025年に新アニメ化! 人気作の再アニメ化続々、「令和どうした」「令和どうなってんだ」驚く声も
ねとらぼ / 2024年7月21日 16時0分
-
3条件次第で“最安”をうたうLINEMOの新プラン「ベストプラン」って、実際どうなのか調べた
ASCII.jp / 2024年7月21日 12時0分
-
4Xiaomi、初の縦折りスマホ「Mix Flip」発表 横折り「Mix Fold 4」も
ITmedia Mobile / 2024年7月21日 14時14分
-
5「え!?マジ!?」 有名中古チェーンで発見した「480万円」の商品に思わず二度見 「恐ろしや……」
ねとらぼ / 2024年7月21日 8時0分
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/mission_close_icon.png)
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/point-loading.png)
エラーが発生しました
ページを再読み込みして
ください
![](/pc/img/mission/mission_close_icon.png)