ChatGPTに神戸大MBAの宿題を解かせた結果…大学教授が｢これでは合格点は出せない｣と結論づけた理由

スマホ版チャットGPTの画面（＝2023年1月18日） - 写真＝ANP／時事通信フォト

■対策に追われる大学関係者

今話題の対話型AI、ChatGPT（チャットGPT）は、入力された質問や指示に対して、人間が書いたかのような回答やレポートを返してくれる。簡単な登録を行えば誰でも利用できるこのウェブサービスは、昨年11月に公開され、アメリカのトップスクールの最終試験に合格できるレベルの回答を生成することでも話題になった。

新学期の始まりとともに、日本でもChatGPTへの注目度が高まっている。学生たちが、自分の代わりにChatGPTにレポートや論文を書かせようと考えるのは当然であり、大学や教員たちはその対策に追われている。

■ケーススタディー授業の進め方

筆者は、この春も神戸大学MBA（大学院経営学研究科現代経営学専攻）プログラムで、マーケティングのコア科目を担当している。この授業では、マーケティングの主要テーマに沿った講義とケーススタディーを8週間、土曜日の午後の時間をフルに使って行う。

MBAのケーススタディーでは一般に、学生たちは事前に実際のビジネス事例を基にしたケースドキュメントを読み込み、教員が用意した設問に答えるレポートなどを作成したうえで授業に臨む。そして授業当日は、教員がリードをしながら、学生同士、そして学生たちと教員とがディスカッションを進めていく。

こうしたメソッドにおいては、学生たちの授業前のレポート作りが重要な役割を果たす。そこで私のMBAの授業では、学生たちのインセンティブを高めるために、この事前レポートに成績評価の大きなウエートを配分している。

■AIが書いたレポートを見分けられるか？

さらに筆者は、提出されたレポートの一つひとつに評点とコメントを記入し、翌週には学生に返却して、全体講評を教室で行うようにしている。約70名の学生が受講しているため、毎週の評点とコメントのフィードバックは大変な作業だが、このフィードバックによって学生たちは自分のレポートやディスカッションのスキルを向上させ、授業全体のレベルも上昇していくことがわかっている。指導する私にとっても、こうした手応えがあることが授業を進めるモチベーションになる。

この手応えは、新型コロナが感染拡大するなかでのオンライン授業においても変わることはなかった。これは私の主観的な感覚だけではなく、授業評価アンケートの数値からも確認できる。

写真＝iStock.com／golubovy

※写真はイメージです - 写真＝iStock.com／golubovy

この春から私たちは、失われていた日常をさらに取り戻しつつある。「やれやれ」と思っていたところに、ChatGPTという黒船が到来した。どこかの放送局のドラマのようだが、「どうする！」に大学教員も次々に襲われているのだ。

私のMBAの授業についていえば、例えば以下のような懸念が浮かび上がる。学生たちのレポートにChatGPTが作成したものが混じっていたとして、それを公平に成績評価できるのか。まじめにレポートに取り組もうとする学生の意欲が失われてしまうのではないか。レポートへのフィードバックで思考の方法や理論の活用の仕方を学ぶ効果も、低下してしまうかもしれない。

■実際にレポート課題をやらせてみると

しかし、これらの懸念は、今のところは杞憂(きゆう)だったと思われる。試しに、ChatGPTに私の授業のレポート課題を与えてみた。すると、きれいな日本語でスラスラと文章が書かれていく。「これはすごい」と驚いた。

だが、少し冷静に評価者の立場で検討してみると、出来上がったレポートは、私の授業で合格点を与えるには不足する部分が多い。

例えば、「レストイルのマーケティングの成功要因を分析しなさい」という課題を打ち込むと、ChatGPTはあっという間にレポートを書き上げた。しかし、その内容は自動車のレストア（restore、再生）の成功要因を報告したもので、指定したケースドキュメントのテーマであるレストイル（Lestoil）はアメリカの合成洗剤の商品名である。こんなレポートを学生が提出した場合、不合格となることは間違いない。

そこで、「合成洗剤のレストイルについてはどうですか」と追加の質問を投げかけると、ChatGPTはすばやく同商品に関するレポートを返してくる。しかし詳細に見ると、ケースドキュメントの内容とは異なる事実誤認と思われる記述など、不備な部分が各所にある。加えて、あいまいで抽象度の高い表現が目立つことも気になる。

無料で使えるChatGTP-3.5に加え、より優れているとされるChatGTP-4でも同じ実験を行ってみた。だが、レストレイルを自動車のレストアと間違えたり、実際には行われていない（もちろんケースドキュメントにも書かれていない）パッケージングの改善などを要因として挙げてきたりと、3.5と同様の不備が目立った。

■「文章化」が苦手な学生にとっては福音

つまり、ChatGPTを使って合格点を取れるレポートを作成するには、学生は事前にケースドキュメントを熟読し、どのようなレポートを書くかを明確にイメージしておく必要がある。現時点では、1回の質問でチャットGPTから合格水準のレポートを得るのは困難だが、適切な追加質問を投げかけていけばレポートの質は向上していく。とはいえ、ケースドキュメントの内容や求められている回答の要点を正確に理解していなければ、学生はこのプロセスを完全にコントロールすることはできない。

写真＝iStock.com／Ole_CNX

※写真はイメージです - 写真＝iStock.com／Ole_CNX

そんなことなら、ChatGPTなどは使わずに、直接自分で文章を書くほうが早いと感じる学生も少なくないだろう。しかし、何を回答すべきかの構想は頭のなかに浮かぶものの、それを文章化することは苦手というタイプの学生もいるかもしれない。こうした人々にとっては、ChatGPTは大いなる福音となるだろう。

MBAの授業は、高いレベルの読解力やデータの分析力、そして論理の構築力などを求められる。これらの能力は高いものの文章力が劣る学生たちは、チャットGPTによるサポートをうまく活用してもらえばよい。一から文章を書かせるのではなく、ざっと書いた文章の添削にチャットGPTを利用するという使い方もある。こうしたやり方でチャットGPTを使う学生は、頭を使わなくなるわけではなく、頭の使い方が変わるだけである。

■引用の扱いには注意が必要

ChatGPTをMBAなどの学生が利用する際に気をつけなければならないのは、回答が依拠する引用元が曖昧にしか示されないことである。信頼できる資料に基づく回答かどうかを確認するには大変な手間がかかるし、場合によっては引用の範囲を超えた「剽窃(ひょうせつ)」が生じている可能性すらある

このような欠点はGoogle検索などにはないものであり、ChatGPTに特有の問題である。特に、学内外で長期間にわたり保存され、事後の検証にさらされ続けるMBAの修士論文や博士論文などに関しては、より慎重にチャットGPTを利用する必要がありそうだ。

■パンドラの箱は開かれた

以上は、神戸大学MBAをめぐる現時点での筆者個人の考えである。今後のChatGPTの進化に伴って、さらに対応を調整していく必要はあるだろうし、筆者とは異なる評価基準に基づく講座などでは、また別の対策が求められるのだろう。

ChatGPTは、私たちの学び方に変革をもたらすだろう。規制などによってChatGPTを使用しない方向に向かうのではなく、いかにうまく使いこなすかを考えるべきだと筆者は考える。もちろん、それぞれの目的やメソッドをもつ多様な教育現場に、一律に当てはまるような使い方は存在しないだろう。むしろそれぞれの現場で、どのような人が、どのような学びのために、どのように使うのかという観点から、ChatGPTの健全な活用法を検討する必要がある。

パンドラの箱は開かれ、新たな百家争鳴が始まった。

【ChatGPT-3.5のレポート課題への回答例】

User
1950年代のレストイルの成功要因を整理してください。
ChatGPT
1950年代のレストイルの成功の要因は以下のようにまとめられます。

経済的繁栄：第2次世界大戦後の1950年代は、アメリカ合衆国において経済的な繁栄が訪れた時期でした。戦争によって抑圧されていた人々が、平和な生活を楽しむことができるようになり、豊かで快適な生活を送ることができるようになりました。この繁栄は、人々が高級な消費財を購入することができるようになり、レストイルの成功につながりました。

自動車の普及：自動車が普及したことにより、レストイルはますます人気を博しました。人々は自動車でドライブインレストランやドライブインシアターなどの施設に行き、食事やエンターテインメントを楽しんだり、自分の車を改造したり、カスタムカーを所有したりすることで自分たちのアイデンティティを表現することができました。（後略）

筆者注：いずれも元のケースドキュメントにはない内容です。1つ目の回答は冗長なだけで、レポートの評価にあたっては加点とはなりません。さらに2つ目の回答では、レストイルという合成洗剤の商品名を、古い自動車のレストア（修理・再生）と間違えています。大減点になる記述です。

User
洗剤のレストイルについて教えてください。
ChatGPT
洗剤のレストイルについては、いくつかの要素があります。

パッケージデザイン：洗剤のレストイルにおいて、最も重要な要素はパッケージデザインです。消費者は、商品のパッケージデザインに魅力を感じることがあり、デザインが優れている場合は、競合他社の商品よりも優先的に選ぶことがあります。そのため、洗剤メーカーは、パッケージデザインに多くのリソースを投入し、消費者の目を引くようなカラフルで派手なデザインを採用することがあります。（後略）

筆者注：1950年代のレストイルのパッケージングは、競合より使いにくく、消費者の目を引くようなデザインの工夫にも乏しいものでした。大減点になる記述です。

----------

栗木 契（くりき・けい）
神戸大学大学院経営学研究科教授
1966年、米・フィラデルフィア生まれ。97年神戸大学大学院経営学研究科博士課程修了。博士（商学）。2012年より神戸大学大学院経営学研究科教授。専門はマーケティング戦略。著書に『明日は、ビジョンで拓かれる』『マーケティング・リフレーミング』（ともに共編著）、『マーケティング・コンセプトを問い直す』などがある。

----------

（神戸大学大学院経営学研究科教授 栗木 契）