OpenAI、GPT-4のエラーを指摘するGPT-4ベースの「CriticGPT」リリース
ITmedia NEWS / 2024年6月28日 7時58分
![OpenAI、GPT-4のエラーを指摘するGPT-4ベースの「CriticGPT」リリース](https://media.image.infoseek.co.jp/isnews/photos/itmedia_news/itmedia_news_20240628113_0-small.jpg)
ChatGPTが生成したコードの不正確な点をCriticGPTが指摘する(画像:OpenAI)
米OpenAIは6月27日(現地時間)、ChatGPTなどのLLMの出力の誤りを検出するためのGPT-4ベースのモデル「CriticGPT」を発表した。
人間によるAIトレーニングの際に、ChatGPTの回答の誤りを指摘することで、トレーニングの精度向上を支援する。
ChatGPTは、RLHF(人間からのフィードバックによる強化学習)と呼ばれる手法を用いて、人間との対話に適したモデルへと調整されている。RLHFでは、人間のAIトレーナーがChatGPTの異なる回答を比較評価し、その結果を学習にフィードバックする。だが、モデルの推論能力や挙動が高度化するにつれ、ChatGPTの誤りはより微妙化し、AIトレーナーにとって誤りを発見することが困難になっている。これはRLHFの根本的な限界であり、モデルが人間の能力を超えていくにつれて、モデルの調整はますます困難になる可能性がある。
CriticGPTはこの課題に対処するために開発された。CriticGPTは、ChatGPTの回答の不正確な点を指摘する批評文を作成する。
CriticGPTもChatGPTと同様にRLHFを用いてトレーニングされているが、ChatGPTとは異なり、誤りを含む大量の入力を学習データとして使用し、それらの誤りを批評するように訓練されている。
具体的には、AIトレーナーがChatGPTによって書かれたコードに手動で誤りを挿入し、その誤りを発見した場合にどのようなフィードバックを行うかを記述した例を作成。次に同じトレーナーが、修正されたコードに対する複数の批評文を比較し、どの批評文が挿入された誤りを正しく指摘しているかを評価する。
CriticGPTの提案は必ずしも常に正しいわけではないが、AIトレーナーがモデルの回答の誤りを発見するのを大きく支援することが分かっているという。
CriticGPTの支援を受けてコードレビューを行った場合、支援なしの場合と比較して、約60%の確率でパフォーマンスが向上した。
また、CriticGPTを用いることで、AIトレーナーはより包括的な批評文を作成することができ、モデル単独で批評文を作成する場合よりも誤った指摘を減らすことができた。
現時点ではChatGPTの比較的短い回答を対象にトレーニングされている。OpenAIは、より長文で複雑なタスクを評価できるようにするために、CriticGPTの改良が必要だとしている。
外部リンク
この記事に関連するニュース
-
最大6つの生成AIモデルを使い無料で同時検索!比較検索「天秤AI byGMO」としてリニューアルオープン【GMO教えてAI】
PR TIMES / 2024年6月20日 18時15分
-
「Azure OpenAI Service」を法人向けに提供するChatSense、回答の「なめらか化」に対応
PR TIMES / 2024年6月18日 16時15分
-
GPT-4o + 回答コントロール機能で、さらに高度な自動応答を実現。SELFBOT(生成AI+RAG連携)
PR TIMES / 2024年6月17日 13時45分
-
Microsoftが生成AI悪用を可能にするAIジェイルブレイクを指摘、回避策も提示
マイナビニュース / 2024年6月5日 19時2分
-
XOP、法人向けChatGPT「OpsAI」にGPT-4oを搭載させバージョンアップ
PR TIMES / 2024年6月4日 15時15分
ランキング
-
1柴犬が必死でくわえようとするのはまさかの“一生無理”なヤツ 子どものような戦いに「激可愛すぎて永遠にリピート」
ねとらぼ / 2024年6月30日 7時0分
-
2別人級メイクの達人がすっぴんからパーティーメイクすると…… 驚きの大変貌に「めちゃめちゃビジュがいい!」「これはまさしく詐欺」
ねとらぼ / 2024年6月29日 19時30分
-
3iPhoneでも使うべし!Google系便利アプリ5選|iPhoneでGoogle
&GP / 2024年6月29日 22時0分
-
4オックスフォード大学ご訪問の天皇陛下、“ネクタイの柄”に注目集まる
ねとらぼ / 2024年6月29日 15時9分
-
5飛行機が“20分”遅れてしまい……? 乗り継ぎに間に合うよう空港職員がしてくれた“まさかの気遣い”に「すごく楽しそう」「引くほど速い」の声
ねとらぼ / 2024年6月29日 18時0分
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/mission_close_icon.png)
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/point-loading.png)
エラーが発生しました
ページを再読み込みして
ください
![](/pc/img/mission/mission_close_icon.png)