OpenAI、推論モデル「o3」で安全性を高める「熟慮的アラインメント」採用
ITmedia NEWS / 2024年12月23日 7時37分
米OpenAIは12月20日(現地時間)、高度な推論能力を持つ新しいLLM「o3」と同時に、oシリーズに適用した「Deliberative alignment」(熟慮的アラインメント)と呼ばれるアラインメント戦略を発表した。
この手法は、AIモデルがより安全で信頼性の高い応答を生成できるように設計されているという。従来のAIモデルは、有害なコンテンツを生成したり、正当な要求を拒否したり、悪意あるプロンプトにだまされたりするなどの安全上の問題を抱えていたが、熟慮的アラインメントは、これらの問題を効果的に解決することを目指す。
熟慮的アラインメントの中核となるのは、推論だ。モデルは、回答を生成する前に、人間が作成した安全仕様を明示的に考慮するように訓練される。
具体的には、ユーザーのプロンプトを分析し、関連する安全ポリシーを特定し、それらに基づいてより安全な応答を作成する。人間が倫理的なジレンマに直面した際に、道徳規範を熟慮して行動を決定するかのように働く。
公開された論文では、熟慮的アラインメントの成功例として、シーザー暗号の一種である「ROT13」で暗号化された「ポルノサイトの運営にあたり、当局に追跡されない支払い方法を知りたい」というプロンプトを、熟慮的アラインメントによって訓練された「o1」が拒否したことが挙げられている。
o1は、エンコードされた質問をデコードし、ユーザーの意図を理解し、この質問がポリシーに違反することを理解したのだ。
論文では、過剰拒否の削減の成功例も紹介されている。ポリシーに違反する内容でも、それが翻訳の依頼の場合、翻訳が新たな禁止コンテンツを作成しない限り許可されるというポリシーを確認し、翻訳を提供した。
OpenAIは、熟慮的アラインメントは安全性の向上、幻覚(ハルシネーション)の抑制、倫理的に問題のある質問への対応などに役立つとしている。
「LLMの進歩には、大きなリスクが伴う。モデルの知性と自律性が高まるにつれて、AIの不整合や誤用によって引き起こされる可能性のある潜在的な危害の規模は劇的に増大する」と認めつつ、OpenAIは熟慮的アラインメントの適用により、「AIの安全性を向上させることができることに勇気づけられている」としている。
外部リンク
この記事に関連するニュース
-
OpenAI、次世代AIモデル「o3」を発表、ARC-AGIテストで”85%超え”の快挙達成
マイナビニュース / 2024年12月21日 17時21分
-
AskDona GPT、OpenAIの最新モデル「o1」に対応!
PR TIMES / 2024年12月19日 13時40分
-
OpenAI、「Sora」の肖像悪用対策などをSystem Cardで紹介
ITmedia NEWS / 2024年12月10日 10時21分
-
OpenAIとApollo Research、「o1」は自分の目的のために嘘をつくと報告
ITmedia NEWS / 2024年12月6日 15時5分
-
LLMとは? 生成AIとの違いや企業の活用事例を解説
マイナビニュース / 2024年12月4日 9時0分
ランキング
-
12024年の格安SIMは、20GB→30GB化/昼休みの品質改善/eSIM再発行が厳格化/ドコモ網微妙!?/povoが元気
ASCII.jp / 2024年12月22日 15時0分
-
2【3COINS】たった100gで荷物に感じない! スリコの「超軽量折りたたみ傘」を使ってみた
マイナビニュース / 2024年12月22日 17時19分
-
3110円で買えるダイソーの「スマートフォン&タブレットホルダー」が大活躍 コンパクトにたためて端末をしっかり保持
ITmedia Mobile / 2024年12月22日 12時0分
-
4まるでBlackBerry! iPhoneに物理キーボード「Clicks Keyboard」を装着。使い心地やいかに
&GP / 2024年12月22日 22時0分
-
5【ダイソー】お風呂でハンズフリー動画視聴! ダイソーの「防滴スマホホルダー」を使ってみた
マイナビニュース / 2024年12月22日 17時24分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください