ChatGPTよりも安全を掲げる"憲法AI"の可能性 AIをトレーニングし安全･無害･誠実な出力を行う

Anthropicは新たな生成AIモデルをリリースした（画像：Anthropicのサイト）

オープンAIの独走状態に待ったをかける動きとなるのか。6月21日、AIスタートアップ企業Anthropicは、同社の生成AIモデルClaude（クロード）の最新版となるClaude 3.5 Sonnetをリリースした。このAIは一部の機能において、OpenAIの最新AIモデルであるGPT-4oを凌ぐ性能を持つと同社は主張している。

2021年に設立されたAnthropic（アンスロピック）は、OpenAIでGPT-3などの開発に関わった幹部を含む元従業員7人が共同で設立した、スタートアップ企業兼パブリック・ベネフィット・コーポレーション（公共利益を重視し、社会貢献を目的とする法人）だ。

現在はGoogleとアマゾンから支援を受けて生成AIチャットボットのClaudeファミリーを開発している。Claudeという名は、情報理論の考案者で、電気工学者・数学者のクロード・シャノンに敬意を表してつけられたという説が有力だが、Anthropicは由来を明確にはしていない。

人ではなく「憲法AI」がAIをトレーニング

Claudeは、特に安全性を重視して開発されている。その目標としては、人の役に立つこと、無害であること、誠実であることを掲げ、文脈の理解力が高く倫理的な応答を生成するAIチャットボットとして評価されている。

たとえば、2023年7月にリリースされたClaude 2.0の開発からは、上に挙げた3つの目標を実現するためにConstitutional AI（憲法AI） と呼ばれるアプローチが取り入れられた。

Constitutional AIのアプローチでは、有用で、無害で、誠実であることを保証する倫理原則を「憲法」としてClaudeのAIモデルに学習させ、これに遵守するように強化学習を施している。

ClaudeのAIモデルは自己監査機能を持ち、出力が倫理原則に違反していないかをチェックする。その結果、敵対的な質問文に対しても適切に（つまり無害な）応答を返すようになる。さらにAIはチャットを通じて継続的に学習するため、自身の応答を調整し、常により高度で安全になるよう改善される。

Constitutional AIの学習に使われた倫理原則は、Anthropicが独自に構築した原則に加え、国連の世界人権宣言やアップルの利用規約などの外部情報源を組み合わせて作成されている。

スピード感ある開発体制