OpenAI、AIが書いた文章かどうかを判定するツールを公開
ASCII.jp / 2023年2月1日 12時30分
AIが書いた可能性を5段階で判定
アメリカのAI研究開発企業OpenAIは1月31日(現地時間)、ChatGPTなどのAIが書いたテキストと人間が書いたテキストを判定するためのツール「AI Text Classifier」を無料公開した。
AI Text Classifieに1000文字以上のテキストを入力すると、ツールは判定を行い、結果はAIが生成した可能性が「とても低い(very unlikely)」「低い(unlikely)」「不明(unclear if it is)」「高い(possibly)」「とても高い(likely)」の5段階で表示される。
OpenAIは2019年にも「GPT-2 Output Detector」というツールを公開しているが、それと比較すると近年のAI生成テキストに対する信頼性が大幅に向上しているとしている。
ただしこのツールは完全に信頼できるものではない。OpenAIの英語テキストを使った実験によると、AIで書かれたテキストの26%を「AIで書かれた可能性が高い」と正しく識別(真陽性)した一方で、人間が書いたテキストをAIで書かれたものと誤って識別(偽陽性)したことが9%あったという。
この結果を受けOpenAIは、「1000文字以下のテキスト」「英語以外の言語で書かれたテキスト」「最初の1000個の素数のリストのように人間が書いてもAIが書いても変わらない事柄」などは判別の信頼性が落ちるとしている。
また、AIがこのツールの判定を回避するために再教育された場合や、AIが学習したデータセットと極端に異なる入力があった場合、正しく検出されるかどうか不明だという。
試しにAIが書いた日本語のテキスト(OpenAIのリリースをDeepLで翻訳したもの)をAI Text Classifierに通してみると、「AIが書いた可能性が高い(possibly AI-generated)」と判定された。
次に人間が書いた日本語のテキスト(ASCII.jpに掲載したニュース記事)で試すと「AIが生成した可能性は低い(unlikely AI-generated.)」と判定された。ただし最高評価は「可能性はとても低い(very unlikely AI-generated.)」なので少し迷っているようだ。
OpenAIはこのツールの有用性を調査するため、まだ不完全な状態であるにも関わらず、一般公開している。ここから得られたフィードバックなどを元にAI生成テキストの検出に関する研究を継続し、将来的にはより良い手法を提供するためだという。
また、ChatGPTが教育関係者の間で問題になっていることも認識しており、彼らと協力してChatGPTの機能と制限について議論を続けていくとしている。
この記事に関連するニュース
-
AI生成文章の検出モデルを開発 GPTシリーズで生成された日本語の文章を高精度に検出
PR TIMES / 2024年7月2日 10時0分
-
生成AIツール「潜在ニーズの探索」をGPT Storeで提供開始!新規事業開発を加速させる生成AIツールズ第3弾
PR TIMES / 2024年6月28日 14時40分
-
WindowsでChatGPTを使うならPowerToysの新機能「Advanced Paste」で効率UP!
ASCII.jp / 2024年6月18日 9時0分
-
アップル、OpenAIとパートナーシップ 最新版「ChatGPT」Siriから利用可能に
ASCII.jp / 2024年6月11日 11時0分
-
Microsoftが生成AI悪用を可能にするAIジェイルブレイクを指摘、回避策も提示
マイナビニュース / 2024年6月5日 19時2分
ランキング
-
1迷惑メール転送すると送信元が行政処分される? Xでアドレス拡散、宛先の「迷惑メール相談センター」が明かす実情
J-CASTニュース / 2024年7月2日 11時0分
-
2新紙幣「一万円札と千円札の1の字が違う」SNSに違和感覚えるという声も…… 「1」のデザインが違う理由は?
ねとらぼ / 2024年7月3日 18時15分
-
3ヤマト運輸のLINEに「ありがとニャン」と返信したら…… “意外な機能”に「知らなかった」と驚き
ねとらぼ / 2024年7月4日 8時0分
-
4老後の趣味で気軽に“塗り絵”を始めて1年後…… めきめき上達した70代女性の美麗な水彩画に「本当にすごい…」「感動です」
ねとらぼ / 2024年6月29日 22時0分
-
5藤本美貴&庄司智春、真っ昼間に変装ゼロで“腕絡め”デート 大勢の注目浴びるも“モザイク9割”の結果で「笑った」
ねとらぼ / 2024年7月2日 15時1分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください