オルツ、ハルシネーションを自動スコアリングし発見可能とする技術を開発
マイナビニュース / 2024年5月9日 15時10分
パーソナルAIの開発および実用化を進めるオルツは5月9日、LLM(Large Language Models:大規模言語モデル)におけるハルシネーションをスコアリングする手法の開発に成功したことを発表した。同社の「alt developer」のAPIサービスを通じて提供を開始している。
○開発技術の概要
生成AIのハルシネーションとは、AIがまるで幻覚を見ているかのように、正当性がなく、事実に基づかない虚偽の回答をする現象。LLM(Large Language Models:大規模言語モデル)やAIによる誤った情報出力は企業や個人に深刻な信頼問題を引き起こす可能性があるだけでなく、生成AIの今後の応用にも大きな障壁となる。
これに対しオルツは独自のLLM開発の経験を生かして、ハルシネーション問題を解決する研究開発を続けてきたという。今回、ハルシネーションを解決する方法の一つとして、ハルシネーションが発生するか否かを判定してその発生確率(ハルシネーション・スコア)を自動的に評価できる手法「ハルシネーション自動評価エンジン」を開発したとのことだ。
○ハルシネーション自動評価エンジン
今回同社が開発したエンジンは一貫性を重視してハルシネーションの評価を行う。具体的には、同じ入力データに基づいて複数の生成プロセスを行い結果を比較するアプローチにより、生成された内容における不一致や矛盾を特定し、これに基づいて学習データや事実に基づかない不正確な生成物が生じているかどうかを確率的に評価する手法だ。
開発段階における実験においては、ハルシネーション自動評価エンジンはJcommonsenseQAデータセットから作成した擬似評価セットに対し、72%の正解率でハルシネーションの判定を実現。同社が開発したLLMのLHTM-OPTだけではなく、GPT-3.5、Llama2などのハルシネーションもスコアリング可能だという。
(熊谷知泰)
外部リンク
この記事に関連するニュース
-
富士通、ナレッジグラフとLLMを融合する研究開発を強化し生成AI活用を加速
マイナビニュース / 2024年5月17日 17時3分
-
オルツ、LLMハルシネーションの自動評価エンジンを開発
PR TIMES / 2024年5月9日 13時45分
-
オルツ、LLMハルシネーションの自動評価エンジンを開発
共同通信PRワイヤー / 2024年5月9日 11時0分
-
オルツとStability AI、画像生成AIの新たなユースケースの検討を開始
マイナビニュース / 2024年5月8日 17時36分
-
オルツが数兆パラメータ規模のLLM構築に着手、実運用に適した性能を追求
マイナビニュース / 2024年4月26日 16時18分
ランキング
-
1富士フイルム新機種に重くのしかかる為替レート 「X-T50」の値段は「X-T30 II」の倍以上に
ITmedia NEWS / 2024年5月18日 7時20分
-
2モトローラの新ミドル機は控えめ価格なのに、FeliCa&防水&薄型軽量に美しいデザインと贅沢な1台
ASCII.jp / 2024年5月19日 12時0分
-
3「思わず笑った」 ハードオフに4万4000円で売られていた“まさかのフィギュア”に仰天 「玄関に置いときたい」
ねとらぼ / 2024年5月19日 12時0分
-
4「現場を知らなすぎ」 政府広報が投稿「令和の給食」写真に批判続出…… 識者が指摘した“学校給食の問題点”
ねとらぼ / 2024年5月18日 7時30分
-
5新鮮なバナナを60日放置→やせたかなしい姿に…… タイムラプスで見る驚きの変化に「私のバナナはいつもこうなる」などの声【海外】
ねとらぼ / 2024年5月19日 21時0分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください