NVIDIA、AIトレーニング用合成データ生成モデル「Nemotron-4 340B」を商用利用可でリリース
ITmedia NEWS / 2024年6月16日 7時51分
![NVIDIA、AIトレーニング用合成データ生成モデル「Nemotron-4 340B」を商用利用可でリリース](https://media.image.infoseek.co.jp/isnews/photos/itmedia_news/itmedia_news_20240616060_0-small.jpg)
米NVIDIAは6月14日(現地時間)、LLMのトレーニング用オープン合成データ生成モデルシリーズ「Nemotron-4 340B」を発表した。独自のオープンモデルライセンス(PDF)の下、「あらゆる業界の商用アプリケーション向けLLM」のトレーニングに使うデータセットを合成できるとしている。つまり、商用利用も可能だ。
LLMの開発では、高品質で多様なデータセットでのトレーニングが不可欠だが、ネットなどから収集したデータには偏りや不正確なものが含まれる可能性があり、量にも限りがある。そのため、合成データの生成に注目が集まっている。
Nemotron-4 340Bには、合成データ生成のパイプラインを形成するbase、instruct、rewardの3つのモデルが含まれる。baseモデルは、9兆個のトークでトレーニングされたカスタマイズの基盤となるモデル。独自データを組み込むことで、このモデルをカスタマイズできる。instructモデルは、現実世界のデータの特性を模倣した多様な合成データを生成するよう設計されており、ドメイン固有の合成トレーニングテキストを生成する。rewardモデルは、生成された出力の品質を評価するためのモデル。instructの出力が、設定した基準とどの程度一致しているかに基づいてスコアを付けて高品質の応答を促進し、AIシステムの改善を促す。
NVIDIAは、このモデルは「8つのGPUを備える単一のDGX H100に収まるサイズになっている」としている。
モデルは、オープンソースフレームワークNvidia NeMoおよびNvidia TensorRT-LLMライブラリを使用した推論用に最適化されている。すべてのデータはHuggingfaceで入手できる。
外部リンク
この記事に関連するニュース
-
Nejumi LLMリーダーボードがアップデートされ、安全性評価など多数の評価を追加
PR TIMES / 2024年7月1日 19時45分
-
オンプレミス導入も可能な高性能日本語LLM「Llama 3 neoAI 8B Chat v0.1」を公開
PR TIMES / 2024年6月26日 16時45分
-
国産LLM初、AIエージェントとして使える「KARAKURI LM 8x7B Instruct v0.1」を一般公開
PR TIMES / 2024年6月20日 11時15分
-
「Data Intelligence Platform」を掲げるDatabricksが年次カンファレンス開催
マイナビニュース / 2024年6月13日 15時22分
-
DataRobot、生成AIへのリアルタイム介入可能なガードレール、および生成AIアセスメントを導入
PR TIMES / 2024年6月6日 16時15分
ランキング
-
1老後の趣味で気軽に“塗り絵”を始めて1年後…… めきめき上達した70代女性の美麗な水彩画に「本当にすごい…」「感動です」
ねとらぼ / 2024年6月29日 22時0分
-
2シャオミ、ペンを発売 「書き心地は良いが、タブレットとペアリングはできません」と公式
ITmedia NEWS / 2024年7月3日 8時30分
-
3「ロンハー」有吉弘行のヤジに指摘の声「酷かった」「凄く悲しい言葉」 42歳タレントが涙浮かべる
ねとらぼ / 2024年7月2日 15時31分
-
4NFTでバンクシーを分割販売、アート市場の民主化目指すUAEスタートアップ10101.art
Techable / 2024年7月3日 12時0分
-
5坂本龍馬はそんなこと言わない! 居酒屋で発見された“ウソすぎる名言”が話題「おもろすぎる」「せめて土佐弁で」
ねとらぼ / 2024年7月2日 20時30分
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/mission_close_icon.png)
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/point-loading.png)
エラーが発生しました
ページを再読み込みして
ください
![](/pc/img/mission/mission_close_icon.png)