リコー、モデルマージの手法で700憶パラメータの日本語LLMを開発
マイナビニュース / 2024年9月30日 18時29分
リコーは9月30日、米Meta Platformsが提供する「Meta-Llama-3-70B」の日本語性能を向上させた「Llama-3-Swallow-70B」をベースに、Instructモデルからベクトル抽出したChat Vectorとリコー製のChat Vectorをマージして日本語LLM(Large Language Models:大規模言語モデル)を開発したことを発表した。
昨今は企業が業務で活用できる高性能なLLMのニーズが高まっているが、LLMの追加学習はコストが高く、時間もかかるという課題がある。そこで、複数のモデルを組み合わせてより高性能なモデルをつくる「モデルマージ」が効率的な開発手法として注目されいる。
代表的な日本語のベンチマークとされる「ELYZA-tasks-100」において、今回リコーが開発したLLMはGPT-4と同等レベルのスコアを示したという。また、比較した他のLLMはタスクによっては英語で回答するケースもあったというが、リコーのLLMは全てのタスクに対して日本語で回答して高い安定性を示したとのことだ。
(熊谷知泰)
外部リンク
この記事に関連するニュース
-
リコー、モデルマージによってGPT-4と同等の高性能な日本語LLM(700億パラメータ)を開発
Digital PR Platform / 2024年9月30日 11時3分
-
Meta、画像推論能力と軽量・高機能の2つのモデルを持つ「Llama 3.2」リリース
マイナビニュース / 2024年9月27日 16時58分
-
Meta、無料で商用可のLLM「Llama 3.2」リリース マルチモーダルモデルも
ITmedia NEWS / 2024年9月26日 8時33分
-
ELYZA、日本語LLMとしての性能向上を図った「Llama-3-ELYZA-JP-120B」発表
マイナビニュース / 2024年9月19日 16時40分
-
チューリング、日本初の自動運転向けVLA(Vision-Language-Action)モデルデータセット「CoVLA Dataset」を発表、WACV2025に論文が採択
PR TIMES / 2024年9月10日 11時15分
ランキング
-
1「全く動けません」清水良太郎がフェスで救急搬送 事故動画で原因が明らかに「独りパイルドライバー」「これは本当に危ない!!」
ねとらぼ / 2024年9月30日 14時40分
-
2「時給1万円のメールオペレーター」など不自然な求人多数 クラウドワークスサイトを無断利用した偽サイトに注意
ITmedia NEWS / 2024年9月30日 16時9分
-
3まさかの漢字14文字! 「蟹をほじくる道具」の名前知ってる? 25万いいねの反響と“長い名前”に驚きの声「声優さんもかみそう」
ねとらぼ / 2024年9月30日 12時30分
-
4大沢たかお、広大プールを独り泳ぐ“バキバキ姿”が絵になり過ぎ 盛り上がる筋肉の上半身に「50代とは思えない」「彫刻みたい」
ねとらぼ / 2024年9月30日 15時35分
-
5「PS5 Pro」の価格は高い? それとも妥当?─『モンハンワイルズ』で再評価の声もある新型機について、あなたの評価は?【アンケート】
インサイド / 2024年9月30日 18時0分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください