オープンソースLLMの日本語能力を高めた「Llama 3.1 Swallow」を公開
共同通信PRワイヤー / 2024年10月8日 14時0分
英語力を維持しながら日本語の理解・生成・対話能力を強化した大規模言語モデル
【ポイント】
○大規模言語モデルLlama 3.1の英語の能力を維持しながら、日本語の能力を強化
○Llama 3.1ライセンスにより、商用利用だけでなく他のモデルの改良にも利用可能
○高度な日本語処理が求められる多くの場面で、生成AI技術の利活用を推進
【概要】
東京科学大学(Science Tokyo) 情報理工学院 情報工学系の岡崎直観教授と横田理央教授らの研究チームと国立研究開発法人 産業技術総合研究所(産総研)は、日本語能力に優れた大規模言語モデル(「Swallow」シリーズの最新版である「Llama 3.1 Swallow」を公開しました(公開リンク参照)。今回、80億パラメータ(8B)、700億パラメータ(70B)の規模に対し、それぞれベース(base)モデルと指示チューニング(instruct)済みモデル、合計4種類のモデルを公開しました。本モデルはLlama 3.1ライセンスで公開されているため、商用利用だけでなく、他のモデルの改良などにも利用できます。
Science Tokyoと産総研の研究チームは、英語の言語理解・生成や対話で高い能力を持つ大規模言語モデル(米Meta社 Llama 3.1)の能力をほぼ落とさずに、日本語の言語理解・生成や対話能力を高めることに成功しました。特に、80億パラメータのモデルは、同規模の既存の大規模言語モデルよりも高い日本語理解・生成能力を有することが確認されました。日本語と英語の両方において高い性能を達成するため、研究チームは学習に用いる日本語ウェブコーパスの大規模化・高品質化や、指示チューニングデータの自動生成などに取り組みました。
公開リンク: https://swallow-llm.github.io/llama3.1-swallow.ja.html
プレスリリースの詳細はこちら
https://www.aist.go.jp/aist_j/press_release/pr2024/pr20241008_2/pr20241008_2.html
関連URL:https://kyodonewsprwire.jp/release/202410077687
本プレスリリースは発表元が入力した原稿をそのまま掲載しております。詳細は上記URLを参照下さい。また、プレスリリースへのお問い合わせは発表元に直接お願いいたします。
この記事に関連するニュース
-
ストックマーク 産総研グループと協業し生成AIによる 「産学連携ビジネスマッチング提案システム」の開発へ
PR TIMES / 2024年10月15日 14時15分
-
Gemma 2の日本語継続事前学習モデル「Gemma 2 Baku 2B」シリーズを公開
PR TIMES / 2024年10月4日 17時40分
-
リコー、モデルマージの手法で700憶パラメータの日本語LLMを開発
マイナビニュース / 2024年9月30日 18時29分
-
リコー、モデルマージによってGPT-4と同等の高性能な日本語LLM(700億パラメータ)を開発
Digital PR Platform / 2024年9月30日 11時3分
-
ELYZA、経済産業省およびNEDOが推進する「GENIAC」の支援の元、新たな日本語LLMを開発、成果を公開
PR TIMES / 2024年9月20日 17時40分
ランキング
-
1「PASMO」って10年以上使わないと失効するんですか? 母がひさしぶりに上京してくるのですが、チャージしていた「残高」もなくなってしまうのでしょうか…?
ファイナンシャルフィールド / 2024年10月19日 4時30分
-
2コストコとイケアはなぜ時給が高いのか? 日本企業の「人手不足」はただの言い訳に過ぎない
ITmedia ビジネスオンライン / 2024年10月19日 6時15分
-
3お父さんは海にまいたわ…20年、父と絶縁状態の「54歳長男」が緊急帰国。「57歳長女」の仰天発言に「ギョッ」とするも一転、号泣したワケ
THE GOLD ONLINE(ゴールドオンライン) / 2024年10月19日 10時45分
-
4「超おトクに空港でぜいたくし放題だった“神カード”」が衝撃の改悪!? それでもおすすめな理由は?
乗りものニュース / 2024年10月19日 8時42分
-
5今も1杯430円「スガキヤ」安くやってこられた理由 地元密着企業の、こんなにもある強さの秘訣
東洋経済オンライン / 2024年10月19日 8時30分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください