富士通など8者、富岳で学習した130億パラメータのLLM「Fugaku-LLM」を公開
マイナビニュース / 2024年5月10日 14時43分
東京工業大学、東北大学、富士通、人工知能研究所、理化学研究所、名古屋大学、サイバーエージェント、Kotoba Technologiesは5月10日、理化学研究所のスーパーコンピュータ「富岳」を用いて学習した日本語LLM(大規模言語モデル)「Fugaku-LLM」を公開した。
○共同研究開発の開始から1年で公開
今回、東工大 学術国際情報センターの横田理央教授の研究チームと、東北大学 大学院情報科学研究科の坂口慶祐准教授、富士通、人工知能研究所の白幡晃一シニアプロジェクトディレクター、理化学研究所のMohamed Wahib(モハメド・ワヒブ)チームリーダー、名古屋大学 大学院工学研究科の西口浩司准教授、サイバーエージェント AI事業本部AI Labの佐々木翔大リサーチサイエンティスト、Kotoba Technologiesの小島熙之CEOが共同研究開発を行った。
昨今では米国を中心にLLMの開発が行われ、研究開発、経済社会、安全保障などあらゆる場面において変革が起きており、米国以外の国でも自国でLLMを開発するために莫大な人的資源や計算資源を投入している。
日本でもAI研究のための計算資源として、日本のスーパーコンピュータのフラッグシップシステムである富岳に寄せられる期待は大きく、大規模な分散並列計算を実施するための環境整備が求められていたという。
そこで、東京工業大学、東北大学、富士通、理化学研究所は2023年5月よりLLMの共同研究開発を開始し、同8月からは名古屋大学、サイバーエージェント、Kotoba Technologiesが参加した。
○「Fugaku-LLM」の概要
LLMを学習する際の演算速度を既存技術の6倍、通信速度を3倍に高速化することに成功し、演算高速化についてはTransformerの性能を富岳上で最適化するため、深層学習フレームワーク「Megatron-DeepSpeed」を富岳に移植、密行列積ライブラリのTransformer向けに高速化を行った。
通信高速化については3種類の並列化を組み合わせた富岳向け通信性能最適化とTofuインターコネクトD(富岳のノード間接続に用いられる6次元トーラスのトポロジーを持つ高速なネットワーク)上で集団通信の高速化を実施。
通常、LLMの学習にはGPUが用いられるが、LLMの学習のためにGPU不足が起きており、最新のGPUを大量に入手することは困難となっている中、GPUではなく富士通製の国産CPUを中央演算処理装置とした富岳を用いてLLMを学習できたことは、日本の半導体技術の活用や、経済安全保障の観点からも重要だという。
-
- 1
- 2
この記事に関連するニュース
-
スーパーコンピュータ「富岳」を用いてGraph500の世界第1位を獲得
PR TIMES / 2024年5月14日 15時45分
-
スーパーコンピュータ「富岳」の世界ランキング結果について
PR TIMES / 2024年5月14日 10時15分
-
2024年6月版スパコンランキングTOP500が発表、米国の「Frontier」が5連覇を達成
マイナビニュース / 2024年5月13日 18時59分
-
スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開
PR TIMES / 2024年5月10日 17時15分
-
理研、IBMの次世代量子システムをスーパーコンピュータ「富岳」に連携
PR TIMES / 2024年5月1日 13時40分
ランキング
-
1Googleドライブ、カーソルを合わせるだけでビデオのプレビューが可能に
マイナビニュース / 2024年5月20日 18時40分
-
2モトローラの新ミドル機は控えめ価格なのに、FeliCa&防水&薄型軽量に美しいデザインと贅沢な1台
ASCII.jp / 2024年5月19日 12時0分
-
3富士フイルム新機種に重くのしかかる為替レート 「X-T50」の値段は「X-T30 II」の倍以上に
ITmedia NEWS / 2024年5月18日 7時20分
-
4Apple Watchを外出時にほぼ持ち出さなくなった理由
ITmedia Mobile / 2024年5月19日 10時5分
-
5「思わず笑った」 ハードオフに4万4000円で売られていた“まさかのフィギュア”に仰天 「玄関に置いときたい」
ねとらぼ / 2024年5月19日 12時0分
複数ページをまたぐ記事です
記事の最終ページでミッション達成してください