700億サイズの金融業界(銀行・証券・保険領域)特化型の大規模言語モデル(LLM)パラメーターを公開 ~「ConoHa byGMO」が提供する最新GPU「NVIDIA H100」を利用~
PR TIMES / 2023年10月10日 10時45分
Llama2をベースに、金融業界の知識をファインチューニングにより補完
株式会社GenerativeX(所在地:東京都渋谷区、以下GenerativeX)は、金融業界向けに開発した独自の大規模言語モデル(以下LLM)のファインチューニングパラメーターを公開します。
[画像1: https://prtimes.jp/i/124664/7/resize/d124664-7-00edfe7e4bd0ac24f112-0.jpg ]
■ 取り組みの概要
金融業界においては、様々な定量情報を正確に扱う必要があるため、高性能なLLMが必要不可欠です。しかし、ChatGPTのような性能の高いLLMでは社外へとデータを送信する必要があり、センシティブな情報を扱う金融業界ではLLMの活用が限定的であるという課題がありました。
そこでGenerativeXでは、オープンソースでも最大規模の700億パラメータを誇るMeta社のLlama2モデルに対して、金融業界の知識をファインチューニングにより補完することで、金融領域における高い性能を持ちながらもオンプレミスでの運用が可能な独自のLLM(LoRAアダプター)を開発・公開致しました。
https://huggingface.co/generativex/Finance-Llama-2-70b-chat_LoRA
■ 金融業界特化型の大規模言語モデルに関して
オープンソースモデルの中でも最大規模のLlama2(Llama-70B)をベースとし、金融領域に特化したパブリックなデータセットを用いたファインチューニングを行いました。モデルの学習には、LoRAや量子化などの技術と、高性能GPUを利用することで、短期間で効率的に実施することが可能となりました。このモデルは、一般的なLLMに比べて金融関連の質問への回答精度が向上しました。
今後も、銀行、証券、保険など金融領域に特化したユースケースに対応したモデルの開発を進めて参ります。
■ 金融業界の独自性とモデルの強みに関して
金融業界において、単純な数値の解析や取り扱いだけでなく、その数値から具体的なビジネス上の示唆や戦略的洞察を導き出す能力が求められます。この点を考慮してGenerativeXは、金融業界の特性を理解し、そのニーズに応える形でファインチューニングを施したモデルを開発しました。
具体的には、図のように、数値から金融業界特有の示唆や解釈を生成する能力を持たせることで、実務における意思決定の支援やビジネスの高度化に寄与いたします。
[画像2: https://prtimes.jp/i/124664/7/resize/d124664-7-e83e5c171def98f68b51-2.jpg ]
■ 開発環境に関して
本モデルの開発は、NVIDIA社の最新GPU「NVIDIA H100 Tensor コアGPU (以下 NVIDIA H100」)を利用して実施されました。これは、GMOインターネットグループ株式会社が2023年8月より国内ホスティング事業者としては初めて(※)「NVIDIA H100」を利用できるGPUホスティングサービスとして提供を開始した「ConoHa byGMO」のトライアル版に弊社が採用されたことで実現しました。「NVIDIA H100」は、旧来のGPUに比べてより高速な処理能力を発揮するため、大量の計算資源を必要とするLLMの学習・推論を短時間で行うことが可能となります。弊社では今後も、国内で最も早く「NVIDIA H100」を利用できるサービスをリリースした「ConoHa byGMO」のサービスを活用しモデルの開発等を進めて参ります。
(※)2023年9月26日時点 GMOインターネットグループ株式会社調べ
https://www.conoha.jp/ai/teaser/
■会社概要
会社名:株式会社GenerativeX
代表者:代表取締役CEO 荒木れい
所在地:東京都港区虎ノ門二丁目2番1号 住友不動産虎ノ門タワー2F
設立年月:2023年6月
コーポレートページ:https://gen-x.jp
企業プレスリリース詳細へ
PR TIMESトップへ
この記事に関連するニュース
-
マーク・ザッカーバーグ氏インタビュー「なぜAIを無料公開するのか」
ニューズウィーク日本版 / 2024年5月14日 16時0分
-
オルツ、数兆パラメータ規模の大規模言語モデル構築に着手
PR TIMES / 2024年4月26日 17時15分
-
オルツ、数兆パラメータ規模の大規模言語モデル構築に着手
共同通信PRワイヤー / 2024年4月26日 15時0分
-
ロゼッタ「Metareal AI LLM 2」に「Llama3」70Bと8Bを追加。米Meta最先端大規模言語モデルをスピーディに企業へ提供 メタリアル・グループのロゼッタ
PR TIMES / 2024年4月25日 17時15分
-
Microsoft、商用利用可のSLM「Phi-3」リリース スマホで動くモデルも
ITmedia NEWS / 2024年4月24日 8時13分
ランキング
-
1イオンの「幸せの黄色いレシート」キャンペーン。レシートを使って寄付したいけど、不良品を「返品」できなくなるの?「寄附」と「レシート保管」を両立させる方法を解説
ファイナンシャルフィールド / 2024年5月19日 5時10分
-
2コロナ禍で売上げ95%減となった「地球の歩き方」 Ⅴ字回復遂げ新分野に挑戦 岩塚製菓のおつまみスティックとコラボ
食品新聞 / 2024年5月19日 20時14分
-
3飲むヨーグルトが「乳酸菌バブル」でジリ貧の理由 市場は逆転寸前、かつての人気を取り戻せるか
東洋経済オンライン / 2024年5月19日 7時20分
-
4社員16人→200人超に “知名度ゼロ”で新潟に進出したネット広告会社「5年間の成果」
ITmedia ビジネスオンライン / 2024年5月19日 18時31分
-
5ラーメン屋経営で地獄見たプロレスラーの気づき 川田利明が向き合う「お客様は神様です」の怖さ
東洋経済オンライン / 2024年5月19日 12時30分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください