通信量40%削減を実現 非同期型の「台帳型連合学習」を開発し、物体検出分野における連合学習技術の適用を目指す
@Press / 2024年8月16日 12時30分
株式会社Rosso(ロッソ 東京都渋谷区、代表取締役:川畑 和成、以下:Rosso)は、台帳型連合学習(特許出願中)を開発し、完全非同期かつ通信量を大幅に削減した連合学習(※1)を実現しました。(40%以上の通信量削減を2024年7月31日に確認)
複雑な実装や処理が必要な従来型連合学習と比べ、台帳型は非常にシンプルな構成で実装でき、導入コストが低いのが特徴です。今後は物体検出や物体追跡分野への適用を目指します。
※1:連合学習とは、データが複数拠点に分散している状態からAIを作る仕組みを指します。従来の機械学習とは異なり、学習時にデータを1か所に集めないことが特徴です。個々で所有しているデータを中央サーバーに送る必要がないため、個人情報などプライバシーに関わるデータや拠点外部に持ち出したくない機密情報を保護しながら、データを活用することが可能です。
【従来型連合学習の課題】
・サーバー側で平均化処理を行うため、各クライアントは平均化処理を待つ同期処理が必要だった
・巨大なAIモデルを扱う場合、サーバー側に平均化処理を行うためのGPUを必要としていた
Rossoでは、これらの課題を解決し連合学習をよりシンプルで導入しやすいものとするべく、台帳型連合学習を提案します。
【Rosso開発、台帳型連合学習の概要】
台帳型連合学習技術のポイントは、下記3点です。
(1) 従来サーバー側で行っていたAIモデルの平均化処理をクライアント側で実行
→各クライアントはサーバー側での平均化処理を待つ必要がなくなり、完全に非同期で学習を進めることが可能となる
(2) サーバー側でのGPUを用いた行列演算処理が不要
→サーバーは各クライアントとネットワークで繋がっているだけでよいため、非常にシンプルな構成となり、従来型と比べて容易に導入できる
(3) 各クライアント毎の学習状況に応じて通信量を制御
→通信コストの削減が可能
画像1: https://www.atpress.ne.jp/releases/403008/LL_img_403008_1.png
台帳型連合学習のポイント
【通信量削減手法も同時に開発】
連合学習ではネットワークを介しながらAIの学習を行うため、通信量がボトルネックとなるケースもあります。当然、台帳型連合学習もその例外ではありませんが、Rossoでは台帳型連合学習に特化した最適化手法も同時に開発し、各クライアントの学習状況に応じて動的に通信量を変更できるアルゴリズムを実現しました。これにより固定された通信量で学習したケースと比較して、40%以上の通信量が削減されたことを確認しています。
また、この最適化手法は非IID(※2)なデータセットに対しても有効に働きます。例えば物体検出で連合学習を行う場合、通常は各カメラの画像の明るさや人の大きさ等、全く異なる環境で撮影されると、モデルの特徴量を集約しきれず、連合学習がうまく進みません。しかし、Rossoが提案する台帳型連合学習アルゴリズムはその点を考慮しているため、上記のようにデータの偏りが激しい環境でも十分に効果を発揮します。
※2:各クライアントのデータ分布が異なる環境
画像2: https://www.atpress.ne.jp/releases/403008/LL_img_403008_2.png
通信量を動的に制御し大幅削減
【今後の展開】
現在Rossoでは、台帳型連合学習を物体検出や物体追跡といった分野に適用させるための実験を行っています。
物体検出タスクにおいては、YOLO-NASモデルのファインチューニングにて、連合学習を用いない単体学習よりも高いスコアが出せるケースを確認しており、十分に実用に耐え得るレベルです。
また連合学習であるがゆえ、プライバシーの配慮が必要となる物体追跡タスクにおいても、その効果を発揮できるものと考えます。
台帳型連合学習と物体検出タスクを組み合わせ、クラウドサービスとして提供することも検討中です。
画像3: https://www.atpress.ne.jp/releases/403008/LL_img_403008_3.png
台帳型連合学習のスコア比較
【Rosso事業・サービス内容】
・サクッとAI https://www.rosso-solution.com/ai
・サクッとクラウド https://www.rosso-solution.com/cloud
・受託開発(AI/機械学習、webアプリケーション、インフラ構築・運用)
・AI/機械学習ソリューション提供(自然言語処理、画像/映像処理、深層学習)
・システムエンジニアリングサービス(SES)
【会社概要】
代表 : 代表取締役 川畑 和成
所在地 : 〒150-0047 東京都渋谷区神山町7-12 グランデュオ神山町5F
設立 : 2006年
資本金 : 1億円
URL : https://www.rosso-tokyo.co.jp/
【お問い合わせ先】
株式会社Rosso
〒150-0047 東京都渋谷区神山町7-12 グランデュオ神山町5F
ホームページ: https://www.rosso-tokyo.co.jp/
担当者 : 宮地 貴士
E-mail : takashi_miyaji@rosso-tokyo.co.jp
TEL : 03-6427-9037
詳細はこちら
プレスリリース提供元:@Press
【関連画像】
この記事に関連するニュース
-
リコーが700憶パラメータのLLMを発表、日・英・中の3言語に対応
マイナビニュース / 2024年8月21日 14時4分
-
リコー、日英中3言語に対応した700億パラメータの大規模言語モデル(LLM)を開発、お客様のプライベートLLM構築支援を強化
Digital PR Platform / 2024年8月21日 10時2分
-
株式会社Rosso、パラスポーツ「ボッチャ」の体験会を8月25日(日)に開催!障がい者スポーツへの興味喚起を目指す
@Press / 2024年8月16日 17時30分
-
コグネックス(Cognex)In-Sight SnAPPビジョンセンサのAI搭載カウントツールを発表
共同通信PRワイヤー / 2024年8月7日 10時4分
-
ネットワークの超基本! エンジニア1年目の教科書 第16回 通信が行われる仕組み
マイナビニュース / 2024年8月7日 7時0分
ランキング
-
1せっせと貯金するより安心できる…60歳を過ぎたら「1カ月10万円生活」をお勧めするワケ
プレジデントオンライン / 2024年8月22日 7時15分
-
2日本製鉄とJFEスチール、豪州の炭鉱に出資…高品質な石炭を安定確保へ
読売新聞 / 2024年8月22日 10時8分
-
3子どもの反抗期、実は「親のイライラ期」の可能性 近道は「親が自分の今の状態を理解すること」
東洋経済オンライン / 2024年8月22日 8時0分
-
4「朝昼夜0円サービス」愛知の喫茶チェーンの正体 パンやスイーツが無料で付く「カフェヨシノ」
東洋経済オンライン / 2024年8月22日 10時0分
-
5常にスマホを充電しておきたい人に言いたいこと 必ず知っておくべきバッテリー寿命を延ばすコツ
東洋経済オンライン / 2024年8月22日 10時0分
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/mission_close_icon.png)
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/point-loading.png)
エラーが発生しました
ページを再読み込みして
ください
![](/pc/img/mission/mission_close_icon.png)