連合学習において一部のクライアントに異常や悪意がある場合にも高精度にAIモデルを学習可能な手法を開発 ～LLM tsuzumi の学習への適用やIOWN機能としての実用化を目指す～

　日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田　明、以下「NTT」）と株式会会社NTTデータ数理システム（本社：東京都新宿区、代表取締役社長：箱守 聰、以下「NTTデータ数理システム」）は、複数のクライアント(個人や組織)でデータを保持したまま分散して学習する連合学習において、一部のクライアントに異常や悪意がある場合にも高精度にAIモデルを学習可能な学習手法を開発しました。クライアント間で統計的なデータの偏りがある場合において、耐障害性が最も優位なアルゴリズムです。
　個人情報などの機微なデータを使って複数者で学習する場合、データを手元に置いたまま安全に学習可能な連合学習が注目されています。しかし、異常な動きをする参加者がいた場合に、連合学習で得られるモデルの精度劣化を引き起こすことが知られています。
　本技術（モメンタムスクリーニング技術※1）により、すべての参加者が正常であることを前提とせず、高精度なAIモデルを分散して構築できるようになり、安全かつ安定した学習の実現ができます。本技術は機械学習分野の三大トップカンファレンスの 1 つである International Conference on Learning Representation 2024 (ICLR2024：5月7日～11日)に採択され、オーストリア・ウィーンで発表予定です。

1. 背景
　近年、組織や分野横断でデータを活用することで、新たな価値を創造することが大きく期待されています。例として、社内文書を活用した業務DXや希少疾患の医療診断を支援するAIモデルの構築などが挙げられます。
　しかし、扱われるデータは個人情報や機密情報を含むことがあり、情報漏洩のリスクなどの観点から組織間でのデータの共有は進んでいません。そこで、データを共有せず、それぞれのデータを用いて学習されたAIモデルを共有することで、それぞれのデータの特徴を反映した一つのモデルを作成する技術として連合学習が注目されています。　
　図1のように、連合学習では、複数のクライアントがそれぞれのデータを使ってローカルモデルを学習し、中央サーバは複数のローカルモデルの平均化などの処理により、単一のグローバルモデルを作成するプロセス(ラウンドと呼ぶ)を繰り返すことでAIモデルを学習します。


[画像1]https://digitalpr.jp/simg/2341/87612/700_332_2024050108115266317ab885e84.JPG