NECとHortonworks:SX-Aurora TSUBASAを活用したビッグデータ向け高速分析プラットフォームを共同開発
MotorFan / 2018年10月20日 8時55分
日本電気(NEC)とHortonworksは、NECの次世代イノベーションプラットフォーム「SX-Aurora TSUBASA」上で、AIにも利用可能なビッグデータ向け高速分析プラットフォームを共同開発する。
2017年9月にビッグデータ活用における大規模分散処理プラットフォーム分野での戦略的協業の強化を発表(注1)した両社は、より幅広い業種や分野でビックデータの高速かつ高度な分析を可能にするため、両社の強みを活かしたソリューション基盤を、2018年度中に提供予定。また、今回の共同開発の成果はオープンソース(OSS)として公開を予定しており、多様な環境や様々な業種ごとのユースケースで利用できるようにする。
■ 共同開発の内容
・「SX-Aurora TSUBASA」が、Hadoop/Spark領域での代表的なリソース管理/分散アプリケーション管理基盤である「YARN(ヤーン、注2)」に対応することで、従来のHadoop/Sparkによるビッグデータ解析プログラムが「SX-Aurora TSUBASA」上で管理可能となるため、容易なアプリケーション連携とシステム管理者の負荷軽減を実現する。「YARN」を利用している一般的なシステム構成では、従来(注3)同等の解析を、最大99%少ないサーバリソースで実行できる。
・NECのミドルウエア「Frovedis(フロベディス、注4)」をSparkに組み込むことにより、「SX-Aurora TSUBASA」上でのSparkを使用したAI(機械学習)アプリケーションが、従来(注3)のサーバ比で最大100倍高速に動作。Spark上で、機械学習用のライブラリ「MLlib(エムエルリブ、注5)」などを活用したAI・ビッグデータ処理を高速に実行したい利用者へ、通常のHadoop/Sparkと同様な管理環境で利用可能な使いやすいプラットフォームとして提供していく。
またNECは、「SX-Aurora TSUBASA」をHadoopアプライアンス製品「Data Platform for Hadoop」に適用し、AI・ビッグデータ分析をより高速かつ正確に実行できる環境を提供することで、顧客のビジネス成果向上に貢献する。
NEC執行役員・西村知泰氏のコメント
「HortonworksとNECが、「SX-Aurora TSUBASA」向けにSpark環境の共同開発を合意できたことはNECにとって大変有意義なことです。今回の協業によって、先端のSpark上でAIやビッグデータをご利用のお客様に、これまでの常識を超えた高速計算環境を提供していきます」
ホートンワークスジャパン執行役員社長・廣川裕司氏のコメント
「機械学習による分析に極めて高い精度を求めるには、膨大なデータを対象にする必要があり、SX-Aurora TSUBASAの高速処理能力とHortonworks HDPが提供するスケーラビリティのコンビネーションは、グローバル市場に於いて革新的な選択肢として注目を集めると確信しています」
なおNECは、「SX-Aurora TSUBASA」を、下記2イベントに出展する。
・「DataWorks Summit Tokyo 2018」(会期:10/16(火)、会場:赤坂インターシティAIR)
https://jp.dataworkssummit.com/tokyo-2018/
・NECグループが開催する「C&Cユーザーフォーラム&iEXPO2018」(会期:11/8(木)~11/9(金)、会場:東京国際フォーラム)
「C&Cユーザーフォーラム&iEXPO2018」について
https://uf-iexpo.nec/
(注1) NECとHortonworks、ビッグデータの分散処理領域における戦略的協業を強化(2017.9.25) https://jpn.nec.com/press/201709/20170925_01.html
(注2) Apache Hadoop/Spark環境で、CPUやメモリなどのコンピューティングリソースの各ジョブへの割り付けやスケジュールを管理する基盤
(注3) Xeon (Gold 6126) 1ソケットとのNEC比較結果。
(注4) NECの中央研究所で開発した技術を組み込んだ機械学習向けのデータ処理ミドルウェア(「NEC、ベクトル型コンピュータに適した機械学習向けデータ処理技術を開発」https://jpn.nec.com/press/201707/20170703_02.html)
OSSとして公開(https://github.com/frovedis/frovedis)
(注5) Java, Scala, Python, 及びR言語から利用可能なApache Spark用の機械学習ライブラリ
外部リンク
この記事に関連するニュース
-
急拡大するAIビジネス、高まる電力需要!ウラン投資を始める三つの理由
トウシル / 2024年7月25日 7時30分
-
SBテクノロジー、「Microsoft AzureのAIおよびMachine Learning」を取得
週刊BCN+ / 2024年7月19日 15時22分
-
富士通とCohere、企業向け生成AIの提供に向けた戦略的パートナーシップを締結し、共同開発を開始
PR TIMES / 2024年7月16日 17時15分
-
住友ゴム工業がDataikuを採用し、製造工程の効率化と全社的なデータドリブンカルチャーを推進
PR TIMES / 2024年7月16日 15時15分
-
NECネクサソリューションズ、Clovernet AI(品質向上モデル)「試作提案機能」を強化
PR TIMES / 2024年7月8日 12時45分
ランキング
-
1「1人で食事が常態化」現役世代の孤食という問題 コミュニティーディナーを始めた会社の意図
東洋経済オンライン / 2024年7月29日 14時0分
-
2「再訪したい国」日本が世界首位 人気地域に人出集中する傾向
共同通信 / 2024年7月29日 16時51分
-
3エンジンを冷やす「冷却水」は“水道水”で代用できる? 漏れ「放置」は絶対NG! 経年車で起こるトラブルとは
くるまのニュース / 2024年7月29日 14時50分
-
4トランプ氏がもし撃たれていたら? AR-15銃の恐怖の殺傷力(シェリーめぐみ)
日刊ゲンダイDIGITAL / 2024年7月29日 9時26分
-
5妻への「別にいいけど」はケンカの火種でしかない 夏休みは「家庭内の不適切発言」を回避する機会
東洋経済オンライン / 2024年7月29日 8時0分
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/mission_close_icon.png)
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/point-loading.png)
エラーが発生しました
ページを再読み込みして
ください
![](/pc/img/mission/mission_close_icon.png)