NECとHortonworks:SX-Aurora TSUBASAを活用したビッグデータ向け高速分析プラットフォームを共同開発
MotorFan / 2018年10月20日 8時55分
日本電気(NEC)とHortonworksは、NECの次世代イノベーションプラットフォーム「SX-Aurora TSUBASA」上で、AIにも利用可能なビッグデータ向け高速分析プラットフォームを共同開発する。
2017年9月にビッグデータ活用における大規模分散処理プラットフォーム分野での戦略的協業の強化を発表(注1)した両社は、より幅広い業種や分野でビックデータの高速かつ高度な分析を可能にするため、両社の強みを活かしたソリューション基盤を、2018年度中に提供予定。また、今回の共同開発の成果はオープンソース(OSS)として公開を予定しており、多様な環境や様々な業種ごとのユースケースで利用できるようにする。
■ 共同開発の内容
・「SX-Aurora TSUBASA」が、Hadoop/Spark領域での代表的なリソース管理/分散アプリケーション管理基盤である「YARN(ヤーン、注2)」に対応することで、従来のHadoop/Sparkによるビッグデータ解析プログラムが「SX-Aurora TSUBASA」上で管理可能となるため、容易なアプリケーション連携とシステム管理者の負荷軽減を実現する。「YARN」を利用している一般的なシステム構成では、従来(注3)同等の解析を、最大99%少ないサーバリソースで実行できる。
・NECのミドルウエア「Frovedis(フロベディス、注4)」をSparkに組み込むことにより、「SX-Aurora TSUBASA」上でのSparkを使用したAI(機械学習)アプリケーションが、従来(注3)のサーバ比で最大100倍高速に動作。Spark上で、機械学習用のライブラリ「MLlib(エムエルリブ、注5)」などを活用したAI・ビッグデータ処理を高速に実行したい利用者へ、通常のHadoop/Sparkと同様な管理環境で利用可能な使いやすいプラットフォームとして提供していく。
またNECは、「SX-Aurora TSUBASA」をHadoopアプライアンス製品「Data Platform for Hadoop」に適用し、AI・ビッグデータ分析をより高速かつ正確に実行できる環境を提供することで、顧客のビジネス成果向上に貢献する。
NEC執行役員・西村知泰氏のコメント
「HortonworksとNECが、「SX-Aurora TSUBASA」向けにSpark環境の共同開発を合意できたことはNECにとって大変有意義なことです。今回の協業によって、先端のSpark上でAIやビッグデータをご利用のお客様に、これまでの常識を超えた高速計算環境を提供していきます」
ホートンワークスジャパン執行役員社長・廣川裕司氏のコメント
「機械学習による分析に極めて高い精度を求めるには、膨大なデータを対象にする必要があり、SX-Aurora TSUBASAの高速処理能力とHortonworks HDPが提供するスケーラビリティのコンビネーションは、グローバル市場に於いて革新的な選択肢として注目を集めると確信しています」
なおNECは、「SX-Aurora TSUBASA」を、下記2イベントに出展する。
・「DataWorks Summit Tokyo 2018」(会期:10/16(火)、会場:赤坂インターシティAIR)
https://jp.dataworkssummit.com/tokyo-2018/
・NECグループが開催する「C&Cユーザーフォーラム&iEXPO2018」(会期:11/8(木)~11/9(金)、会場:東京国際フォーラム)
「C&Cユーザーフォーラム&iEXPO2018」について
https://uf-iexpo.nec/
(注1) NECとHortonworks、ビッグデータの分散処理領域における戦略的協業を強化(2017.9.25) https://jpn.nec.com/press/201709/20170925_01.html
(注2) Apache Hadoop/Spark環境で、CPUやメモリなどのコンピューティングリソースの各ジョブへの割り付けやスケジュールを管理する基盤
(注3) Xeon (Gold 6126) 1ソケットとのNEC比較結果。
(注4) NECの中央研究所で開発した技術を組み込んだ機械学習向けのデータ処理ミドルウェア(「NEC、ベクトル型コンピュータに適した機械学習向けデータ処理技術を開発」https://jpn.nec.com/press/201707/20170703_02.html)
OSSとして公開(https://github.com/frovedis/frovedis)
(注5) Java, Scala, Python, 及びR言語から利用可能なApache Spark用の機械学習ライブラリ
外部リンク
この記事に関連するニュース
-
KNIME機械学習自動化パッケージの「デスクトップ版」提供開始
PR TIMES / 2024年4月24日 15時40分
-
量子コンピューティングクラウドサービス「Fixstars Amplify」、 「NEC Vector Annealing サービス」を標準マシンに追加して提供開始
PR TIMES / 2024年4月16日 14時15分
-
量子コンピューティングクラウドサービス「Fixstars Amplify」、「NEC Vector Annealing サービス」を標準マシンに追加して提供開始
PR TIMES / 2024年4月16日 13時45分
-
NECプラットフォームズ、コンパクトボックス型コントローラ拡張ボックスモデルにおいて組込み向け2枚幅GPU搭載に最適な新モデルを発売
PR TIMES / 2024年4月11日 11時45分
-
Google Cloud上でAIエージェントを迅速に構築するツール「Vertex AI Agent Builder」
マイナビニュース / 2024年4月10日 13時16分
ランキング
-
167歳・月の年金7万円「年金制度を信用していなかった」女性の後悔
オールアバウト / 2024年5月5日 20時5分
-
2退職後のがん患者にとって「幸せな食事」とは何か…療養食開発者が味以上にこだわったこと
日刊ゲンダイDIGITAL / 2024年5月6日 9時6分
-
3しゃぶしゃぶ食べ放題「しゃぶ葉」が好調。競合店から“圧倒的な大差”をつけるポイントとは
女子SPA! / 2024年5月3日 8時46分
-
4国民ブチギレ!? なぜ「13年」で”自動車税”高くなるのか 軽自動車は20%加算も!? 「やってらんない税」「税金安くしろよ」の声上がる 理不尽な重課措置の仕組みとは
くるまのニュース / 2024年5月3日 12時0分
-
5枯れたミントを畑に捨てたら…3年後に「地獄絵図」、 繁殖力に地主も後悔「土の総入れ替えしかない」
まいどなニュース / 2024年5月3日 7時10分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください