Hadoopの生みの親Doug Cutting氏が語るHadoopの今と未来

EnterpriseZine / 2014年8月7日 14時0分

 2014年7月8日、都内で「Hadoop Conference Japan 2014」が開催された。今回の事前参加登録者数は1,296名。これまでは1,000から1,100名くらいの参加者数だったので、若干の増加に止まった。しかしながら内訳は初めて参加する人の割合が65%と高く、人数は大きく増えなかったがHadoopユーザーの裾野が広がりつつあることを表しているようだ。

 そんなHadoop Coherence Japanには、今年はキーノートのスピーカーに「Hadoopの生みの親」としても有名なDoug Cutting氏が来日し講演を行った。現在は主要Hadoopディストリビューターの1つであるClouderaのチーフ・アーキテクトでもあるCutting氏に、キーノート講演後にHadoopの現状とこれからについて話を訊いた。

■みんなが使うにはオープンソースであることが重要

 ―大容量のデータを分散処理コンピューティングで効率的に処理できるバッチ処理エンジンとして登場したHadoopですが、そもそもこれを構築しようとしたきっかけはどんなことだったのでしょうか?

 Cutting:Googleの発表論文を読んだ際にインスピレーションを受けました。この新しいデータテクノロジーは、他の人たちも使いたいのではと思ったのです。そして、これを人々が活用するにはオープンソース・ソフトウェアがいいとも思いました。

 私自身、ビッグデータを管理するのに拡張性のある安価な仕組みを求めていました。この要求は一般的なものではありますが、たとえばWebの世界における検索のようなもののためには十分な予算がありません。安価であることは重要なニーズでもありました。さらに限られた用途ではなく、汎用的な仕組みが欲しかったというのもあります。

 信頼性ある分散型システムを作るのは、難しいものがありました。たとえば、100台のマシンで分散して動くようにするのは難しいのです。なので100台でワークロードを容易に共有できれば価値がある。100台を1つとして動かせれば、処理を分散させるテクノロジーをユーザーが再構築する必要もありません。

 ―そういうきっかけで生まれたHadoopは、ビッグデータの追い風もあり一気に普及してきた感もあります。この普及は想定の範囲内でしたか?

 Cutting:今の普及状況は、私の予想を遙かに上回るものです。当初は、Hadoopは検索エンジンを構築しているような人たちに有用だろうと思っていました。小売業や金融機関などで利用されるとは想像もしていませんでした。

EnterpriseZine

トピックスRSS

ランキング