「Data Intelligence Platform」を掲げるDatabricksが年次カンファレンス開催

Everyone wants AIについて、ゴディシ氏はベンダーが提供するLLM(大規模言語モデル)とオープンソースで提供するLLMのベンチマークを示しながら、最近ではオープンソースのLLMがベンダーが提供するLLMに追随しつつあるという。

そのうえで、同氏は「どのLLMであっても関係なく、独自のデータでモデリングし、ユースケースを創出できるものを求めています。つまり、自社のユースケースに使えるか否かに気を配っているほか、85%のユースケースは生成AIの本番環境に至っておらず、生成AIを自社に取り込み、データを活用して本番環境で使えるかにかかっています。そのためにはモデルの質を高くするとともにコストを抑え、プライバシーを担保した形にするべきです」と話す。

Security and privacy are under pressureに関しては、世界的な対応策が立ち上がりつつあり、AI活用に伴うレギュレーションとデータ保護、サイバー攻撃の領域で議論が交わされている。とは言え、構造化データ、非構造化データ、AIモデル、Notebookといったデータ資産全体のガバナンスを担保することは難しいとのことだ。

Data estate is fragmentedでは、生成AIやML、BIツール、DWH(データウェアハウス)、ストリーミング、ガバナンスといった多くのソフトウェアがあるため状況の把握が困難になっていることに加え、重複していることから複雑性が増し、コストも増大してしまっている状況を指摘。
OSS化したUnity Catalogでデータのセキュリティ、プライバシーを担保

そのため、同社ではData Intelligence Platformにより、これらの課題を解決する。一環として、イベント1週間前となる6月4日には大規模な分析テーブル向けのフォーマット「Apache Iceberg」を使用して、クラウドに保存されたデータの最適化に強み持つスタートアップの米Tabularの買収を発表。

すでに、Databricksではオープンソースストレ―ジレイヤのDelta Lakeを提供しているが、Tabularの買収により広範なユーザーが使うApache Icebergに対応。ゴディシ氏は「ユーザーが“このテーブルは、このフォーマットだと使えない”という状況を生み出したくなかった。フォーマットにかかわらず、すべて同じように標準的に使えるようにしたいと考えたから買収しました。Delta LakeとApache Icebergを融合することで、標準化が可能になります」と説明した。