「Data Intelligence Platform」を掲げるDatabricksが年次カンファレンス開催

6月中に一般提供を開始する「UniForm」でもIcebergリーダークライアントでDeltaテーブルを読み取ることができるが、今回の買収により今後はさらに融合を進め、Dleta LakeとIcebergのテーブルの違いがないようにしていくという。

また、データのセキュリティとガバナンスの支援に向けて「Unity Catalog」のOSS(オープンソースソフトウェア)化をアナウンスした。Unity Catalogは、データとAIのための統合ガバナンスレイヤーを提供し、Databricksのデータインテリジェンスプラットフォーム内で、構造化データ、非構造化データ、MLモデル、ノートブック、ダッシュボードなどのさまざまなデータやデータアセットをシームレスに管理。

Unity Catalogを利用することで、データサイエンティスト、アナリスト、エンジニアは信頼性の高いデータとAIアセットをセキュアに検索、アクセス、コラボレーションでき、AIを活用して生産効率を向上させることができるほか、規制コンプライアンスの確保とデータとAIのイニシアチブの加速を同時に実現できるというものだ。

Unity Catalog OSSは、任意のデータ形式とコンピュートエンジンをサポートするユニバーサルなインタフェースを提供しており、Delta Lake、Apache Iceberg、Apache HudiのクライアントをDelta Lake UniFormを介して読み取ることができる。

さらに、Iceberg REST CatalogとHive Metastore(HMS)のインタフェース標準もサポートし、表形式・非表形式のデータ、MLモデル、生成的AIツールなどのAIアセットを横断的にガバナンスできるため、組織は管理の効率化ができるという。

同氏は「相互運用性に加え、統一されたガバナンスを提供でき、オープンであることが特徴。みなさんがデータを所有し、コミュニティの人たちがアクセスできるデータを使い、さまざまなことができます。これによりコミュニティも広がります」と説く。

コンパウンドAIシステムに対応したMosaic AIの新機能

そして、同社が掲げるData Intelligence Platformの実現に向けて、昨年13億ドルで買収したMosaicMLの技術をベースとした、プラットフォーム上にAI機能を構築・展開する「Mosaic AI」の強化が発表された。ゴディシ氏は「レイクハウスに生成AIを組み合わせます。これによりカスタムAIをトレーニングできるようになりました。生成AIのモデルを自社のデータを使いながらトレーニングでき、データとAIの民主化を進められる」と胸を張った。