オラクル、インデータベースLLM備える「HeatWave GenAI」 - ベクトル処理で競合圧倒

ベンチマークテストによると、pdf/ppt/word/html形式のドキュメントのベクトル・ストアの作成は、Amazon BedrockのKnowledge baseを使用する場合と比べ、HeatWave GenAIを使用すると最大23倍速く、コストは4分の1になることがわかったという。

インデータベースLLM

HeatWave GenAIでは、インデータベースLLMとデータベース内埋め込み生成を提供するため、追加のコストを支払うことなくLLMを利用できる。

インデータベースLLMにより、ユーザーはHeatWaveの ベクトル・ストアでデータを検索し、コンテンツを生成・要約し、検索拡張生成（RAG）を実行できる。HeatWave GenAIは、「OCI Generative AI」と連携されており、主要なLLMプロバイダーの事前トレーニング済みの基盤モデル（cohere、Llama）にアクセスでき、データベースにLlama 3と

アガーワール氏は、インデータベースLLMのメリットの一つとして、どんなリージョンやどんなクラウド（マルチクラウド）でも一貫した結果を提供できることを挙げた。また、AutoMLとの統合により、パフォーマンス向上とコスト削減といったメリットが得られるという。

スケールアウト可能なベクトル処理

HeatWave GenAIは、新しいVECTORデータ型と最適化された距離関数の実装をサポートしており、標準SQLでセマンティック検索を実行できる。HeatWaveのインメモリ・ハイブリッド・カラムナー表現とスケールアウト・アーキテクチャにより、ベクトル処理はメモリに近い帯域幅で実行され、最大512のHeatWaveノード間で並列化される。

また、セマンティック検索を他のSQL演算子と組み合わせることで、例えば、異なるドキュメントを持つ複数のテーブルを結合し、すべてのドキュメントで類似検索を実行できる。

1.6GBから300GBのサイズのテーブルに対する類似検索クエリを使用したベンチマークにおいて、HeatWave GenAIはSnowflakeより30倍高速でコストは25％削減、Databricksより15倍高速でコストは85％削減、Google BigQueryより18倍高速でコストは60％削減するという結果が出たという。

HeatWave Chat

HeatWave ChatはMySQL Shell用のVisual Codeプラグインで、「HeatWave GenAI」のGUIを提供し、開発者は自然言語またはSQLで質問できる。Lakehouse Navigatorにより、オブジェクト・ストレージからファイルを選択し、ベクトル・ストアを作成できる。

サーバには以下のコンテキストが保持され、これらにより、コンテキストに基づいた会話が容易になり、ユーザーはLLMが生成した回答の出典を確認できる。

チャット履歴：過去のユーザープロンプトと生成された応答
テーブル：使用するベクトル・ストアのテーブルを自動検出
ドキュメント：マッチするドキュメントのスニペット(元ファイルへのURLを含む)
モデルオプション：使用するLLM、パラメーター
プロンプト：ユーザーからの元プロンプト
レスポンス：LLMが生成したレスポンス
（今林敏子）