CData Software Japan(CData)は、SaaS/DBデータをデータ分析基盤に統合するデータパイプラインツール「CData Sync」のV22をリリースした。
CData Syncは、400種類以上のSaaSやDBのデータを分析基盤DB/DWHにノーコードで同期できるデータパイプラインツール。Salesforce、Dynamics 365、NetSuite、SAP、kintoneなどの業務データをMySQL、SQL Server、PostgreSQLなどのRDBやBigQuery、Redshift、Snowflakeなどのクラウドデータウェアハウス(DWH)に簡単に統合する。企業のデータ活用のプロセスである「データ収集、データ整備、データ活用」のうちで大きなエンジニアリング負荷がかかるデータ収集のフェーズを担い、企業のリソースをデータの活用に集中できるようサポートする。
今回の新バージョンでは、Salesforce、kintone、Googleスプレッドシートなど主要コネクタで多くの機能を追加。OracleやMySQLなどの変更データキャプチャ(CDC)機能の強化や、dbt Coreとのデータ変換処理の統合、同期データの履歴を保持するヒストリーモード機能の追加などの機能強化を行っている。
新バーションでは、Oracle Service Cloud、Pipedrive、Monday、Outreach、Zoho Projects、AlloyDB、LINE WORKS、GMO ラウドEC、STORES予約、楽楽明細、BtoBプラットフォーム請求書、cyzen、freee会計、freee人事労務、freeeプロジェクト管理、freee受発注、HCL Notes/Domino、Amplitude、AdRoll、Paymo、Todoist、Mendix、Pingdom、CallRailなどのデータソースに新たに対応した。
CData Syncでは、SaaSだけでなくRDBからのデータをレプリケーションすることが可能。CDC機能を使ってレプリケーションを行うことで、RDBにSELECTクエリで負担をかけることなくRDBの変更データだけを同期することができるようになる。新バージョンでは、Oracle DBとMySQLのCDC対応機能を強化した。すでにMicrosoft SQL Server、PostgreSQLのCDCに対応している。オンプレミスとAWS/Azure/GCPなどのクラウドに自由に配置して利用できるため、基幹RDBなどのデータのクラウド分析環境へのセキュアなレプリケーションに適している。
また、ELTモデルの「T(データ変換)」を行うdbt Transformationsを追加。ELT処理の「E&L」を担うCData Syncから「T(変換)」を担うdbt(data build tool)をシームレスに起動させられるようになった。
データソースのテーブル定義が変更された際に、データソースに合わせて同期先のテーブル定義を変更する機能があるが、同機能をGoogle BigQuery データソースでも利用可能となった。
同期データの変更履歴を保持するヒストリーモード機能も追加。データソース側のレコード単位で変更履歴を保持することが可能。同機能は、Salesforce、Dynamics 365、kintoneをはじめとする差分更新対応のデータソースで有効となる。同期先としては、SQL Server、MySQL、PostgreSQL、Oracle DB、Snowflake、Databricks、Redshiftで利用できる。
データソースとなるSaaSでは、絶えず機能追加やAPIのバージョン変更が行われている。新バージョンでは、個々のデータソースのAPIバージョンへの追従、認証方式への対応、ユーザーのリクエストによる新機能追加を行った。これにより、ユーザーがデータソース変更のたびにAPI連携部分をプログラミングし直す必要がなく、CData Syncがノーコードでエンジニアリング負荷を最大限吸収する。
CData Syncは、400種類以上のSaaSやDBのデータを分析基盤DB/DWHにノーコードで同期できるデータパイプラインツール。Salesforce、Dynamics 365、NetSuite、SAP、kintoneなどの業務データをMySQL、SQL Server、PostgreSQLなどのRDBやBigQuery、Redshift、Snowflakeなどのクラウドデータウェアハウス(DWH)に簡単に統合する。企業のデータ活用のプロセスである「データ収集、データ整備、データ活用」のうちで大きなエンジニアリング負荷がかかるデータ収集のフェーズを担い、企業のリソースをデータの活用に集中できるようサポートする。
今回の新バージョンでは、Salesforce、kintone、Googleスプレッドシートなど主要コネクタで多くの機能を追加。OracleやMySQLなどの変更データキャプチャ(CDC)機能の強化や、dbt Coreとのデータ変換処理の統合、同期データの履歴を保持するヒストリーモード機能の追加などの機能強化を行っている。
新バーションでは、Oracle Service Cloud、Pipedrive、Monday、Outreach、Zoho Projects、AlloyDB、LINE WORKS、GMO ラウドEC、STORES予約、楽楽明細、BtoBプラットフォーム請求書、cyzen、freee会計、freee人事労務、freeeプロジェクト管理、freee受発注、HCL Notes/Domino、Amplitude、AdRoll、Paymo、Todoist、Mendix、Pingdom、CallRailなどのデータソースに新たに対応した。
CData Syncでは、SaaSだけでなくRDBからのデータをレプリケーションすることが可能。CDC機能を使ってレプリケーションを行うことで、RDBにSELECTクエリで負担をかけることなくRDBの変更データだけを同期することができるようになる。新バージョンでは、Oracle DBとMySQLのCDC対応機能を強化した。すでにMicrosoft SQL Server、PostgreSQLのCDCに対応している。オンプレミスとAWS/Azure/GCPなどのクラウドに自由に配置して利用できるため、基幹RDBなどのデータのクラウド分析環境へのセキュアなレプリケーションに適している。
また、ELTモデルの「T(データ変換)」を行うdbt Transformationsを追加。ELT処理の「E&L」を担うCData Syncから「T(変換)」を担うdbt(data build tool)をシームレスに起動させられるようになった。
データソースのテーブル定義が変更された際に、データソースに合わせて同期先のテーブル定義を変更する機能があるが、同機能をGoogle BigQuery データソースでも利用可能となった。
同期データの変更履歴を保持するヒストリーモード機能も追加。データソース側のレコード単位で変更履歴を保持することが可能。同機能は、Salesforce、Dynamics 365、kintoneをはじめとする差分更新対応のデータソースで有効となる。同期先としては、SQL Server、MySQL、PostgreSQL、Oracle DB、Snowflake、Databricks、Redshiftで利用できる。
データソースとなるSaaSでは、絶えず機能追加やAPIのバージョン変更が行われている。新バージョンでは、個々のデータソースのAPIバージョンへの追従、認証方式への対応、ユーザーのリクエストによる新機能追加を行った。これにより、ユーザーがデータソース変更のたびにAPI連携部分をプログラミングし直す必要がなく、CData Syncがノーコードでエンジニアリング負荷を最大限吸収する。