湖の家の分析のための高スループットArrowネイティブドライバー
ハンズは、CPUオーバーヘッドを最小限に抑えて列データを移動するために、デルタレイクとアパッチアイスバーグを分析ツールに接続して、バッチを参照して記録します。DeltaForgeは、Windowsや他のデスクトップ用のADBCドライバーを提供し、バンドルされたPower BIコネクタとPython、R、C用の言語バインディングを備えています。その主な魅力は、低遅延、ゼロコピー転送、オブジェクトストレージからの直接テーブルアクセスであり、Sparkを実行せずに大規模なレイクハウステーブルをクエリするデータエンジニアやBIアナリストを対象としています。
ドライバーは、列指向データのためのArrowネイティブ、ゼロコピー転送を提供します
DeltaForge ADBCドライバーは、レコードバッチを参照によってクライアントアプリケーションに渡し、行指向の変換オーバーヘッドを排除し、データを列指向メモリに保持します。ドライバーはDelta LakeおよびApache Icebergテーブルフォーマットを読み書きし、データをPython、R、またはCクライアントにArrowレコードバッチとして提示します。行バッファの代わりに列バッチを必要とするワークフローでは、これにより抽出中のレイテンシが低下し、CPU使用率が削減されます。
ネイティブSQLエンジンをローカルで実行することで外部クラスター依存を減らします
ドライバーには、JVMやSpark依存を回避するSQLエンジンが含まれているため、クエリは管理されたクラスターではなく、ローカルハードウェアや既存のVMで実行できます。DeltaForgeは、特定のワークロードに対して標準の.NET ODBCドライバーよりも13倍以上速いベンチマーク速度を宣伝しており、組織が分析のために別のSparkクラスターを維持することを避けたい場合のユースケースをサポートします。
インストールとBI統合は直接的ですが、技術的なセットアップを前提としています
Windowsでは、ドライバーは署名されたMSIとして出荷され、WinGetを介して入手可能であり、デスクトップ用のバンドルされたPower BIカスタムコネクタも提供します。インストールはシステム管理者にとって簡単ですが、コネクタをエンタープライズBIパイプラインに統合するには、ストレージ（S3、ADLS、またはローカルディスク）へのアクセスを構成し、レイクハウステーブルのレイアウトを理解する必要があります。ADBC標準バインディングにより、開発者は資格情報とエンドポイントが整った後にコードからドライバーを呼び出すことができます。
運用の安全性とシステムへの影響は高スループット分析のニーズに合致しています
ドライバーはオブジェクトストレージから直接テーブルを読み取り、クラスターのメタデータの書き込みを回避するため、アクティブなコンピュートクラスターへの依存を排除します。バッチを参照によって渡し、JVMオーバーヘッドを回避するため、大規模なエクスポート中に行ベースのドライバーと比較してCPUおよびメモリの圧力が低下します。ロールバックやスナップショットの安全性が必要な環境では、これらの保護はドライバー自体ではなく、ストレージまたはテーブルレイヤーで管理する必要があります。
レイクハウスストレージに対してクエリを実行できるチームに最適; 代表的なデータでのテストを推奨
DeltaForge ADBCドライバーは、Sparkクラスターを運用することなくDelta LakeまたはIcebergテーブルへの高スループットアクセスが必要なデータエンジニアおよびBIチームにとって実用的なオプションです。データ転送が速く、ローカルCPUの使用量が少なくなることが期待されますが、統合にはストレージレイアウトとアクセス制御に関する知識が必要です。生産環境に展開する前に、データセットのコピーでクエリをテストして、権限とリソース使用量を検証してください。推奨します。
