LakeFlow Designerまとめ

2025年6月25日

Databricks LakeFlow Designerは、ガバナンスとAI支援を備えたノーコードETLツールです。アナリストとエンジニアが本番運用可能なパイプラインを共同構築できます（現在はPrivate Preview）。

背景と登場の意義

従来のノーコードETLツールは、データプラットフォームの外部で動作するため、アナリストとエンジニアが異なるツール・環境で作業するという分断（サイロ化）が生じていました。この分離は、ワークフローの重複や再構築の手間、ガバナンスや監視の欠如、さらにはAIによる支援の非効率性といった課題を生み出していました。

LakeFlow Designer は、これらの課題を解決するために設計されたGUIベースのETLビルダーであり、ノーコードでパイプラインを構築できるだけでなく、Databricks内の統合基盤（Unity Catalog、Delta Lake、AIアシスタント）と連携しながら、エンジニアとアナリストの協業を可能にします。これにより、誰でも一貫性と再利用性のあるデータパイプラインを構築・運用できる環境が実現されます。

※LakeFlow Designer は 2025年6月現在、Private Preview（限定公開）段階であり、利用には Databricks への申請が必要です。

LakeFlow Designer の概要と特徴

LakeFlow Designer は、LakeFlow全体（Connect・Pipelines・Jobs）を ビジュアルキャンバス上で直感的に構築・接続・実行できるWebベースのGUIです。

画面上で処理ノード（データ取り込み、変換処理、書き出し）を配置し、線でつなげることでDAG（依存関係）を構成できます。

使い方（概略）

デザイナー画面で新規パイプライン作成
データソースノードを配置し、接続設定（Salesforce, S3など）
変換ノードを追加し、変換ロジック（条件抽出、列変換など）をGUIで設定
出力先（Deltaテーブルなど）を指定
スケジュール設定を追加し、保存＆実行

想定ユースケース

非エンジニア（データアナリスト、業務担当者）によるETL定義
部門間でのパイプラインレビュー・承認フロー
トレーニングやPoC用の簡易パイプライン作成
コーディング不要な日次バッチ・フィルタ処理の自動

Databricks LakeFlow vs Snowflake OpenFlow

Databricks LakeFlow と Snowflake OpenFlow は、どちらもデータパイプラインの統合を目的としていますが、実現方法に違いがあります。

Databricksは、Sparkベースの柔軟なオーケストレーションを採用し、拡張性や他ツールとの連携を前提としたオープンな設計が特徴です。Declarative Pipelines（DLT）やWorkflowsなど、既存の成熟機能をベースにLakeFlow Designerを構成しており、安定した実行環境を提供します。

一方、Snowflake OpenFlow は自社プラットフォーム内での制御を重視し、一貫性と操作の単純化にフォーカスした設計です。機能としては新しく、2024年に登場したばかりで、今後の発展が期待されます。

このように、Snowflakeはシンプルさを、Databricksは柔軟性と実績を重視しており、ユースケースや組織の要件に応じて選択肢が分かれる構造です。

将来展望

LakeFlow Designer は、Databricksにおけるパイプライン開発の標準インターフェースとなることが明確に位置づけられています。今後、ノーコードとプロコードの両方に対応した柔軟な開発体験のハブとしての役割が強まると見られています。

将来に向けた主な展開ポイントは以下の通りです：

開発サイクル全体の一元化

GUIによるパイプライン設計から、バージョン管理、実行、テスト、監視、CI/CD連携までを1つの環境で完結
LakeViewとの統合

データパイプラインからダッシュボード作成までを一貫してGUIで実施可能に
生成AIとの連携強化

自然言語による構築支援がより高度化し、データの使用履歴や業務文脈に基づいたパイプライン設計が可能に
Agent BricksやModel Servingとの連携

データ処理から機械学習・AIエージェントへの接続がGUIから設定可能になるなど、LLM活用の実行パイプライン構築にも対応