ITPub博客

首页 > 大数据 > 数据分析 > 加速推动AI与数据的融合,Databricks发力Lakeflow Designer

加速推动AI与数据的融合,Databricks发力Lakeflow Designer

原创 数据分析 作者:李代丽 时间:2025-06-16 15:34:16 0 删除 编辑

在近期举办的数据+人工智能峰会上,Databricks正式发布无代码数据管理工具Lakeflow Designer(当前预览版),通过生成式AI助手与Unity Catalog深度整合,直击企业AI项目落地的核心掣肘——数据工程瓶颈。该工具旨在将ETL管道开发能力赋予数据分析师,释放数据工程师资源,加速AI用例交付。

AI赋能无代码ETL,重塑数据工程协作模式

Databricks产品管理高级总监Bilal Aslam指出,传统低/无代码工具虽能减轻数据工程师负担,但普遍存在治理缺失与扩展性不足问题。

Lakeflow Designer通过三大创新破解难题:

1.生成式AI辅助管道构建。分析师可通过自然语言交互,在可视化画布上快速生成ETL流程,AI助手自动优化Spark SQL逻辑,降低技术门槛;

2.企业级安全治理。依托Unity Catalog实现元数据共享、细粒度访问控制及审计追踪,确保合规性;

3.无缝工程协作。支持Git集成与CI/CD流水线,工程师可随时介入调试复杂逻辑,形成“分析师快速原型+工程师深度优化”的协同闭环。

Constellation Research首席分析师Michael Ni将其喻为“ETL领域的Canvas”,认为其“以机器级效率执行Spark SQL,同时通过权限管控保障企业安全”。ISG软件研究主管Matt Aslett则补充,该工具尤其适用于区域利润追踪、合规监控等标准化场景,复杂场景仍需数据工程师介入定制开发。

开放架构VS闭环生态:对标Snowflake OpenFlow

尽管Lakeflow Designer与Snowflake OpenFlow均瞄准数据工程自动化,但底层理念存在差异显著。

Databricks路径是,以Spark原生开放架构为核心,Lakeflow Designer深度集成声明式管道(Delta Live Tables演进版)与作业编排功能,强调灵活性与跨平台兼容性;

而Snowflake的策略是,通过OpenFlow构建深度优化的Snowflake原生工作流,侧重开箱即用的简化体验。

Aslett强调,Databricks的技术积累更具先发优势。Lakeflow Connect模块源于2023年对Arcion的收购,其数据管道能力历经多年迭代,而Snowflake OpenFlow尚处早期阶段。

双线并进,覆盖全周期管道需求

为全面覆盖数据工程需求,Databricks同步推出专业级IDE,整合代码编写、DAG调试、样本数据管理等全链路能力。专业分析人士认为,Databricks此举旨在推动“双轨战略”。

首先,在无代码侧,Lakeflow Designer加速简单用例落地,缩短价值实现周期;

其次,在代码侧,IDE满足复杂场景定制化需求,保障管道可维护性。

AI普惠化的数据基座

从整个行业发展来看,随着企业AI应用从试点走向规模化,数据工程效率成为关键分水岭。Lakeflow Designer的的“谋篇布局”,标志着Databricks正从单纯的数据湖仓平台,向AI驱动的数据操作层延伸。通过平衡易用性与治理能力,其有望助力企业突破数据工程“最后一公里”的瓶颈,真正释放数据与AI的融合价值。

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31547898/viewspace-3087884/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-07-30

  • 博文量
    1629
  • 访问量
    2808009