ITPub博客

首页 > 数据库 > 数据库开发技术 > 聊聊Delta Lake - 2:Delta Lake有哪些特性

聊聊Delta Lake - 2:Delta Lake有哪些特性

原创 数据库开发技术 作者:招牌鸡蛋面 时间:2024-01-27 11:43:18 0 删除 编辑

Delta官网列出了下面8大Delta Lake的关键特性:

【ACID事务】

通过可序列化(最强的隔离级别)保护您的数据

【Scalable Metadata:可扩展的元数据 】

轻松处理数十亿个分区和PB 级表文件

【Time Travel:时间旅行】

通过简单的Time Travel命令可以快速访问/恢复到早期版本的数据,从而可以进行审核、回滚或重现。

【Open Source开源】

社区驱动、开放标准、开放协议、开放讨论。Delta Lake代码Databricks已经开源了,数据是基于parquet格式文件落盘保存。

【Unified Batch/Streaming:流批一体】

借助 Delta Lake,你可以在同一数据集上同时运行批处理和流式工作负载,从而简化数据架构。

这里先展示一个示意图:

图片来源:
https://www.databricks.com/blog/2021/06/22/get-your-free-copy-of-delta-lake-the-definitive-guide-early-release.html

【Schema Evolution/ Schema Enforcement:模式演变/模式约束】

防止不良数据导致数据损坏

【Audit History:审计历史】

Delta Lake 记录所有变更详细信息,提供完整的审计跟踪

【DML Operations: DML操作】

支持多语言:SQL、Scala/Java 和 Python API的DML(Data Manipulation Language)操,作用于合并、更新和删除数据集

如果想要理解Delta Lake的这些特性,我们必须先创建Delta表,也就是Delta Lake的物理表现形式,你能看得到,摸得着的东西。

那如何创建Delta表呢?且听下回分解!

点击关注本公众号,解锁更多Databricks知识!

原文作者:BPShare;如有侵权,请联系管理员删除。

下一篇: 聊聊Delta Lake - 1
请登录后发表评论 登录
全部评论
干过测试,做过运维,还兼职过售前+投标+实施+售后+客户培训。前两年入坑大数据开发,熟悉Azure + Databricks大数据相关产品。 喜欢研究技术,所以搞了一个公众号:BPShare,分享一些经验和心得。欢迎骚扰~~~

注册时间:2020-02-17

  • 博文量
    90
  • 访问量
    44237