ITPub博客

首页 > 数据治理 > 数据治理 > 数据集成的两种架构:ELT和ETL

数据集成的两种架构:ELT和ETL

原创 数据治理 作者:下秒数据Nexadata 时间:2022-07-08 18:26:16 0 删除 编辑

数据集成的两种架构:ELT和ETL

 

集成是数据工程师要做的工作之一。一般来说,数据工程师的工作包括了数据的ETL和数据挖掘算法的实现。算法实现 可以理解,就是通过数据挖掘算法,从数据仓库中找到“金子 什么是ETL呢? ETL是英文Extract. Transform和Load的缩写,顾名思义它包括了数据抽取、转换、加载三个过程。ETL可 以说是进行数据挖掘这项工作前的"备菜"过程。

我来解释一下数据抽取、转换、加载这三个过程。

ETL的过程为提取(Extract)——转换(Transform)——加载(Load),在数据源抽取后首先进行转换,然后将转换的结果写入 目的地。

ELT的过程则是提取(Extract)—加载(Load)——变换(Transform),在抽取后将结果先写入目的地,然后利用数据库的聚 合分析能力或者外部计算框架,如Spark来完成转换的步骤

目前数据集成的主流架构是ETL ,但未来使用ELT作为数据集成架构的将越来越多。这样做会带来多种好处:

ELT和ETL相比,最大的区别是"重抽取和加载,轻转换",从而可以用更轻量的方案搭建起一个数据集成平台。使用ELT 方法,在提取完成之后,数据加载会立即开始。一方面更省时,另一方面ELT允许BI分析人员无限制地访问整个原始数 据,为分析师提供了更大的灵活性,使之能更好地支持业务。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70019413/viewspace-2904940/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
1、通过搭建企业智能数据管道, 帮客户低成本快速实现数据整合,解决企业数据孤岛问题,释放数据商业价值 2、数据集成与建模,帮快速将分散的数据转化为API、 自动化流程等开箱即用的数据服务 3、更懂企业的智能数据管道

注册时间:2022-06-28

  • 博文量
    29
  • 访问量
    12034