ITPub博客

首页 > 数据治理 > 数据治理 > ETL数据转换方式有哪些?

ETL数据转换方式有哪些?

原创 数据治理 作者:ETLCloud集成数据社区 时间:2023-10-12 17:24:39 0 删除 编辑

ETL ( Extract , Transform , Load )是一种常用的数据处理方式,用于从源系统中提取数据,进行转换,并加载到目标系统中。

数据清洗( Data Cleaning ): 对原始数据进行去重、删除异常值、填充缺失值等操作,以确保数据的准确性和完整性。

数据转换( Data Transformation ): 将原始数据进行格式转换、重组、映射等操作,使其适应目标系统的数据结构和要求。

数据集成( Data Integration ): 将来自不同源系统的数据进行整合和合并,以便在目标系统中进行统一管理和分析。

数据规约( Data Aggregation ): 对大量细粒度的数据进行汇总和聚合,生成更高层次的数据摘要,以便进行汇总分析和报表生成。

数据转载( Data Loading ): 将经过清洗、转换和集成处理后的数据加载到目标系统中,通常包括数据库、数据仓库或数据湖等存储系统。

数据质量验证( Data Quality Validation ): 对转换后的数据进行检查和验证,确保数据的准确性、一致性和完整性,包括数据验证规则的定义和执行。

数据增强( Data Enrichment ): 通过引入外部数据源或数据服务,为原始数据添加更多的信息和属性,以提升数据的价值和可用性。

以上是常见的 ETL 数据转换方式,根据实际需求和业务场景,还可以结合其他数据处理技术和工具进行定制化的数据转换操作。

 

以下做一个案例的演示,场景如下:

将 SQLServer 数据库中的商品表信息,经过清洗转换后,写入到 Mongon 数据库,再对某商品进行一个数据过滤,最后写入到 Excel 表格当中。

 

1 、创建 SQLServer 数据源

 

填写 SQLServer 数据源配置,保存提交:

 

 

2 、配置离线流程

添加组件,并连接流程线:

 

(库表输入)从 SQLServer 读取数据:

 

(数据清洗转换)对 SQLServer 商品表数据当中为手机一号的数据进行过滤清洗:

 

( Mongo 输出)将清洗后的数据输出到 Mongo 当中:

 

(数据过滤器)输出到 Mongo 后,再对数据流进行过滤,只保留 ” 电脑一号 ” 的商品信息:

 

( Excel 输出)将过滤后的数据写入到 Excel 表当中:

 

运行流程:

 

运行结果:

(库表输入)源表 SQLServer 数据预览

 

( Mongo 输出)目标表 Mongo 数据预览:

 

( Excel 输出) Excel 表格数据预览:

 

ETL 数据转换方法中的数据清理、字段映射和计算技术,在 ETL C loud 中得到了集成和优化。 ETL C loud 为企业提供了一个综合解决方案,帮助企业快速、准确地处理和转换数据,实现数据驱动的决策和创新。无论是小型企业还是大型组织, ETL C loud 都是实现高效数据处理的理想选择。让我们一起加入 ETL C loud 的行列,开启数据转换的新篇章!

 


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70030339/viewspace-2988611/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2023-05-25

  • 博文量
    93
  • 访问量
    51081