数据仓库是一个面向主题、集成、稳定、历史数据、支持决策的数据集合。它将来自不同来源的数据进行整合并存储在一起,以支持企业的决策制定和分析。数据仓库中的数据经常被用于运行各种商业智能分析工具,例如报表、查询和数据挖掘等,帮助企业更好地了解自己的业务,并做出更明智的决策。数据仓库通常被设计为多维的,以支持复杂的数据分析需求。
构建数据仓库,需要支持存储数据仓库的数据库,以及数据仓库存储数据的逻辑。数据仓库的主要功能包括以下几个方面:
1. 一致性:数据仓库从不同来源的数据中整合数据,并通过ETL工具提供数据清洗、校验、转换等处理操作,以确保数据的一致性。
2. 集成:数据仓库能够整合来自不同系统、文件等不同类型的数据,并将其存储在一个地方。
3. 存储:数据仓库使用专门的数据存储技术,以支持不同类型的数据查询和分析操作。
4. 历史数据存储:数据仓库能够存储历史数据,以支持长期的数据分析和趋势分析。 5. 快速访问:数据仓库能够提供快速且高效的查询性能,支持各种类型的查询操作。 6. 多维分析:数据仓库支持多维分析,以支持针对特定指标的数据分析和查询。
数据仓库的数据架构如下:

而数据仓库的最重要的两个功能是具备在线分析能力和数据批处理业务
1、例如阿里云的云原生数据仓库AnalyticDB PostgreSQL版

2、例如阿里云的原生数据仓库AnalyticDB MySQL版


3、腾讯云的基于ClickHouse的数据仓库

总体来说数据仓库是在基础的数据库的基础上新增了数据存储和数据分析需要的特性:
1、分布式
2、弹性伸缩
3、冷热数据分层
4、支持高并发数据写入和分析
5、在线交互查询分析
6、复杂SQL免调优的ETL的处理能力
7、智能索引处理能力
数据仓库的核心技术有哪些?
1. 数据建模:数据建模是数据仓库设计的核心技术之一,它是将业务需求转化为数据结构的过程。通常使用维度建模和实体关系建模两种方式。
2. ETL:ETL是指数据提取、转换和装载三个过程。数据仓库需要从多个操作数据源中提取和整合数据,并转换成适合数据仓库数据结构的格式,在最后装载到数据仓库中。
3. 数据存储技术:数据仓库存储技术是将数据存储在关系数据库管理系统(RDBMS)、列存储数据库、NoSQL数据库等批量存储技术之一。
4. 数据查询技术:数据查询技术是利用SQL等查询语言进行多维分析和决策制定。OLAP是常用的查询技术之一。
5. 数据质量管理:数据仓库中的数据经常是来自多个来源,质量好坏参差不齐。因此,数据质量管理技术应该用来提高数据的精度、准确性、一致性和完整性。
6. 数据安全技术:数据仓库存储了企业的核心数据,所以数据安全性需要非常高。数据库应该有用户和权限管理,并采用加密、脱敏和数据备份等安全技术。
数据ETL和数据查询技术很大程度上依赖于构建它的数据库,而数据建模、数据质量、数据安全技术可以依据数据库后期研发、数据存储的分布式能力也依赖于后期的研发。
原文作者:Ruby的数据漫谈;如有侵权,请联系管理员删除。