数据架构是指数据系统中数据的组织、存储、管理和访问的方式和结构。数据架构的演进是指在不断变化的技术环境下,数据系统的架构不断发生变化和进化的过程。
数据架构演进一般经历以下几个阶段:
1. 文件系统阶段:最初的数据系统采用文件系统进行数据的存储和管理,数据结构简单,但面临着文件管理和数据共享等问题。
2. 关系数据库阶段:20世纪70年代,关系数据库引入,SQL语言成为了主流的数据查询和管理语言。关系数据库具有数据结构清晰、数据共享方便、事务处理能力强等特点,成为了处理大规模数据的常用方法。
3. 分布式数据库阶段:20世纪80年代,随着计算机技术的不断发展,数据系统开始向着分布式网络化的方向发展,分布式数据库成为了主流。分布式数据库可以将大规模数据分散存储在多个节点上,提高了数据存储和处理的效率。
4. 数据仓库阶段:20世纪90年代,数据仓库成为了热门的数据架构方案。数据仓库采用将海量数据进行整理和提炼,以便进行决策支持和业务分析。数据仓库具有数据多维度、数据可视化展示、数据分析和挖掘等特点。
5. 大数据阶段:21世纪,大数据时代来临,数据如何处理成为了新的挑战。数据架构需要处理的数据量和数据种类不断增加,需要采用新的数据管理和处理技术,如分布式计算、NoSQL数据库、数据湖等。
主要关注如下:
数据流程:
依赖于业务架构对应于业务数据流程图:
数据模型:
数据模型是指对现实或概念世界中某个部分的数据、属性、关系和操作进行抽象、描述和表示的方法。数据模型可以视为对实际数据结构的一种映射,通过数据模型可以更加清晰、简洁地描述出数据的结构和关系。
通常用于PowerDeginser 进行设计。
数据存储:
数据存储天数时间限制。
数据管理:
我们还可以将数据管理分解为五个不同的流程。并非每个企业都使用每种方法。与原则一样,它取决于具体的企业:
1、云数据管理:此过程集成来自企业的云应用程序集合的数据。云数据管理的定义特征是所有数据存储、接收和处理都发生在基于云的存储介质中。
2、数据分析和可视化:处理来自多个数据源和数据仓库的数据,然后执行数据分析。这就使得分析师和数据科学家能够在可视化和仪表板中呈现数据。
3、ETL 和数据集成:将来自不同来源的数据提取、转换和加载到集中式数据仓库中。
4、主数据管理:管理和标准化企业数据(客户、员工等),以防止整个企业的冗余和重复工作。
5、参考数据管理:定义一个允许的值,该值又可以被其他数据字段使用,例如邮政编码、产品序列号以及城市、地区和国家的列表。参考数据可以在内部创建或外部提供。
或者,数据管理可以理解为以下任何学科的组合:商业智能和分析、数据架构、数据治理和数据管理、数据整合、数据建模、数据质量、数据安全、数据仓库、数据存储与大数据、文档和内容管理、主数据和参考数据管理和元数据管理。
————————————————
参考资料:
:https://blog.csdn.net/ylguoguo6666/article/details/128406855
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69949806/viewspace-2956429/ ,如需转载,请注明出处,否则将追究法律责任。