关于数据仓库 — ODS概念
ODS是一个面向主题的、集成的、可变的、当前的细节数据集合,用于支持企业对于即时性的、操作性的、集成的全体信息的需 求。常常被作为数据仓库的过渡,也是数据仓库项目的可选项之一。[@more@]根据Bill.Inmon的定义,“数据仓库是面向主题的、集成的、稳定的、随时间变化的,主要用于决策支持的数据库系统”ODS是一个面向主题的、集成的、可变的、当前的细节数据集合,用于支持企业对于即时性的、操作性的、集成的全体信息的需 求。常常被作为数据仓库的过渡,也是数据仓库项目的可选项之一。在Kimball的<<数据仓库生命周期工具集T
SQL SERVER 2005 SSIS变量的灵活运用(首发于it168)
随着SQL SERVER 2005不断的推广,越来越多的企业的决策支持项目采用了SQL SERVER 2005商务智能解决方案。本文就SSIS开发ETL过程中SSIS用户变量的使用向读者作简单介绍。[@more@]一、SSIS变量简介 SSIS变量分为两种,一种是系统变量,一种用户定义的变量。系统变量包含有关包、容器、任务或事件处理程序的非常有用的信息。例如,在运行时,MachineName 系统变量包含运行包的计算机的名称,StartTime 变量包含包开始运行的时间。系统变量是只读的。在 SSIS 中,用户变量是用户在开发的过程中根据需要申明的变量,用户变量可以使用在脚本
BI,中国人可以对你说不(转载)
2007,Gartner商业智能峰会重定义BI,BI不再是报表工具、OLAP工具、新定义形成了BI的两次演变,并导致了三个转折! 那么,究竟什么是BI?这一次我们能不能、要不要又跟着“老外”走? 转自csdn[@more@] 一、缘起 3月中旬,CHICAGO——Gartner商业智能峰会的一位主要发言人Gartner公司的研究副总裁Bill Hostmann表示,“商业智能”这个词不是,而且不应该是,对查询和报表工具OLAP的简称。然而2004的主题正是这些工具。 一石激起千层浪。美国BI业界权威对商业智能的再一次反思,相信极大地刺激了国内BI爱好者、从业者及相关系统生产商
数据仓库建模——渐变维度处理(转载)
渐变维度维度属性会随着时间而发生变化,必须为维度表的每个属性指定处理变化的策略[@more@]类型一:改写属性值原属性产品关键字 产品描述 部门 SKU编号(自然关键字)12345 IntelliKidz1.0 教育 ABC922-Z修改:当产品所属部门变化时产品关键字 产品描述 部门 SKU编号(自然关键字)12345 IntelliKidz1.0 策略 ABC922-Z优点:快速、方便,容易实现。缺点:所有的属性变化历史都会丢失,不能对旧属性的任何历史数据进行维护。评价:不常用。对起更正作用的属性修改应用很合适。 类型二:添加维度行原属性产品关键字 产品描述 部门 SKU编号(
关于数据仓库数据质量的问题探讨(转载)
一、 数据质量和清洗 ETL是数据仓库的最重要的基础,良好的ETL从业务系统中抽取数据,转换数据质量,保证数据一致性,这样才能够保证各个独立的不同的数据源能够集成到一起,最终只有这样才能真正达到决策支持的目的。 数据清洗是ETL系统的一个最重要的步骤,数据的抽取和加载也是很必要的,但是他们只负责数据的迁移和重组格式。只有数据清洗才能真正改变数据,并且为了目标提供高质量的数据保证。 [@more@]高质量数据意味着: ? 正确的。数据的值和描述一定是真实的和业务系统保持一致的。 ? 明确的。数据的值和描述有且只能有一个意思
BI项目中ETL设计与思考
BI项目中ETL设计与思考(本人实际工作总结,首发于 ITPUB SQL SERVER 版,转载请注明出处。谢谢! )[@more@]ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析的依据。 ETL是BI项目重要的一个环节,BI项目中,通常情况下ETL会花掉整个项目的1/3的时间,ETL设计的好坏直接关接到BI项目的成败。 ETL的设计分三部分:数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候我们也是从这三部分出发。数据的抽取是从各个不同的数据源抽取到O
谈谈数据仓库架构的发展和分类(转)
最近大家对数据仓库架构的讨论又多了起来,我在这里对一些架构进行一下简单的整理。目的是给大家树立一个靶子,大家可以在这篇文章后尽情的批判和补充。[@more@]我把我听说过的架构都归整在一起,分了六类,其中和很多说明是我个人的理解,不见得正确,大家多多指导。1.独立的数据集市架构(Independent data mart architecture)独立的数据集市架构有时也称为独立的数据仓库架构,应该是出现最早的架构方式,也是很常见的方式。特别是对于中小企业、中小开发公司,出于成本和见效快的考虑都会采用这种架构方式。大家对这种架构方式一定也
关于数据仓库概述
数据仓库项目是以关系数据库为依托,以数据仓库理论为指导、以OLAP为多层次多视角分析,以ETL工具进行数据集成、整合、清洗、加载转换,以前端工具进行前端报表展现浏览,以反复叠代验证为生命周期的综合处理过程。最终目标是为了达到整合企业信息信息,把数据转换成信息、知识,提供决策支持。[@more@]数据仓库不是一门纯粹的技术,如果从Oracle、SQLServer等专业数据库的角度去学习,就有失偏颇了。数据仓库应该是一种体系结构,它的核心是在于对于数据的整合,通过抽丝剥茧把企业原始数据进行集成、归类、分析,从而提供了企业决策分析