基于可复用构件思想的ETL架构设计
数据仓库的数据来源常包含着噪声数据、不完整数据、甚至是不一致的数据。为了得到高质量的数据,必须对抽取(Extract)出来的原始数据做一系列复杂转换(Transform)处理,最后装载(Load)到数据仓库中。这种从原始数据...
转:探求数据仓库关键环节ETL的本质
做数据仓库系统,ETL是关键的一环。说大了,ETL是数据整合解决方案,说小了,就是倒数据的工具。回忆一下工作这么些年来,处理数据迁移、转换的工作倒还真的不少。但是那些工作基本上是一次性工作或者很小数据量,使...
数据仓库的ETL工具
数据仓库的ETL工具数据仓库的架构大体可以分为三部分:后台是数据存储和计算引擎,前端是数据展现分析的用户界面,还有一个重要的部分就是ETL。 ETL所完成的工作主要包括三方面:首先,在数据仓库和业务系统之间搭建...
转:EDW的建模思想
随着企业信息化程度的不断提高,各类应用系统同时并存并支撑着企业的业务应用。越来越多企业的信息化主管在开发企业应用时已经考虑到数据集成和将来对数据的整体有效利用,因此,在实施了ERP解决方案之后,很多企业...
转:基于BI应用的数据仓库建模归纳
</STYLE. class=wp 基于BI应用的数据仓库建模归纳 2010-7-20 21:21| 发布者: 管理员小杨| 查看: 2870| 评论: 0</SCRIPT. type="text/javascript." src="http://pagead2.googlesyndication.com/page...
dw 相关资料
http://www.360doc.com/content/11/0211/20/2459_92240671.shtml
高级分析(BI)本质的思考
高级分析(BI)本质的思考新的一年,回顾一下近10年的BI生活,觉得可以思考一下本质的东西,在这里进行抛砖引玉(现在又叫高级分析了)。从BI开发实施流程的角度看,是先了解需求,然后设计框架,设计模型,再是开发、...
关于ETL中的脏数据
http://wenku.baidu.com/view/3e86a84bc850ad02de80412d.html
ETL架构师面试题
本部分的题目来自Kimball的ETL Toolkit著作,原著未直接给出答案。这里的中文题目和答案是我参考其原著按自己的理解整理而来的,仅供参考。对于其中不确切的地方,欢迎大家一起沟通。有兴趣的朋友可以直接阅读原著。...
浅析查找ETL系统瓶颈
What steps do you take to determine the bottleneck of a slow running ETL process?如果ETL进程运行较慢,需要分哪几步去找到ETL系统的瓶颈问题。答:ETL系统遇到性能问题,运行很慢是一件较常见的事情,这时要...
浅析实时ETL的架构选择
http://www.chinabi.net/blog/user1/lastwood/cmd.html?do=blogs&id=142&uid=631 简述在架构实时ETL时的可以选择的架构部件。答:在建立数据仓库时,ETL通常都采用批处理的方式,一般来说是每天的夜...
逻辑模型建设-星型与雪花型的区别
逻辑模型指数据仓库数据的逻辑表现形式。从最终应用的功能和性能的角度来看,数据仓库的数据逻辑模型也许是整个项目最重要的方面,需要领域专家的参与。从内容上看,涉及的方面有确立主题域,粒度层次的划分,确定数...
缓慢变化维的处理
缓慢变化维的处理 维度建模的数据仓库中,有一个概念叫Slowly Changing Dimensions,中文一般翻译成“缓慢变化维”,维度建模的数据仓库中,有一个概念叫Slowly Changing Dimensions,中文一般翻译成“缓慢变化维...
关于数据仓库 — ODS概念
关于数据仓库 — ODS概念ODS是一个面向主题的、集成的、可变的、当前的细节数据集合,用于支持企业对于即时性的、操作性的、集成的全体信息的需 求。常常被作为数据仓库的过渡,也是数据仓库项目的可选项之一。根据B...
Oracle性能优化经验分享之系统参数设置
SGAITPUB个人空间%b!\9Y&Pv:Wm6O"V1、Shared pool tunningITPUB个人空间2V;Hk+[\-s&c\0?*V xShared pool的优化应该放在优先考虑,因为一个cache miss在shared pool中发生比在data buffer中发生导致的成本更高,由于d...
数据库的三范式
数据库的三范式1N:关系R中的属性都是不可分割的项.2N:在1N的基础上,每个非主属性完全函数依赖于码.3N:在2N的基础上,每一个非主属性既不部分依赖于码也不传递依赖于码. 1N | 消除非主属性对码...
ETL调度
只有您可以确定何时在环境中调度 ETL 运行。在调度 ETL 之前请仔细考虑所有相关性。有关 ETL 和相关性的一般描述,请参阅理解 ETL 过程。要配置和调度 ETL 过程,请完成以下步骤:运行 ETL 初始化过程(只运行一...
ETL流程及调度设计
1.1 ETL流程及调度设计(ETL Schedule)(PSP) ETL调度的目标快速见效系统要抽取39家分行四个系统的数据进行加工处理,数据从下传文件到ODS库,ODS库到LDM,再计算PI值和汇总PI,整个ETL处理过程需按一定步骤...
DW(数据仓库)建模--模型标准化
第一、建模思想包括:1、用于业务数据库建模的ER模型;2、Inmon的数据仓库3NF建模:1NF--无重复的列(属性不可再分);2NF--无重复的行(非主属性只依赖于主关键字,不对其它非主属性有依赖);3NF--无数据冗余(非主属...
关于数据仓库的数据模型
关于数据仓库的数据模型业务驱动任何需求均来源于业务,业务决定了需求,需求分析的正确与否是关系到项目成败的关键所在,从任何角度都可以说项目是由业务驱动的所以数据仓库项目也是由业务所驱动的.但是数据仓库不同...