ITPub博客

:[@more@]问题： 目前企业存在多地区，多产品，多业务，多系统的环境，在数据信息，报表统计，业务分析和业务元定义上存在数据不一致，不完整，不统一以及不真实和不及时的情况，­这样让业务人员，管理者，信息使用者存在误解，导致决策出现偏差，同时低下的数据质量往往造成开发出来的系统与用户的预期大相径庭，而在维护阶段，也出现维护成­本不断上升，工作量加大，系统难以扩展 成果： 1：在源数据剖析，数据质量元数据管理，数据验证和数据修补上给出指导建议和标准的解决方案 2：源数据剖析系统原型 3：数据验证引擎系统原型

:[@more@]ETL的过程我想很多人都谈过了，最近我在比较SSIS，OWB和infomatica，结合以前的项目，加深了我对ETL过程的理解和认识。其实这三种工具，除去应用平台以为，大同小异，各有利弊。今天我想分享一下我的经验，主要在扩展和维护方面。1：数据落地和ELT 很多人谈到数据落地的概念，说白了，就是ODS或者DWH中，有数据input或者output的，都先把要操作的数据放到临时表里面，而数据传输的两端的表的结构都是一样的，这样的操作比较便捷，几乎不用考虑转换的问题。 同时我们还要提到的就是ELT，ELT和ETL其实各有好处，一个是用工具来

:[@more@]论数据仓库架构前需要考虑的问题除掉满足需求以外，一个好的数据仓库需要考虑的是使用（应用）是否方便，维护是否方便，扩展是否方便，开发是否方便。使用: 好的系统首先解决的是使用问题，如果最好的操作人员不满意的话，通常应用效果都会比较差的，所以很多公司很注重用户场景的设计，我曾经和微软的同事有过一段时间的接触，发现他们很注重一般企业不注重的问题，比如我们在查询时，选择条件，有的是大于，有的是小于，有的是大于等于等等，通常这样的情况，在事先没有统一的要求和规定，但是他们对于每一个用户场景的描述

DW中的数据校验[@more@]数据，数据，数据！ 数据很重要，离开了数据就什么都玩不转，这就是BI! 中国有一个现象就是居住证或者暂住证的制度，去了别的城市，有了时候你有户口还是非法的。 数据就是你，系统就是城市。DW,ODS,ERP,MIS等等都是城市，所以你原来数据ERP的，现在到了DW，你就要去公安局或者其他的部门登记，验 证身份，（户口，住址，身高体重，工作单位，有无不良记录），然后才合法。（上海就是这样的，所以上海的治安，相对来说比较好）。所以登记和验证的工作 是必不可少的，DW的流程中，数据校验（data validation）就显得

-[@more@]ETL学习心得：探求数据仓库关键环节ETL的本质 做数据仓库系统，ETL是关键的一环。说大了，ETL是数据整合解决方案，说小了，就是倒数据的工具。回忆一下工作这么些年来，处理数据迁移、转换的工作倒还真的不少。但是那些工作基本上是一次性工作或者很小数据量，使用access、DTS或是自己编个小程序搞定。可是在数据仓库系统中，ETL上升到了一定的理论高度，和原来小打小闹的工具使用不同了。究竟什么不同，从名字上就可以看到，人家已经将倒数据的过程分成3个步骤，E、T、L分别代表抽取、转换和装载。其实ETL过程就是数据流动的过程

－[@more@]简介数据集成是数据仓库中的关键概念。ETL（数据的提取、转换和加载）过程的设计和实现是数据仓库解决方案中极其重要的一部分。ETL 过程用于从多个源提取业务数据，清理数据，然后集成这些数据，并将它们装入数据仓库数据库中，为数据分析做好准备。ETL 过程设计尽管实际的 ETL 设计和实现在很大程度上取决于为数据仓库项目选择的 ETL 工具，但是高级的系统化 ETL 设计将有助于构建高效灵活的 ETL 过程。在深入研究数据仓库 ETL 过程的设计之前，请记住 ETL 的经验法则：“ETL 过程不应修改数据，而应该优化数据。”如果您发现需

BI项目中ETL设计与思考(转)[@more@]ETL即数据抽取（Extract）、转换（Transform）、装载（Load）的过程，它是构建数据仓库的重要环节。 ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL是BI项目重要的一个环节。通常情况下，在BI项目中ETL会花掉整个项目的1/3的时间,ETL设计的好坏直接关接到BI项目的成败。　ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候我们也是从这三部分出发。数据的抽取是从