总结:个人数据仓库建设经验 2009-10-12 至2009-10-28 整理中....
以数据质量为保证,元数据为导向,数据建模为基础讲诉数据仓库的构建....
[@more@]1、数据质量。数据分析与预测的前提是较高的数据质量。此项目也得到较多建设数据仓库人士的认可与重视。但是一般项目都没有做好此内容。个人认为还没有建立完善的数据质量模型上面。下面会针对元数据,数据建模一起讲诉如何来构建完善数据质量系统。
2、元数据。元数据是体现数据仓库数据的数据。元数据管理系统是管理数据仓库数据的系统。包括数据仓库数据算法,数据逻辑等,同时元数据系统也为数据质量提供很好数据基础。
3、数据建模。所以应用都是在数据模型的基础上。一个模型的好坏,不仅对应用起很大影响作用,同时对数据质量构建也起很大的作用。
如何构建快捷,高效的数据质量系统。
a)统一业务应用。数据建模主要体现在:同一应用,在模型上一致。如:指标A1,物理模型为CA1,那么只要与指标A1相关的指标都包含A1信息,如:最大的指标A1,物理模型设置为:MAX_CA1;指标A1平均,物理模型设置为:AVG_CA1。而不同的粒度,出现相同的A1,都统一定义为CA1。只统一定义之后,我们才能迅速地地位指标内容,从而提高数据质量。如:数据一致校验。i)快速检查出与CA1相关的模型。SELECT TABLE_NAME FROM ALL_TAB_COLUMNS WHERE COLUMN_NAME LIKE '%CA1%';ii)快速地完成各个模型之间数据对比,从而较快地提高数据质量。这一项,对数据质量十分有用。同时对元数据的管理,也起很大作用,即业务一致与模型的一致性。
b)数据质量优于业务应用。很多数据仓库的应用都是先完成业务应用开发,再进行数据质量建设。这有点本末倒置。就象先有开发后有测试的模式。本人建议,采用数据质量驱动业务应用开发的模式,即现在所谓的测试驱动开发的模式。现在数据仓库系统都建立在运营系统之上。有运营系统一定就会业务统计数据,数据质量模型可以依赖于这些原先业务统计数据,建立数据质量测试模型。数据仓库数据质量要以通过此测试模型为前提。但是很多数据仓库都没有建立这样数据质量测试模型。以至浪费很多时间,发现极差的数据质量,最后还得都进行数据质量建设。说到底,数据质量测试模型的建议是不可避免的。只是我把向前建设。但是这一向前建设,对提高数据质量,项目进度开发是起了很大的作用。不可小看它的作用。
。。。。。。。。。。。。。待续
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/22630256/viewspace-1027635/ ,如需转载,请注明出处,否则将追究法律责任。