首页 > 大数据 > 数据挖掘 > 设计数据仓库和数据仓库的粒度
1:设计数据仓库的一种常用方法叫多维方法。需要星形连接,事实表和维。星型连接的中央的表称作事实表。其周围的其它实体称为维表。
2:数据集市中的数据结构是根据部门的需求而建立的。所以,部门不同,数据集市也不同,但是,它们的所有结构都要依赖于数据仓库中粒度化的数据。
3:如何确定粒度?
(1) 对数据仓库中将来的数据行数和所需要的空间进行粗略估算(数量级)。
比如:确定创建所有的表,一两张大表和多张小表,估计每张表中行的大小,估计一个上界和一个下界。
(2)计算索引数据所占的空间,确定每张表(对表中的每个关键字或会被直接搜索的数据元素)的关键字或数据元素的长度,并弄清楚原始表中的每条记录是否都存在关键字。
(3)将各表中行数可能的最大值和最小值*数据的最大长度和最小长度。索引项数目*关键字长度。
以上两者的和=最终需要的数据总量
(4)考虑备份和恢复需要的空间。
以上4步,估算量达到数量级即可。
(5)在得出总行数的多少以后,采取不同的设计,开发与存储方法。
比如,在一年内,总行数超过10亿行,肯定会有大量数据要转移到溢出存储器上。溢出存储器有什么作用?它用于存放不常用数据,而且不会被经常访问。
(6) 确定粒度级别,高或者低都没有意义,为了得到这个合适的粒度级别,需要把数据放到最终用户前。然后进行反复循环迭代设计处理。
[@more@]来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/24214296/viewspace-1055742/ ,如需转载,请注明出处,否则将追究法律责任。