数据仓库的最重要的功能之一就是对数据的统计分析;DW2.0可以支持两种类型的处理:一是基本查询,二是统计分析。而统计分析通常是DW2.0的核心部分。本文重点讨论统计分析的应用。
利用统计分析可以实现很多目标:统计分析可以建立数据分析文件,对数据的内容进行统计总结,比方,有多少条数据记录?最大值和最小值是多少?平均数,中值,最频值是什么?这样可以知晓数据的大概分布情况和规律,因此可以让数据分析员看到数据的概述;当然,统计分析可以和外部数据结合,进行比较,从而得出结论;其中,企业数据的生成和发展是第一步,然后再扑捉外部数据,并将它们置于相同的环境条件中,就可以完成不同类型的比较;
在统计分析使用过程中,通常也可以分成几种类型:启发式分析和探索式分析;
启发式分析:
启发式分析员通常会说:“我不知道我想要什么,但是当我看到它的时候我就会知道是不是我需要的就是他”;因此,在启发式分析中,下一次分析迭代是由当前分析的结果决定的。计划好分析的迭代次数或者分析能得出什么结果,对于启发式分析是不可能的。
启发式分析是属于发现过程中的一部分。一个事务可以被认为是启发式的,如果它有助于我们学习、发现或者解决问题。
启发式分析有时需要对数据冻结,这样系统便不能吸收新的数据,这样可以检查分析的结果是由于算法还是数据的改变产生的。
探索性处理:
统计处理的本质之一是它经常进行反复的探索过程。在许多类型的信息处理中,分析过程往往建立在内容、形式和结构都已知的数据上;但是另一种情况却恰恰相反,往往对数据内容、形式和结构一无所知,这种就是探索型处理。
探索型处理,需要有一定的探索工具;通过探索工具的平台搭建,把DW2.0的数据导入探索工具平台(往往是最低粒度的数据和跨时间维度很长的数据);同时有可能需要外部数据的支持。当然,探索工具的数据的更新也是需要仔细考虑的,结合探索的需求和结果,确定探索数据的更新周期和频率。
当探索工具完成探索,得到探索结果,这时,探索结果往往是给管理层做决策使用;最后,结果是否需要保留取决于后期对数据的需要。通常是基于项目的数据,则不需要保留。如果探索数据对DW有一定的利用价值,则需要考虑设计数据的回流。
最后,基于本文的两种统计分析的应用,也许对DW2.0来说是最常见的,但是绝不是仅仅局限此。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/647161/viewspace-764943/
,如需转载,请注明出处,否则将追究法律责任。