ITPub博客

首页 > 大数据 > 数据挖掘 > 数据分析系列——数据分析结果验证

数据分析系列——数据分析结果验证

数据挖掘 作者:zhouqidge 时间:2014-02-13 20:50:47 0 删除 编辑
 数据分析经常会输出各类分析报表,在看到报表时候,我们常常会有两种反应:要么找急忙慌地做下一步分析或者写报告,要么不知道怎么看或者不知道结果是否正确。对于每一张输出的报表,在做进一步分析之前应该对数据做一个简单的Preview,一来理解报表中数据的含义,二来可以对数据结果做一个简单的验证,保证数据的准确性。

常见的Preview方法有以下几种:
1. 多维度汇总
    有时候拿到的报表比较大,比如有几百行,这时候对不知道怎么看。举个例子,我们拿到一张全国所有城市的话务量,有335个城市,怎么看呢?我们可以汇总到省,一下子就可以减少到31行,那么这数据看起来就简单得多了,哪些省有问题就比较容易看出来了。

2. 排序
    以上面的例子为例,即使是31个省,数据也是乱七八糟的,看不出所以然。这时候可以以关键列进行正序或者倒序进行排序,就比较容易看出各个省之间的相关关系,更加容易地看出异常数据。
    对于地市级别的数据,排序效果就更好了,一排序就知道哪些城市高、哪些城市低、哪些城市数据异常,过高过低。这里面最常见的单位问题也就浮出水面了。

3. 向下钻取
   如果拿到的数据比较宏观,比如就一个全国的话务量,这一个数孤零零的看不出任何东西或问题,那么我们就可以钻取到省,从省级别就可以看出一些问题了,如果还有异常,就钻取到地市。

4. 历史对比
如果有历史数据的话,可以和历史数据做个对比,也可以加深对数据的理解和发现问题。

5. 经验值
经验很重要,如果发现数据和经验严重不符,就要值得数据,要么是话务真的突变,要么就是数据问题。

6. 关联分析
很多时候,报表各列的数据是有关联关系的,可以通过关联关系发现数据问题,例如话务量=各地市的话务量=室内话务量+室外话务量。

7. 图表分析法
上面的各种分析方法,如果结合图表分析就更好了,比如,话务量历史趋势图,各省话务量柱图等,问题就更明显了。

工具:
1)Excel数据透视图和透视表是非常好的分析方法,上面的各种方法都可以实现。
2)地理数据可以利用Excel的GeoFlow和Google Earth来打点分析,有问题和规律一眼就看出来了。
3)利用IBM SPSS Modeler的Data Audit模块,可以自动计算均值、最大值、最小值、众数等统计指标,还可以画出分布图。

在真正的使用过程中要对这些方法灵活应用,或者组合应用,还要对业务有比较深入的理解,了解关键维度和数据关系。

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/22459012/viewspace-1118855/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-09-01