ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 大数据商业分析-Top down还是Buttom top

大数据商业分析-Top down还是Buttom top

原创 Linux操作系统 作者:zj2009072204 时间:2013-09-10 13:55:12 0 删除 编辑
copy来的,作笔记。
现在搞大数据(后端数据)的朋友,和早些年搞数据仓库的没啥本质区别,因为都是人为需要把各系统的数据集中化,现在增加个非结构化数据,于是就叫大数据,而以前就叫数据仓库。
在10多年前,数据仓库界一直有个争论,到底是TOP-DOWN好还是Bottom-UP好,一边说,我先把企业所有数据都集成,数据基础做扎实了,然后分析就可以源源不断产出了。而另一边认为,我们得先建数据集市,把业务主题搞扎实,让数据先有产出,然后再多个主题后再进行数据梳理整合。

前者的诟病是大半年都不会有啥“数据变现”的产出,问产出,就一直在说,系统搭建中,XX系统搭好了,XX业务数据集成了,等等。后者的诟病是,数据是有产出了,但是不同主题间的数据会有管理问题、每个主题需要不断添加新的数据源,开发、数据冗余都是个问题。

这是数据仓库界争论10多年的话题,直到近两年大数据兴起,大家就都没兴趣讨论了。在很多企业,大家都采用数据团队组织基础数据,做传统数据仓库前者的事情,再组织一个商业数据分析团队,做后者的事情。只不过大家都很少提数据仓库、BI这些老概念,不知道认为过时了,还是新一代数据人都不知道这些历史。其实本质是一样的,IBM等企业10年前就是2个团队在做,前后者的优势兼得。

------------------商业数据分析的传统---------------
在商业数据分析方面,我也是近4、5年才真正切入,之前都是做传统的数据仓库和BI。不过我经常欣赏几十年前的小数据商业分析的成功案例,试想小数据时代商业分析如此成功,大数据时代炒得那么热,却炒来炒去,就那么几个案例,有意思么?

我这里还是介绍那2个经典小数据时代的案例:
1。早期超市为了优化超市设计,采用人工观察,到后来的视频观察,来解析用户行为,他们解析用户行为的时候,发现了几个方面的业务改进Idea,超出了预期的想法。当看到人们眼光主要放在眼睛上下30度范围,于是陈列的时候,总是把利润最高的放这2排,利润低,性价比高的分别放上面和最下面;当发现人们通过买面包顺便买红酒,而不是买红酒顺便买面包,于是他们改变两种商品的组合和区域顺序;当发现免费品尝某水果,可以带动新鲜水果以及高利润的纯果汁的时候,超市又改变了策略。。。。。。。。

2。有个商场,纠结于传统方案是现代方案,于是两个方案同时上,一个是用咨询团队,一个是监控方案,数人数看人流。结果咨询团队的方案胜,原因是咨询团队虽然是小数据,但是他们的抽样数据都是按照经验选择恰当的样本,其次小数据的信息非常全面,包括人的性别、年龄、身份背景、收入水平(经验判断)、去哪个区域,买东西走到哪一步了(咨询、试穿、有没讨价还价),这些数据监控都没法得出,所以监控数据全面,但无法给出任何实质价值意义的建议,都是些空话。

-----------大数据商业分析应该TO-DWON还是Botton-Up?--------------
一种思路是需要足够大、全面的数据,没有解决不了的分析,一上来把所有可能的维度、数据分布、趋势都尝试一遍,认为没有规律也能看出规律了;一种是看问题,需要解决什么问题,就做什么分析,缺什么数据再从大数据中去取。

有人问,如果采用第二种方案,那么大数据价值何在,那么多数据都没利用起来?我想问,如果你想挖前面一座金山,你是挖一部分,然后淘一部分出来卖,还是把金山都挖完,然后一点点淘出来卖呢?当然你选择第一种,但你选择这个,你不会说浪费了整个金山,因为你知道你需一点点变现后才会有动力挖后面的。但为啥那么多搞大数据的人不是这个思路呢?

看到这里,可能大家认为我偏向第二种方案,其实不全是,我一直认为任何方案都有其优势,中庸取其精华最好。第二种方案的死穴是,如果你问题没搞得透彻明白,那么分析的都是无用功,都是在错误的轨道上转圈。

------------------什么是大数据时代好的分析方案?-----------------
我们来看第一个超市案例,他通过一个简单的、人工判断过的“用户行为”数据解决了这么多各种业务难题(陈列、布局、商品搭配、促销等),是因为他们发现一个问题,然后去解决的思路么?不是,而是充分以“商业”为中心,以“迎合用户需求,满足商业利益最大化”这一个最大分析目的,发现了用户行为,原来对这么多商业布局都有改进的地方,可以同时满足用户的购物需求,也满足商业利益最大化的需求,于是产生了后来的一系列超市零售改进。

再看大数据的案例,某人收到小孩用品推荐,他很生气投诉,结果没多久就写感谢信,说他女儿真的怀孕了,感谢云云。其实从这个案例中,除非给人惊奇外,有多大“商业价值”?如果纯从数据商业价值来说,这个分析推荐的作用,比起超市零售通过用户行为的变革,简直不值得一提,为啥还广为流传? 因为大数据时代,还找不出像样的案例,于是就拿惊奇的案例来吸引大众注意吧。

反过来说,并非大数据无用,或者说大数据不是远不够大(要知道比超市人工观察的数据大多了),而是大数据分析和应用的人们思维并未完全打开,我相信做推荐的朋友没多少熟悉供应链的,也没多少熟悉商品定价和生命周期管理的,所以他们的大数据只是应用在推荐。

两者本身适用于不同的场景,从个人实际工作遇到的情况出发,在大型集团机构中(如金融行业),总部的需求多趋近于TO-DWON的情况,需要大而全的基础,再此基础上生成具体的业务需求;而到下面实际的分支机构,因其各种局限性,需求往往是Botton-Up类的明细,我不需要所有的内容,只要相关的明细分析即可。
所以,我觉着,TO-DWON与Botton-Up本身并没有太多的优劣之分,需求决定一切!

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/28573466/viewspace-772468/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 数据仓库
下一篇: ETL数据加载策略
请登录后发表评论 登录
全部评论

注册时间:2013-09-09

  • 博文量
    11
  • 访问量
    17379