ITPub博客

首页 > 大数据 > 数据分析 > 大数据漫谈1:大数据到底是什么

大数据漫谈1:大数据到底是什么

数据分析 作者:shsnchyw 时间:2015-10-08 16:53:50 0 删除 编辑

专家简介:李剑杰,新炬网络架构师,资深数据资产管理、大数据专家,10年数据资产管理经验,曾参与多个移动、联通、银行、烟草数据资产管理项目,对数据资产有丰富的项目规划管理、落地实施经验。


何为大数据


大数据的概念,喧嚣社会之上也有好几年了。但具体什么是大数据,行业里也是各说不一。狭义上来讲,大数据就是巨量数据,极大量的数据。但究竟是“多大”,才叫“大数据”呢?目前,业内也是一直没一个统一的说法。其实一般来说,10T量级的数据量,就可以称之为“大”数据了。而广义上的大数据,更多是指包括数据本身在内的,一整套数据处理分析框架。纵观众多的大数据解释,小K以为,研究机构Gartner给的定义还是比较不错的,也是目前百度百科上所采用的定义:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量的、高速增长率和多样化的信息资产。


这个定义还是比较好的,区分了纯数据量论,也比较符合实际项目落地的情况。比如一个客户终端偏好分析,如果在现有数据、分析模型上,已经可以有99%的机会准确分析出来,那再另外增加大量的数据去分析,这是毫无意义的,甚至由于噪音数据的增加,准确率更低也是有可能的,这种情况就不应该归入大数据的范畴,用大数据的方式去处理。目标数据要重质,而不是单纯的量。


大数据平台化


大数据该怎么玩?这也是一个大家经常讨论的话题。近几年,大数据以极快的速度落地生根,后来发展的可能已经超出了它最初的含义。在数据量不断剧增,数据资产化的趋势下,大数据平台化已经成为业内比较流行的一种建设方式。大数据平台重在数据的采集、存储、处理,重在数据能力的提供上,给应用建设提供数据支撑,而不是直接面对最终用户。如下图:



大数据平台解决了在以往技术框架内,面对大量数据时难以解决的数据采集、存储、处理问题,并根据上层应用需求,提供了数据能力服务,支撑上层应用开发,满足最终用户的各类需求。


或许有朋友会问:大数据平台用什么技术建设比较好呢?是当前热门的Hadoop技术?后起之秀Spark?还是沉稳的MPP?小K觉得这又有什么关系呢?技术是为业务服务的,技术也是优劣并存的,考虑的因素不一样,技术的选型就不一样,没有最好的技术,只有最合适的场景。也许, 几年之后,又是其它新技术的天下。


小结


根据IDC的研究显示,从2005年到2012年,全球的数据量翻了27番,约达到2.5ZB,其中仅有25%的数据是有用的,仅有3%的数据贴有标签能被使用,仅有0.5%的数据被用于分析。大量的数据被闲置,被丢弃,价值被埋没。随着技术的不断发展,数据的价值日益凸显,大数据将会成为推动未来企业发展的重要引擎。BAT知道,全世界也知道。


大数据之路,任重而道远!

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/29960155/viewspace-1813505/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2014-10-16

  • 博文量
    147
  • 访问量
    238852