ITPub博客

首页 > 大数据 > 数据分析 > The Big Data Time: 大数据时代

The Big Data Time: 大数据时代

数据分析 作者:QXHUA 时间:2014-03-12 10:03:36 0 删除 编辑
大数据
大数据Big Data),或称巨量数据海量数据大资料,指的是所涉及的数据量规模巨大到无法通过人工,在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。在总数据量相同的情况下,与个别分析独立的小型数据集(dataset)相比,将各个小型数据集合并后进行分析可得出许多额外的信息和数据关系性,可用来察觉商业趋势、判定研究质量、避免疾病扩散、打击犯罪或测定实时交通路况等;这样的用途正是大型数据集盛行的原因。

大数据 - 概述

“大数据”(Big data)

“大数据”(Big data)这个名词并不新鲜,早在1980年代,美国就有人提出了“大数据”的概念“大数据”之“大”,更多的意义在于:人类可以“分析和使用”的数据在大量增加。

最早提出“大数据”时代已经到来的机构是全球知名咨询公司麦肯锡。麦肯锡在研究报告中指出,数据已经渗透到每一个行业和业务职能领域,逐渐成为重要的生产因素;而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。 

随着云时代的来临,大数据也吸引了越来越多的关注。《著云台》的分析师团队认为,大数据通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像 MapReduce 一样的框架来向数十、数百或甚至数千的电脑分配工作

为适应新技术的发展趋势,促进大数据研究的学术交流,2012年10月,中国通信学会大数据专家委员会在北京成立。成立这一学术组织旨在跟踪大数据的最新进展,探讨大数据发展与应用的重点问题,搭建学术性、行业性高端平台,促进国内外通信企业、监管部门、研究机构、学术机构的交流与合作,推动中国大数据的科研与发展。

大数据 - 特点

大数据的4个“V”,或者说特点有四个层面:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”——Volume,Variety,Value,Velocity。

大数据 - 技术

大的数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台,互联网,和可扩展的存储系统。2014年 CeBIT 汉诺威主办方同时也提出“Databilily”的概念:要可持续、负责任地处理海量数据,以防在这一领域的商机被发掘的同时也吸引不法分子的眼光。

大数据 - 应用领域


“大数据”包括网络日志,RFID,传感器网络,社会网络,社会数据(由于数据革命的社会),互联网文本和文件;互联网搜索索引;呼叫详细记录,天文学,大气科学,基因组学,生物地球化学,生物,和其他复杂和/或跨学科的科研,军事侦察,医疗记录;摄影档案馆视频档案;和大规模的电子商务

大数据 - 影响

“大数据”的影响,增加了对信息管理专家的需求,甲骨文、IBM微软SAP花了超过15亿美元的在软件智能数据管理和分析的专业公司。这个行业自身价值超过1000亿美元,增长近10%,每年两次,这大概是作为一个整体的软件业务的快速。 大数据已经出现,因为我们生活在一个社会中有更多的东西。有46亿全球移动电话用户有1亿美元和20亿人访问互联网

基本上,人们比以往任何时候都与数据或信息交互。 1990年至2005年,全球超过1亿人进入中产阶级,这意味着越来越多的人,谁收益的这笔钱将成为反过来导致更多的识字信息的增长。思科公司预计,到2013年,在互联网上流动的交通量将达到每年667艾字节。

大数据 - 实例

《纸牌屋》是2013年Netflix的自制剧,在美国和其他40多个国家引起了观剧热潮,Netflix首次试水自制剧,就取得了令人吃惊的成功,它的秘诀是——大数据。

 

1亿美元买下版权、要求大卫·芬奇担任导演、凯文·史派西担任男主角,这些都是Netflix利用数据挖掘得出的结论。Netflix早就意识到数据的重要性,它记录Netflix用户的位置、设备等信息,以及收藏、推荐、回放、暂停等动作,加上400万


大数据 - 市场

中国人口众多,互联网用户数在2013年已经超过5亿人,全球第一。海量的互联网用户创造了大规模的数据量。据预测,到2015年全球有超过85%的财富500强企业将在大数据竞争中失去优势。我们认为这种发展趋势在国内同样不可避免,在未来的市场竞争中,能在第一时间从大量互联网数据中获取最有价值信息的企业才最具有优势。
    
当前,大部分中国企业在数据基础系统架构和数据分析方面都面临着诸多挑战。根据产业信息网调查,目前国内大部分企业的系统架构在应对大量数据时均有扩展性差、资源利用率低、应用部署复杂、运营成本高和高能耗等问题。国内企业为适应大数据时代而做出大规模调整是一种必然,这为国内从事大数据相关业务的IT企业带来了极大市场需求。


<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/22151331/viewspace-1118164/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-07-20