ITPub博客

首页 > 大数据 > 数据分析 > 码教授告诉你大数据具体指的是什么?

码教授告诉你大数据具体指的是什么?

数据分析 作者:lucky冯帅 时间:2018-08-10 14:36:33 0 删除 编辑

  大数据,指的是通过目前主流软件工具,无法在一定时间内做到采集、存储、处理、并整理规模巨大的相关数据,从而帮助企业经营决策更好的目的的资讯。

  Gartner研究机构给大数据”作了一个这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

  大数据最核心的价值就是对海量数据进行存储和分析。相比起现有的其他技术而言,大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。

  简言之,从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。

  大数据特点

  1、数据类型繁多(Variety)

  来自不同的数据源,非结构化数据也越来越多,数据需要进行清洗,整理,筛选等操作,变为结构数据。

  2、数据体量巨大(Volume)

  从TB级别,跃升到PB级别,乃至EB级别。

  3、处理速度快(Velocity)

  1秒定律,可从各种类型的数据中快速获得高价值的信息。要求快速响应,市场变化快,要求能及时快速的响应变化,那对数据的分析也要快速,在性能上有更高要求,所以数据量显得对速度要求有些“大”。

  4、 价值密度低(Value)

  由于数据采集的不及时,数据样本不全面,数据可能不连续等等,数据可能会失真,但当数据量达到一定规模,可以通过更多的数据达到更真实全面的反馈。只要合理利用数据并对其进行正确、准确的分析,将会带来很高的价值回报。

  大数据发展历程

  大数据最先是赫尔曼·霍尔瑞斯为了统计1890年的人口普查数据而发明了一台电动器来读取卡片上的洞数,让美国只用一年时间就完成了原本耗时8年的人口普查活动,此项工作节省大量人力物力,从而开启了数据处理新篇章。

  1943年,英国一家工厂为了破译纳粹密码,开发了能大规模进行数据处理的机器,并使用了电子计算机进行运算。

  1997年美国迈克尔·考克斯和大卫·埃尔斯沃斯首次使用“大数据”这一术语来描述遇到的挑战:在考克斯和埃尔斯沃斯按案例中,计算机生成大量的信息进行模拟飞机周围的气流。数据量之大,超出了主存储器、本地磁盘,甚至远程磁盘的承载能力。”他们称之为“大数据问题。”

  2002年,美国政府为阻止恐怖主义已经涉足大规模数据挖掘。前国家安全顾问约翰·波因德克斯组建一个用于筛选通信、犯罪、教育、金融、医疗和旅行等记录来识别可疑人的大数据库。

  2007,随着社交网络的激增,技术博客和专业人士为“大数据” 概念注入新的生机。“当前世界范围内已有的一些其他工具将被大量数据和应用算法所取代”。

  2009年1月,印度政府建立印度唯一的身份识别管理局,对12亿人的指纹、照片和虹膜进行扫描,并为每人分配12位的数字ID号码,将数据汇集到世界最大的生物识别数据库中。

  2011年2月,扫描2亿年的页面信息,或4兆兆字节磁盘存储,只需几秒即可完成。


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31549219/viewspace-2199773/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-08-10

  • 博文量
    28
  • 访问量
    11978