今日(2013-3-13)读2013-03-12“大众日报”第四版“大数据:带来了什么”,因不懂“大数据”的概念,有一种“打破砂锅问到底”的冲动。
于是,以“大数据”为关键词在互联网上进行搜索,对大数据的概念有了一个概括的了解。要点是:
大数据(big
data),或称巨量资料,指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
大数据[2]技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。[3]
最小的基本单位是Byte,按顺序给出所有单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB,
它们按照进率1024(2的十次方)来计算:
1Byte = 8 bit
1
MB = 1,024 KB = 1,048,576 Bytes
1
GB = 1,024 MB = 1,048,576 KB
1
TB = 1,024 GB = 1,048,576 MB
1
PB = 1,024 TB = 1,048,576 GB
1
EB = 1,024 PB = 1,048,576 TB
1
ZB = 1,024 EB = 1,048,576 PB
1
YB = 1,024 ZB = 1,048,576 EB
1
BB = 1,024 YB = 1,048,576 ZB
1
NB = 1,024 BB = 1,048,576 YB
1 DB = 1,024 NB = 1,048,576 BB
大数据的4个“V”,或者说特点有四个层面:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三,价值密度低,商业价值高。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”——Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)
从某种程度上说,
大数据是数据分析的前沿技术。简言之,从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。
有了对大数据概念的基本了解,又想进一步更深入地学习大数据知识,我又在“新浪·爱问·共享资料”进行搜索,下载了三本有关“大数据”知识的书籍:
1、电子科技大学教授,互联网科学中心主任 周涛翻译 维尔托·迈尔-舍恩伯格编著的《大数据时代:生活、工作与思维的大变革》。
2、涂子沛著《大数据革命》
3、周自恒译《大数据的冲击》
还有没有专家教授讲解“大数据”的视频资料呢?我又在“优酷”网站进行搜索,收藏几个关于大数据的视频:
1、牛津大学教授、《大数据时代》作者维克托·迈尔·舍恩伯格《大数据时代,生活工作与思维的大变革》的演讲,有中文翻译。
2、缪其浩 顾君忠 《大数据时代:趋势、机遇与挑战》(上、下)
3、视频: [头脑风暴]20130630 大数据时代来了?
为了弄懂一个“大数据”,我花了不少脑筋,拉拉杂杂写了这么多,一口吃不成胖子,下载了这么多大数据资料,还得慢慢学习、咀嚼、思考。就此打住。