ITPub博客

首页 > 大数据 > 数据分析 > 从假想时代到数据时代·读《大数据时代》

从假想时代到数据时代·读《大数据时代》

数据分析 作者:releaseman30 时间:2014-01-26 00:30:33 0 删除 编辑

 

未来的十年,将是大数据引领下的智慧科技时代。不管你是否意识到它的存在,大数据都将越来越快地改变我们这个时代,包括我们的生活方式。

维克托·迈尔-舍恩伯格是最早洞见大数据时代发展趋势的数据科学家之一。他通过一个大家熟知的事例,来帮助我们理解“大数据”的潜在影响力,那就是四个世纪之前望远镜和显微镜的发明。望远镜能够让我们感受宇宙,显微镜能够让我们观测微生物,它们都是收集海量数据的新工具,因为这种工具的发明,人们同步更新了分析数据的技术和方法,促进了人们对世界更好的理解。如果说望远镜和显微镜是测量领域中的一场革命,那么今天的数据测量就相当于是现代版的望远镜、显微镜。随着社交网络的逐渐成熟,移动带宽迅速提升,云计算、物联网应用更加丰富,以及更多的传感设备、移动终端接入到网络,由此产生的数据及数据的增长速度比历史上的任何时期都要多、都要快。一个大数据的时代,不经意间顺理成章地翩然而至。

一、什么是大数据?

大数据是当前最热门的话题之一。但什么是大数据,人们尚未给出确切的定义。首先,“大数据”是相对过去小的、局部性的数据而言的;其次,利用大数据进行分析和工作时,所依据的关于此事尽可能完整的数据,从而“一览众山小”,而不是采用局部的小数据,从局部推断整体。

维克托也并未直接给出大数据的定义。不过,他用三大转变描述了大数据的特性:

转变之一:在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样。例如一项针对相扑比赛中非法操纵比赛结果的研究对64000场比赛进行了分析,这算不上一个很大的数字,但由于这是过去十年所有的比赛,所以它是大数据。

转变之二:由于有了更多的数据,我们可以接受更多的混杂、更多数据上的不精确。如果我们对于一个事物只有50个数据点,那么每一个数据点都必须非常精确,因为每个数据点都是有用的;但是如果我们有5000万个,去掉10个,甚至去掉1000个都没有太大的问题。

转变之三:不再探求难以捉摸的因果关系,转而关注事物的相关关系。分析大数据主要为了预测未来“是什么”,而不是“为什么”。因为很多时候我们以为我们找到了事情背后的原因,实际上却没有找到。更多时候知道了“是什么”就足够了。例如知道流感将会扩散到哪里就足够了,我不需要知道为什么;知道什么时候在网上购买机票能够获得最优惠的价格就足够了,我不需要知道为什么此时价格最低。

二、大数据带来的变化

大数据从根本上改变我们认识世界和改变世界的方式。很多传统的习惯将被颠覆,很多旧的制度将面临挑战。举例来说:

第一,科学探究的思路和方式受到挑战

探究是新课程改革中的一个热词,是促进学校教学与科学研究相融合的实践举措。科学探究的基本路径是:发现问题,提出假设,制定方案,实践探究,分析数据,得出结论。之所以会梳理出这样一个探究的路径,与我们对问题知晓的信息过少有关。换句话说,对所要研究的事物,我们知道的数据很少,需要从这些很小的数据出发,通过猜想和假设,进行试探性的研究,如果研究得出的结果和自己的假想是一致的,则说明我们的假说是正确的,这些假说会上升为对该事物描述的知识,我们掌握该事物的数据也随之增加。

利用测量所获得的点滴数据,从一个局部来推测世界是怎样的,这是科学探究的基本思路和方式。长期以来,我们总是通过这样的方式来认识世界,对其有宗教般的信仰。尽管我们知道,决策者总是先有了想法,才会提出假设。如果决策者自身对所研究的事情存在着偏见,所提出的假设就很难得到实证的支持,这往往会导致探究花费了很长的时间、很大的物力和财力,也常常劳而无功。但科学研究者还是坚定不移地沿着这条道路前行,学校在教学中也将其作为科学研究的基本规范来传授。

在大数据时代,这样的研究方式收到了极大的挑战。先举个事例来说吧。手机辐射是否能够致癌?关于这个问题,无论我们的假设如何,实验的设计都很难进行。首先,样本选择过少,没有统计学上的意义;其次,不能拿人做研究对象;第三,短时间的研究很难观察到变化。有了大数据之后,这样的难题就可以迎刃而解了。前段时间,丹麦就进行了这样的研究。丹麦拥有1985年手机推出以来所有手机用户的数据库。他们从这个数据库中分析了1990年至2007年拥有手机的所用用户的数据,同时,他们还收集了这一期间医院收集的所有癌症患者的数据,然后分析手机用户是否比非手机用户有更高的癌症发病率。这两个数据库本身是完全独立的,在作分析之前从来没有想过可以做这样的研究。结果表明,使用移动用户和癌症风险增加之间不存在任何关系。201110月,这一研究的结果发表在《英国医学杂志》上。

上述的案例告诉我们,在获得了大量的数据,能够对事物的整体进行全面的认识之后,假想就没有意义了,我们可以直接根据全面的数据做出结论。

第二,传统的思维习惯受到挑战

因果关系思维,是人们生活中最为普遍的一种思维方式。既是看上去没有关系的事情,人们也总是从因果的角度去理解他。比如说,188576日,巴斯德接诊了一个被带有狂犬病毒的狗咬伤的孩子,他把自己刚研制出来的狂犬疫苗给孩子注射,结果孩子活下来了。巴斯德的这一举措,使得狂犬疫苗和孩子的生存之间建立起了一个因果关系。但事实上,人被狂犬病狗咬伤后换上狂犬病的概率是只有七分之一,就算没有狂犬疫苗,这个孩子活下来的几率还是有85%

在哲学界,关于因果关系的争论已经持续了几个世纪。争论的焦点在于:如果因果关系是普遍存在的,每一个果都有一个因和他相对应,世界上的所有事情都有因果的话,我们就没有决定任何事情的自由了。尽管哲学领域的争论很热烈,但并不耽误人们在日常生活中通过因果关系来思考问题。不仅如此,由于掌握的数据过少,人们还容易从线性关系的角度找寻事物之间的因果关系。在物理学中,有一种处理数据的方式之一就是“化曲为直”,设法找到两个变量之间的线性因果关系,从而进行定量的描述。事实上,由于很多事情之间的关系是很复杂的,简单的线性处理容易导致人们对事物本质属性的误解。

在大数据时代,相关关系比因果关系重要。2009年甲型H1N1流感发生之后,美国的卫生系统极力想从因果关系上来找到流感的源头,但信息反馈的速度太慢,让专家们束手无策。谷歌公司做出了快速反应,把5000万条美国人最频繁检索的词条和美国疾控中心在2003年至2008年间季节性流感传播时期的数据进行比较,研究特定检索词条的频繁使用与流感在时间和空间上的传播之间的联系,很快就确定了流感是从哪个地方传播出来的。谷歌采取的就是相关关系分析的方法,而不是因果关系分析的方法。这是大数据时代,对数据进行处理的一种典型方法。

第三,数据化比数字化更加重要

数字化是将模拟数据转化成01的二进制码,以便电脑进行数据处理的过程。过去的很长时间,我们所做的事情,就是对文本进行数字化。很多书籍包括教材,通过PDF等格式,变成了数字形态的资料,存入了电脑或者网路之中。

但是,这些数字化的资料要查询起来并不方便。首先你要知道所需的资料在那本书中,其次你还要仔细地去翻阅这些数字化的资源,以便找到你所需要的信息。这和到书本里去找没有本质的区别。

如果这些数字文本能够被数据化,文本中的字、词和段落能够一一被识别,利用搜索殷勤加以检索就会方便很多。所谓数据化就是将一种现象转化为可以制表分析的可量化的过程,量化,是数据化的核心。信息只能被数据化,其巨大的潜在价值才有可能被释放出来。

数字化带来了数据化,但数字化不能替代数据化。今天,很多学校都在进行“电子书包”的课程教学实践,但有不少实践者认为,所为电子书包,就是将纸质的课本和教辅资料数字化,装入电脑中让学生上课中使用,这其实是对电子书包最大的误解。电子书包的核心在于数据化,要通过对学生学习过程所记录的大数据分析,把握学生的个性化学习特征,以便给予更有针对性的指导。

三、需要关注的一些问题

从教育的角度看,大数据时代的来临,对教育的变革将带来巨大的影响。

首先是教育内容要进行革新。大数据使得传统的因果思维方式、科学研究方式不再是生活、工作起主导地位的方式,这必然要求我们在教学中要将这些变化和学生讲清楚,以便他们能够在今后走上社会的时候有足够的能力迎接挑战。

其次是教学方式要进行革新。过去的教学,因为没有大量数据的支撑,该教什么全凭教师自己跟着感觉走。今天,我们可以将教师的教学视频挂在晚上,通过深度分析学生在观看视频的过程中在哪些地方停顿或者重放的频次比较高,来找出学生不明确或者课程吸引人的地方,帮助教师改进教学、确定教学重点。这必然导致教师教学方式的变革。

第三是学习路径会发生变化。在过去,如果你想成为一个优秀的生物学家,一定要认识很多生物学家。今天,要解决一个生物难题,可能与天体物理学家或者数据视图设计师联系就可以实现。

第四是要防止对数据的痴迷。一方面,我们要研究学校长期以来储存下来的大量数据,同时积累学校每天的教育数据,为进入大数据时代做好充分的思想准备;另一方面,要唤醒学校里沉睡的数据,让其在学校管理和教师教学中发挥更大的作用;再一方面,也要防止出现另一个极端,那就是对数据的痴迷。能仅仅为了收集数据而收集数据,要让数据在如何全面反映一个学生的能力、全面反映教师的教育质量等方面做出实践和探索。

 

    《大数据时代:生活、工作与思维的大变革》 [] 维克托·迈尔-舍恩伯格 肯尼思·库克耶/  盛杨燕 周涛/  浙江人民出版社  2013.1

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/22070712/viewspace-1121075/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-07-09