ITPub博客

首页 > 大数据 > 数据分析 > 【读书笔记】大数据时代:生活,工作与思维的大变革

【读书笔记】大数据时代:生活,工作与思维的大变革

数据分析 作者:archer0005 时间:2013-09-21 16:47:12 0 删除 编辑
我不是一个很能跟得上潮流的人,大数据这个概念已经热了有一段时间,我才有机会得以阅读和了解。


大数据时代的核心三个观念应该是:“要全体不要抽样,要效率不要绝对精确,要相关不要因果。”
如作者所说:“●首先,要分析与某事物相关的所有数据,而不是依靠分析少量的数据样本。 ●其次,我们乐于接受数据的纷繁复杂,而不再追求精确性。 ●最后,我们的思想发生了转变,不再探求难以捉摸的因果关系,转而关注事物的相关关系。”
这确实是三个颠覆传统思想的概念:
要全体不要抽样:
信息时代数据泛滥的趋势早就深入人心,我们以前往往思考更多的是如何学会在大量的数据中去提取,去甄别,去取舍,而大数据时代告诉我们的是“样本=全体”,至少我们在某些方面,不再需要费心去考虑过滤的问题,而是依赖于越来越先进的工具,拥有并利用这一切。与其让大量数据将我们淹没,不如以新的方式去坦然接纳这一切。
“我们不能满足于正态分布一般中庸平凡的景象。生活中真正有趣的事情经常藏匿在细节之中,而采样分析法却无法捕捉到这些细节。”
要效率不要绝对精确:
妥协与灰度在这里得到了再次印证,而这对于一个细致缜密的人来说,绝对是一个思想转变的调整。大数据时代,我们要能够容忍错误,学会在瞬息万变的信息中掌握趋势,为下一刻的决策提供依据,这就够了。世事有得有失,效率和精确虽不是完全对立,但肯定同样需要不同的投入。事事精确,不仅意味着成本的上升,往往也不容易辨识最开始的重点。我感觉这和生活理念也有相同性,事无巨细的人,生活往往容不得有所瑕疵,不仅活得累,也难以在某些方面出类拔萃。
“接受数据的不精确和不完美,我们反而能够更好地进行预测,也能够更好地理解这个世界。”
“毕竟混乱构成了世界的本质,也构成了人脑的本质,而无论是世界的混乱还是人脑的混乱,学会接受和应用它们才
能得益。”
但是我们很多时候对这个世界没有足够的信心,就像我们很多时候对自己没有足够的信心一样。我每次在众人面前发言,总是习惯性地要把准备发言的内容在心里默默规划好,分清楚一二三,然后每点要讲什么,似乎这样我才有把握站在众人面前。而我的两个同事,风格和我相反,他们总是一上去先说自己要讲几点,其实到底是哪几点并没有完全列清楚,心里可能只想到第一点,但是他们在讲的过程中逐步引出下面的几点。他们会反问我,你这样事先想好,到时候不会忘记吗?其实我们本身是有能力去阐述我们的思想,而且是有能力随着过程的变化调整自己的思想。事先需要细致规划好,出自于对自己的信心不足,而且反而僵化过程。
“清楚的分类被更混乱却更灵活的机制所取代了。这些机制才能适应改变着的世界。”
要相关不要因果:
传统的教育理念,让我们不得不学会经常问为什么,有时候问一个还不够,还得问五个。找到了自以为是的答案,其实可能只是冰山一角。当然探索事物背后本质的动机不能停止,但相关性的概念着实让我耳目一新。通过一堆毫不相干的数据,推出一个更加毫不相干的趋势,看上去似乎难以理解,信不信由你,反正生活现象就是这样发生了。
“社会将两个折中的想法不知不觉地渗入了我们的处事方法中,我们甚至不再把这当成一种折中,而是把它当成了事物的自然状态。”

当然,我相信即使我们在强调这三个变化,但并不意味着完全否定之前:
抽样数据仍然有其价值,某些领域仍然要求精细,因果关系仍然是我们思考世界认识世界的重要方式之一。


几个进一步的阅读体会:
1. 关于工具
为了更好地实现大数据的目的,人的因素固然最重要,但工具在期间的作用也是必不可少的。根据我的理解,至少有这几方面的工具需要在这个过程中发挥作用:
获取数据:大量数据是没有办法靠人去记录和跟踪的,需要工具能够自动获取
分析数据:数据只是过程信息,需要工具分析出我们希望获取的目的,或者我们一开始并没有意识到的二次目的
存储数据:存储技术的发展已经不再让这方面有瓶颈,但附带的检索等进一步管理功能仍然会有不断的需求与问题出现
很遗憾,大数据这本书并没有很深入,我想可能也没有办法,对如何使用工具进行深入的解释,因为大数据的领域太广了,而每个领域的数据可能都有不同的工具需求。
我只是觉得很困惑,大数据的理念是理解了,但如何能够在工作中运用,单凭一己之力似乎有点困难,没有工具的支撑,海量的数据只能是想象中的神秘和美好,接不了地气。

2. 关于技术
“如此一来,我们得重新衡量一下更多的人力物力是应该消耗在算法发展上还是在语料库发展上。”
这句话说的大致是应该更好地发展技术,还是更多地搜集数据。站在这本书的角度,这句话无疑支撑的是后者的观点。这让我想起以前项目组能力建设一类的重点工作,我们总是百般思考,该如何更好地想出方法去提高能力,但每次我们给出的方法,总觉得没有太多底气,因为缺乏相应的资料、素材去支撑,说得范一点,也就是没有足够的数据。今天看到这一点,我不禁想,我们到底缺少的是什么,是方法还是素材?我今天已经看倦很多针对提升的所谓的方法,感觉皆是千篇一律。我想或许方法就是那几样,对结果的本质不会有太大的偏差,是方法其中的数据的维度,支撑了过程发展的趋势,影响了最终结果的深度。所以,我们很多重点工作试点之后,便没有了下文,因为我们太多的精力耗费在了方法的探索中,而没有足够的有组织有系统的数据搜集和整理。
“根据所提供价值的不同来源,分别出现了三种大数据公司。这三种来源是指:数据本身、技能与思维。”
“思维和技术是最有价值的,但是最终大部分的价值还是必须从数据本身中挖掘。”

3. 关于宽度
“我们往往倾向于把专业人才看得比全才更重要,也就是说深度就是财富。然而,专业技能就像精确性一样,只适用于“小数据”时代”
“人类的价值将不再体现在与思维类似的同行的交际上,而体现在与各行各业的人的交际上,因为这样知识就能广泛而深刻地进行传播。”
"统计学家、软件程序员、图形设计师与作家的结合体。"
这倒是为我泛而不精的知识架构状态找到了一个很好的借口,当年在大学里面疯狂考证的时候,我就有志于成为一个具备综合素质的人。所以多年过去,在相关的一些领域里面,似乎都知道点皮毛,但都钻得不深。后面的很多时候,也曾想到,自己是否还是应该深钻一两个领域,很多成功的人走的都是这条道路。但无奈秉性不够毅力不足,至今还是处于门门懂样样瘟的状态。大数据时代,更多的领域被牵扯进来,有的时候,我们需要的可能更多是“是什么”“在哪里”,而不要求所有的事情都知道“为什么”。其实,这是一种更高的要求,于纷繁芜杂中见到我们身处的世界将走向何方。

4. 关于需求
“西方谚语有云:“预测未来最好的办法就是创造未来。”这句话在大数据时代亦应当铭记。在福特时代,任何人都无法从数据中看到汽车将替代马车,福特所创造的是无法预测的全新篇章。”
除了福特,还有乔布斯更好地演绎了这句话。以客户为中心的需求管理中,考虑最多的不应该是客户您需要什么,而是我可以为您解决什么问题,带来什么价值。站在本书的角度,难免最大限度去吹捧大数据,没错,我们需要保持冷静,但我们也需要意识到,在大数据时代,客户更加不知道他需要什么。


其他有趣的东西:
1. 关于摄影
与传统相机只可以记录一束光不同,Lytro相机可以记录整个光场里所有的光,达到1100万束之多。具体生成什么样的照片则可以在拍摄之后再根据需要决定。用户没必要在一开始就聚焦,因为该相机可以捕捉到所有的数据,所以之后可以选择聚焦图像中的任一点。整个光场的光束都被记录了,也就是收集了所有的数据,“样本=总体”。因此,与普通照片相比,这些照片就更具“可循环利用性”。如果使用普通相机,摄影师就必须在拍照之前决定好聚焦点。
如果摄影真的能够按照这种方式去记录,但之前摄影师们引以为豪的构图、焦点,恐怕又要重新定义了,传统摄影的意义也会发生迁移。

2. 关于Kindle本身
亚马逊的Kindle电子书阅读器记录了一些读者反复标注和强调过的内容,但是亚马逊并没有把这些数据信息卖给作者或是出版社。书商肯定很乐意知道哪些段落是受读者喜欢的,因为这样他们就能提高销量;作者应该也想知道书籍的哪些地方不受读者欢迎,这样他们就能根据读者的喜好提高作品质量;出版社则可以通过这些数据知道哪些主题的书籍更有可能成为畅销书。但是,亚马逊把这些数据都雪藏了。
大数据是我买Kindle后第一本完整阅读的书,看到这里,特别亲切,呵呵。


<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/22014723/viewspace-1121199/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-07-01