题记：全文摘自华尔街博客文章，原文来自 ZDNet，由虎嗅编译。特别说明，文中提及个股均为原文，不代表迟重观点。请注意思考辨别，以下为摘录文章原文：
如果说2012年是大数据概念为人所知、引人瞩目、小试牛刀的一年，那么2013年大数据将会实现产品部署，早期投资获得回报，一小部分的产业被颠覆。到了2014年，各种大数据项目和系统很可能成为标准配置，到处可见。
今年，大数据和云计算一起作为科技术语出现。大数据意味着非常多的事情，但是被援引的次数太多了，几乎失去了其本来的定义。大数据的定义通常和速率（数据移动得快），体积（数据规模庞大），和种类（非结构化和结构化的信息）三点有关。
大数据真的如人们所描述的那样吗？是的。对我来说，大数据代表了科技和商业的一致——也就是首席信息官们始终追求的圣杯（Holy Grail）——成为了一件顺理成章的事情。大数据项目从本质上来说和营收、风险利润是相关的。换句话说，信息科技和商业世界情不自禁地联合了起来。
显然我们正处在一个追捧大数据的阶段。
我认为可以和1990年代末的Linux和2000年代初的开源软件运动相提并论。那时候Linux正要开始改变世界，和微软等厂商一较高下。从许多方面来说，Linux和开源软件（比如安卓）的确改变了一切。但是在行业变革的过程中发生了一个有趣的事情——开放软件成了每一个数据中心的标准配置，如今已经被认为是理所应当了。这场变革发生了，我们仅仅是不再谈论它而已。云计算也是一样。
大数据会遵循同样的发展路线。当然，会创造数百万个工作机会，相关人才也会变得有一点抢手。公司们也会用大数据升级各自的行业。随着Cloudera这样的创业公司成为新的红帽子（Red Hats），各家厂商的市场座次也逐渐明朗。
如下是我对大数据未来几年的展望。
2013年：2012年的试验项目成品化，每一个行业的垂直领域都会有一个成功的大数据案例。
2014年：在2013年成功经验和客户研究案例的基础上，一些行动快速的市场跟随者将进入大数据领域。各个行业都将遵循大数据的游戏规则。初期的回报看上去会很不错。公司的主要关注点在内部数据上，因为有很多东西可以挖掘。外部数据也很有用，但是这段时期不会有什么新进展。
2015年：在制定大数据计划时，公司们开始将目光投向外部数据。在2015年之前，消费者所面对的公司都在花费大部分时间用于研究外部信息。每一个分析师和数据仓库都将会有一个Hadoop计算簇和一个大数据层。像Hadoop这样的技术不再受人关注，因为这些技术始终非常重要，慢慢淡化进入软件栈。围绕大数据题材的整合并购开始加速。
2016年：数据驱动的决策代替了直觉和常识。这个时候公司们要开始仔细思考数据的使用，避免出现无意义的数据。公司会因为错误解读了数据而导致重大事故的发生。2017年：云和大数据、数据仓库合并起来，成为了一项服务，“分析即服务”和“数据即服务”成为主流。很少有公司真正考虑创建自己的Hadoop计算簇进行整合工作。大数据基础设施即将实现。注意：2017年是这些大数据即服务为大众所普及的一个估算时间。大数据即服务的市场竞争在这个时间段正在进行，将会于不久涉及到关键的大范围用户群。
大数据在IT采购周期上又是怎样的情况呢？大数据项目需要有更多高级别的管理人员。分析如下：
首席信息官：大数据项目终于能让首席信息官解决一直以来的“我们一致吗？”问题。
首席财务官：将大数据分析作为控制成本、最大化利润的方式。潜在风险是公司有可能因为忽略人的因素而失去好的机会。
首席市场官：2012年，首席市场官成了IT采购的红人。不过这有点不太合理，因为首席市场官主要依赖外部数据和信号判断项目。
首席运营官，采购人员：大数据可以让存货、供应和制造过程自始至终都可以进行追踪。效率能够得到改进。
数据科学家：这部分员工越来越被看作是“首席”管理层的接班人。职场方面，数据高手想去哪家公司都行。
600640和000938和000555和000851将成为2014年移动互联耀眼的明星。000939换手7267%.成本16.29.600640换手11650%成本12.11.000555成本8.37元，换手12569%。000851成本9.2元，换手10935%，年换手越大，空间越大。600640大股东资产3000多亿，000938紫光加启迪800亿，000555神州数码资产700多亿，000851背靠三大电信，阿里腾讯网易中国支付龙头股之一，未来智慧城市的投资是上万亿的投资，和生活金融科技的变化，大数据云计算手机支付将彻底改变我们的生活。
再次解释第三次新技术革命的大数据。
早在1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。不过，大约从2009年开始，“大数据”才成为互联网信息技术行业的流行词汇。美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。此外，数据又并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。
大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。且中国物联网校企联盟认为，物联网的发展离不开大数据，依靠大数据可以提供足够有利的资源。
随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。《计算机学报》刊登的“架构大数据:挑战、现状与展望”一文列举了大数据分析平台需要具备的几个重要特性，对当前的主流实现平台———并行数据库、MapReduce及基于两者的混合架构进行了分析归纳，指出了各自的优势及不足，同时也对各个方向的对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据”这个术语最早期的引用可追溯到apache org的开源项目Nutch。当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌MapReduce和GoogleFile System （GFS）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。
从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。
大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。工程和科学问题尚未被重视。大数据工程指大数据的规划建设运营管理的系统工程；大数据科学关注大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。
大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，价值密度低，商业价值高。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”——Volume，Variety，Value，Velocity。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。
研究现状及作者在大数据分析方面的努力进行了介绍，对未来研究做了展望。
关注大数据之2
2013-10-20
15:36:10| 分类：
C7.经济科技视野 | 标签： |字号大中小
大数据泛指巨量的数据集，因可从中挖掘出有价值的信息而受到重视。《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。麦肯锡公司的报告指出数据是一种生产资料，大数据是下一个创新、竞争、生产力提高的前沿。世界经济论坛的报告认定大数据为新财富，价值堪比石油。因此，发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手。
大数据时代的来临
互联网特别是移动互联网的发展，加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示，1998年全球网民平均每月使用流量是1MB（兆字节），2000年是10MB，2003年是100MB，2008年是1GB（1GB等于1024MB），2014年将是10GB。全网流量累计达到1EB（即10亿GB或1000PB）的时间在2001年是一年，在2004年是一个月，在2007年是一周，而2013年仅需一天，即一天产生的信息量可刻满1.88亿张DVD光盘。我国网民数居世界之首，每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易，单日数据产生量超过50TB（1TB等于1000GB），存储量40PB(1PB等于1000TB)。百度公司目前数据总量接近1000PB，存储网页数量接近1万亿页，每天大约要处理60亿次搜索请求，几十PB数据。一个8Mbps（兆比特每秒）的摄像头一小时能产生3.6GB数据，一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在，一个病人的CT影像数据量达几十GB，而全国每年门诊人数以数十亿计，并且他们的信息需要长时间保存。总之，大数据存在于各行各业，一个大数据时代正在到来。
信息爆炸不自今日起，但近年来人们更加感受到大数据的来势迅猛。一方面，网民数量不断增加，另一方面，以物联网和家电为代表的联网设备数量增长更快。2007年全球有5亿个设备联网，人均0.1个；2013年全球将有500亿个设备联网，人均70个。随着宽带化的发展，人均网络接入带宽和流量也迅速提升。全球新产生数据年增40%，即信息总量每两年就可以翻番，这一趋势还将持续。目前，单一数据集容量超过几十TB甚至数PB已不罕见，其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。 数据规模越大，处理的难度也越大，但对其进行挖掘可能得到的价值更大，这就是大数据热的原因。首先，大数据反映舆情和民意。网民在网上产生的海量数据，记录着他们的思想、行为乃至情感，这是信息时代现实社会与网络空间深度融合的产物，蕴含着丰富的内涵和很多规律性信息。根据中国互联网络信息中心统计，2012年底我国网民数为5.64亿，手机网民为4.2亿，通过分析相关数据，可以了解大众需求、诉求和意见。其次，企业和政府的信息系统每天源源不断产生大量数据。根据赛门铁克公司的调研报告，全球企业的信息存储总量已达2.2ZB（1ZB等于1000EB），年增67％。医院、学校和银行等也都会收集和存储大量信息。政府可以部署传感器等感知单元，收集环境和社会管理所需的信息。2011年，英国《自然》杂志曾出版专刊指出，倘若能够更有效地组织和使用大数据，人类将得到更多的机会发挥科学技术对社会发展的巨大推动作用。
大数据应用的领域
大数据技术可运用到各行各业。宏观经济方面，IBM日本公司建立经济指标预测系统，从互联网新闻中搜索影响制造业的480项经济数据，计算采购经理人指数的预测值。印第安纳大学利用谷歌公司提供的心情分析工具，从近千万条网民留言中归纳出六种心情，进而对道琼斯工业指数的变化进行预测，准确率达到87%。制造业方面，华尔街对冲基金依据购物网站的顾客评论，分析企业产品销售状况；一些企业利用大数据分析实现对采购和合理库存量的管理，通过分析网上数据了解客户需求、掌握市场动向。有资料显示，全球零售商因盲目进货导致的销售损失每年达1000亿美元，这方面的数据分析大有作为。
在农业领域，硅谷有个气候公司，从美国气象局等数据库中获得几十年的天气数据，将各地降雨、气温、土壤状况与历年农作物产量的相关度做成精密图表，预测农场来年产量，向农户出售个性化保险。在商业领域，沃尔玛公司通过分析销售数据，了解顾客购物习惯，得出适合搭配在一起出售的商品，还可从中细分顾客群体，提供个性化服务。在金融领域，华尔街“德温特资本市场”公司分析3.4亿微博账户留言，判断民众情绪，依据人们高兴时买股票、焦虑时抛售股票的规律，决定公司股票的买入或卖出。阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和讲究诚信的企业，对他们发放无需担保的贷款。目前已放贷300多亿元，坏账率仅0.3%。在医疗保健领域，“谷歌流感趋势”项目依据网民搜索内容分析全球范围内流感等病疫传播状况，与美国疾病控制和预防中心提供的报告对比，追踪疾病的精确率达到97%。社交网络为许多慢性病患者提供临床症状交流和诊治经验分享平台，医生借此可获得在医院通常得不到的临床效果统计数据。基于对人体基因的大数据分析，可以实现对症下药的个性化治疗。在社会安全管理领域，通过对手机数据的挖掘，可以分析实时动态的流动人口来源、出行，实时交通客流信息及拥堵情况。利用短信、微博、微信和搜索引擎，可以收集热点事件，挖掘舆情，还可以追踪造谣信息的源头。美国麻省理工学院通过对十万多人手机的通话、短信和空间位置等信息进行处理，提取人们行为的时空规律性，进行犯罪预测。在科学研究领域，基于密集数据分析的科学发现成为继实验科学、理论科学和计算科学之后的第四个范例，基于大数据分析的材料基因组学和合成生物学等正在兴起。
麦肯锡公司2011年报告推测，如果把大数据用于美国的医疗保健，一年产生潜在价值3000亿美元，用于欧洲的公共管理可获得年度潜在价值2500亿欧元；服务提供商利用个人位置数据可获得潜在的消费者年度盈余6000亿美元；利用大数据分析，零售商可增加运营利润60%，制造业设备装配成本会减少50%。目前，大数据技术的运用仍存在一些困难与挑战，体现在大数据挖掘的四个环节中。首先在数据收集方面。要对来自网络包括物联网和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全面性和可信性。其次是数据存储。要达到低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重，减少存储量，同时加入便于日后检索的标签。第三是数据处理。有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量，处理的复杂度很大，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。第四是结果的可视化呈现，使结果更直观以便于洞察。目前，尽管计算机智能化有了很大进步，但还只能针对小规模、有结构或类结构的数据进行分析，谈不上深层次的数据挖掘，现有的数据挖掘算法在不同行业中难以通用。
大数据技术的运用前景是十分光明的。当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，健全信息安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情，把握规律，实现科学发展，做出科学决策具有重要意义，我们必须重新认识数据的重要价值。
——全文摘自华尔街博客文章——
