原文：http://www.huohua.me/slist.php?id=3&s=s

第一期 大数据概述

为何会出现大数据这个词，首先是对现在具有3V或4V特性的一类数据的完整归纳，而原来我们常用的海量数据，大数据量，半结构化或非结构化各种说法很难真正的做到一个完整归纳。其次我认同的一个观点是大数据首先是一个商业或业务词汇，再谈技术解决方案。可以看到针对大数据并没有新创造什么新的技术，而是对已有的各种技术的集成和整合。

数据本身是一个静态的概念，但是数据有状态，各种业务事件本身又导致数据状态的变化，所有在业务事件驱动下，原有静态的数据会变化为动态的数据流。数据分析本身包括了静态结构分析和动态趋势分析，这才是一个完整的数据分析。考虑到数据的动态性，就必须考虑到CEP复杂事件处理，规则引擎等技术的应用。很多时候看技术方案时候你会看到大数据总体架构方面里面有这部分内容，就是这个原因。

大数据本身现在没有完整的定义，一般讲就是符合4V特性的数据就是大数据。而且里面的一个V是价值，原来的3V我们不谈价值是有问题的，即大数据必须是我们通过处理和分析，能够带来价值，才谈得上大数据。

大数据应用，企业内一般是海量数据的并行处理和分析，对于电信等运营行业还涉及到针对性营销或客户行为分析；智慧城市我们谈到过涉及到大量的GIS空间地理，图像，音频信息的分析和处理。对于互联网应用最广泛，核心点在于由于SNS带来的数据关系和维度的复杂化，随着分析深度的加深可以看到复杂度基本呈现指数级增加。

第二期 CDO

现在很多大企业已经有设置，包括类似的数据管理部门（特别是企业基础主数据)，数据处理和分析部门等。要意识到IT系统往往并不是企业核心资产，而是IT系统最终形成的数据才是企业核心信息资产。数据管理部门围绕数据全生命周期管理展开，包括数据的产生，收集，使用，处理，分析，变更，废弃等整个过程。是否叫CDO无所谓。还有数据管理部门更多的是业务部门，而非IT类部门，IT系统只是数据采集，处理和分析的辅助工具。

第三期 数据战略

用户行为和大数据的关系，并不是大数据来解释用户行为，而是用户行为要用大数据的手段来处理，因为这个数据量实在太大了。而且从它的复杂度来说又非常复杂，也只能用大数据的手段，才能对这么大规模的用户行为数据进行很好的分析和挖掘，产生最后的价值。

先说下数据本身有多个维度可以进行时间和空间上的分析。其次互联网上的大数据一个核心一定是人和人之间的关系，由于存在人和人关系导致数据分析本身的广度和深度得到足够的拓展。其次，现在谈的互联网大数据分析，基本以各个互联网运营商垂直门户和应用为主进行分析，连SNS因素也是在逐步加入，更加谈不上跨多个运营商的以人为主体的综合分析。这个信息往往只能来源于最原始的桌面，但是有时候个人本身桌面和终端也出现多样化。解决这个问题一个是桌面抓取，但是前面也出现过搜索桌面抓取用户隐私的问题，其次是跨门户和应用的数据开放和聚合，这个很难做到。

数据战略这个说法没必要，数据很重要是核心资产，数据本身是营销，财务，人力资源各个战略的核心支撑。各种企业价值链上的战略都需要基于数据的收集，处理和分析进行。数据本身没有价值，通过数据处理和分析来观察数据的关系和依赖，数据的流动，预测数据发展趋势支撑业务才有价值。

第四期 企业和数据

CDO这个角色也包括数据战略的制订，CDO在企业做的另外一个工作就是包括整个企业员工对数据意识的提升，这需要有一个完成的角色，在企业里面培养每一个员工的意识。你所做的工作可能既是数据的发生点，又是数据的决策点。

在这里提到了数据挖掘方面的事情，需要首先强调下即使在传统的BI解决方案里面，很多企业数据挖掘都解决不好或者做不起来。一个方面是模型的矫正和完善事情，一个方面是数据收集的广度和深度方面的问题。而到了大数据阶段，进一步增加了数据挖掘的复杂度，同时进一步对数据的V速度这个维度提出新要求，这也是为何引入云计算里面分布式数据收集和处理技术的原因。

第五期 数据战略之数据管理

Wikipedia上面解释Big Data的时候也是这样一个概念，我就不念英文的原词了。我认为它的定义基本上很准确，它基本假说在IT领域里面，大数据是一系列数据集的集合，这些数据集的集合又大又复杂，到了一定程度以后变成现有的数据管理、数据库工具，很难去处理。所以我觉得从刚才百度百科里面的词条和Wikipedia里面大致定义来看，大数据实际上是一种状态，是一种挑战，是一种环境。

对于大数据从几个层面来谈，个人理解还是分数据采集存储，数据处理，数据分析预测三个层面来谈即可。采集存储涉及到传统的ETL，也涉及到云存储，nosql数据库等很多内容。数据处理涉及到mapreduce分布式计算，pig数据流调度，基于hive的sql处理，也涉及到SOA，CEP复杂事件处理等内容。而对于分析预测层面，核心还是数据模型，分析模型，预测模型，特别是互联网大数据加入了人的关系因素后这个模型相当复杂。

对于数据管理更要注意到首先是一个业务词汇，才是涉及到IT技术，数据管理包括了数据模型管理，数据质量管理，涉及数据流的数据相关流程管理，数据管控组织结构等多方面的内容。再简单点来说，数据管理一个是空间维度，一个是时间维度，空间维度重点是数据本身的结构，数据间的关系和依赖；时间维度重点是业务事件驱动的数据流和数据状态属性变化过程。

第六期 数据战略之数据分析

数据应用分三个层次，一是数据共享，最早数据库比查询速度就是数据共享的一种，还有针对营销，为了更好的服务做的取数，从里面找出符合某种业务条件的明细数据，这是数据共享。二是信息加工，传统的BI、仪表盘都在这个领域，包括机器报表。三是数据挖掘领域，我更多理解为知识发现。

对于BI而言，抛开ETL或数据报表呈现不谈，只有两个核心内容，一个是数据模型，最终存储在ODS或DW中，其次是分析模型，现在展现方式可能是各种业务域的指标模型体系。

现在业界认为处理海量数据、大数据有两个最成熟的技术，一是列式数据库，二是内存计算。像集群、网格也是一种处理模式，但是对于列式数据库可能不需要网格也可以处理好。

我越来越觉得现在所有分析工具慢慢在走两个方向，一是越来越专业，越来越复杂，像hadoop，越来越越向底层发展，你要不懂底层可能就玩不转。注：这个必须有这个过程，但是要注意到企业开始投入一段时间后，形成标准的hadoop开发包或分析组件，实现粗粒度的能力共享，后续使用和运维上并不会复杂。随着技术发展这块后续完全会发展的更加简单易用。

第七期 电信行业实践

现在在业界通常这样做法，列式数据库也好，行式数据库也好，其实它和Hadoop之间可以存在某种开放的接口。比如说像我们列式数据库Sybase IQ 这里边我可以直接调用Hadoop的函数，我可以查询。然后把其中某些结构化信息抽取进来，进到我IQ里边，然后我在IQ做结构化分析，这样我就把两种数据储存和数据分析的技术可以综合起来使用，这样可以给用户提供非常丰富的查询场景。

对于电信行业大数据应用场景，我前面文章也谈到过，包括了海量数据的处理和分析，还有非结构化文件数据的处理和分析，例如电信行业BOSS应用中大量日志文件的采集处理和分析，这里面涉及到数据结构化，也涉及到并行的数据处理提高性能。还有就是B域中的客户行为分析，针对性营销都可能是大数据分析的场景。

对于noSQL数据库，要说明本身不是解决数据的复杂性和处理效率问题，而更多的是解决数据存储的可扩展性问题。同时也要看到有一noSQL本身的分布式节点存储，带来了分布式数据收集和处理新问题。内存数据库，分布式缓存等可以看到都可能在大数据分析和处理上得到应用，而仅仅是hadoop开源技术框架，同时即使使用mapreduce，实际的并行处理代码还得自己编写和实现。

第八期 金融行业实践

CEP三个字是什么意思呢？Complex Event Process，复杂事件处理。目前CEP的技术在资本市场上是被广泛应用的，刚才我说的几个场景，例如算法交易、程序化交易、策略交易，实际上CEP都在大量的使用。CEP实际上是对数据流进行分析和实时判断，它不强调数据的存储，而强调数据的处理。CEP能够帮助大家做到实时分析大数据，实时掌握大数据，实时的根据大数据进行决策，让你立于不败之地。

对于CEP我前面有文章谈到过，要注意在大数据技术框架里面引入CEP的原因，核心是解决大数据的四个V里面中重要的速度这个维度的问题。海量，多类型数据下还要保证速度，这就是关键点。