第一章 数据挖掘

数据挖掘（Data Mining）：从大量、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又潜在有用的信息和知识的过程。

模糊性指事件本身从属的概念的不确定性，随机性指事件发生与否的不确定性。噪声数据指的是由于异常干扰，使我们获得的数据偏离了真实值得数据。

数据仓库是一个面向主题的、集成的、随时间变化的、持久的数据集合，用于支持管理层的决策过程。

联机在线分析（OnLine Analytical Processing，OLAP）是一种具有对数据进行汇集、合并和聚集以及从不同角度观察信息的分析技术。

数据挖掘功能：联机分析、聚类分析、分类、回归、时间序列分析和偏差甄别等。

(一) 关联

1. 概念：指一个事件与另一个事件之间的依赖关系，如沃尔玛的啤酒和尿布捆绑。

2. 经典的关联算法：Apriori

Apriori基本思想：首先从事件中集中寻找所有频繁出现的事件子集，然后在这些频繁事件子集中发现可信度较高的规则。

(二) 聚类

1. 概念：将数据对象划分成若干个类，在同一个类中的对象具有较高的相似度，而在不同类中的对象数据差异较大。如生活中的“圈子”（由志向、兴趣、地位、年龄、职业、爱好、特长、个性、收入甚至居住地点较相似的人自发形成的团体。）

2. 关键：对象的相似性的度量。

3. 基于距离度量对象的相似性：两个对象的距离越小，说明两者越相似。其经典聚类算法：划分方法和层次聚类方法。

4. 基本思想：类内数据点越近越好，类间点越远越好的尽可能算法。

5. 划分方法（Partitioning Method）的经典算法：k-Means、k-Medoids

A. k-Means的核心思想：把n个对象划分为k个类，使每个类中的数据点到该类中心距离的平方和最小。

（一般，不知道数据点可以聚集成多少个类，为乐找出最适合的聚类个数k,一般要用若干个k去试验，哪个k最后得到的距离平方和最小，就认为哪个k是最佳的聚类个数。）

缺点：用质心来代表簇，对噪声和孤立点数据非常敏感，因为一个离群的数据会对质心的计算带来很大的影响。

B. k-Medoids的核心思想：在k-Means的的第（3）步中，以各聚类均值点最近的点为聚类中心。

用中心点来代表质心，可以消除噪声和孤立点数据的影响。

C. 总结：当结果簇是密集的，而簇与簇之间区别明显时，k-Means算法的效果较好。

D. 两个的共同缺点：

1. 只有在簇数据点的平均值有定义下才能使用，不能用于离散数据。改进：k-模，用“模”代替簇的平均值，用新的相异性度量方法来处理分类对象，用基于频率的方法来修改聚类的模。

2. 不适用于发现非球状数据的簇。

改进：用密度代替距离的相似性，从数据对象的分布密度出发，把密度足够大的区域连接起来，从而发现任意形状的簇，此类算法可以有效去除噪声。常见的基于密度算法：DBSCAN、OPTICS、DENCLUE。

6. 层次方法（Hierarchical Method）的基本思想：按数据建立簇，形成一颗以簇为节点的树。如果自底向上进行层次聚集，则为凝聚的（aggalomerative）层次聚类；如果自顶向下进行层次分解，则为分裂法（Divisive）的层次聚类。

A. 凝聚的层次聚类首先将每个对象他为一个簇，然后逐渐合并这些簇形成较大的簇，直到所有的对象都在簇中或满足某个终止条件。

B. 分裂的层次聚类首先将所有的对象置于一个簇中，然后逐渐划分为越来越小的簇，直到每个对象自成一簇或达到终止条件。

经典算法：BIRCH、CURE、ROCK、Chameleon。

缺点：无法回答数据对象到底可以聚集为多少类。

C. 视觉聚类算法基本思路：将数据集看作图像，将数据建模问题看作认知问题，通过模拟认知心理学的格式塔原理与生物视觉原理解决问题。

将相似性、连续率、闭合率、临近率和对称率作为聚类的基本原则。

关键：随着尺度σ由小变大，聚类的个数在发生变化，但会出现尺度σ在很大范围内变化、而聚类的个数却稳定不变的情况。这个聚类的生存周期最长，就是最佳的聚类个数。

(三) 预测

1. 数据挖掘的预测是通过对反映事物输入和输出之间的关联性（即内在规律的历史数据）的学习，得到预测模型，再利用该模型对未来数据进行预测的过程。（黑箱子模型），应用：市场分群、精确营销、新业务响应和客户流失分析。

2. 典型的机器学习方法：决策树方法、人工神经网络、支撑向量机、正则化方法

A. 决策树方法：通过一定的评判策略判定哪一个属性对分类最为重要，就将其作为根节点，然后再判断余下的节点中最重要的节点，直到叶子结点。

叶子节点的条件：1.节点的样本集合中样本都属于同一类。2.节点的样本集合中所有的属性都已经处理完毕。3.节点的样本集合中所有样本的剩余属性取值完全相同。

典型算法：ID3（Interactive Dicremiser version3）：选取具有最高信息增益的属性作为当前节点的分裂属性，使得对结果划分中的样本分类所需的信息量最小。

B. 人工神经网络：定量或定性的信息都可贮存于网络内的各神经元中，即它可以同时处理定量、定性知识。而且网络有很强的稳定性和容错性。

C. 支撑向量机（Support Vector Machine，SVM），从线性可分的二分类问题开始建模的，再逐步向线性不可分问题、非线性问题深入，最后推广线性和非线性回归问题建模。在解决小样本、非线性及高维模式识别问题中表现出特有的优势。

D. 正则化方法的典型代表：Lasso模型、推广的Lasso模型、L1/2正则化模型及迭代阈值算法。

E. 序列和时间序列

1. 序列：就是被排成一列的对象（或事件），这样，每个元素不是在其他元素之前，就是在其他元素之后，元素之间的顺序非常重要。

2. 序列和关联关系密切，所不同的是序列发现中事件的相关是以次序来去个，有时间以时间来区隔。

3. 时间序列和回归的功能类似，只是时间序列是用历史数值来预测未来数值，是一种特殊的自回归，更多表现为描述对于过去时刻的观测和相应时刻的随机扰动的记忆性规律。

(四) 数据挖掘工具

1. IBM的Intelligent Miner，包含多种统计方法和挖掘工具，可以线性回归、分类、序列模型等。

2. Unica Model 1，涵盖响应模型、交叉销售模型、客户价值评估模型、市场细分模型等，是一款经典的、针对市场营销和策划行业的软件。

3. SAS（Statistics Analysis System），设计上针对专业用户，操作以编程为主，人机对话界面不友好。

4. SPSS（Statistical Product and Service Solutions），最突出特点是操作界面友好，输出结果美观。基本功能：数据管理、统计分析、图表分析、输出管理等。其真正的挖掘产品是Clementine，它的图形化工作流操作方式使得分析人员可以看到数据挖掘过程的每一步。

5. WEKA（Waikato Environment for Knowledge Analysis），免费的，集成了分类、回归、聚类、关联规则等。

第二章 数据挖掘流程

基本流程：业务理解、数据理解及收集、数据准备、建立模型、模型评估和部署

1. 业务理解

做法：深刻理解业务需求，在此基础上制定数据挖掘的目标和实现目标的初步计划。

2. 数据理解

做法：收集数据、熟悉数据、识别数据的质量问题和探索引起兴趣的子集。

3. 数据准备

做法：从收集来的数据选择必要的属性（因素），并按关联关系将它们连接成一个数据集，然后进行数据清洗，即空值及异常值处理、离群值剔除，数据标准化等。

有时采集的数据数量级相差太大，如果不进行数据标准化，计算时可能出现大数吃小数现象。

常用的数据标准化方法：0均值-1方差（最常用）、最大值-最小值、移动小数点。

4. 建模

做法：选择应用不同的数据挖掘技术，并确定模型最佳是我参数。如果初步分析发现模型的效果不太满意，需要再跳回数据准备阶段，甚至数据理解阶段。

5. 评估

做法：主要对建立的模型进行可靠性评估和合理性理解。

6. 部署

做法：数据评估后认为合理的模型，制定将其应用于实际工作的策略，形成相应部署报告。

第三章 数据挖掘再各行业的应用

(一) 电力行业：电力系统的规划设计、系统的故障分析、市场用户特征分析。

1. 寿命管理：在对设备进行检测和评估的基础上优化其运行和检修管理，降低设备寿命周期费用。

2. 状态检修：以设备的当前实际工作状况为依据，通过先进的状态监测手段、可靠地评价手段和寿面的预测手段来判断设备的状态，并识别故障的早期征兆，从而根据分析诊断结果在设备性能下降到一定程度或故障要发生之前进行维修。

3. 支撑向量机，是一项有效地解决分类和回归问题的方法。将各个评价指标作为输入，将实际评估结果作为输出。（故障诊断）

4. 时间序列分析预测（电力负荷）、Apriori（系统暂态稳定性评估）、聚类（盗电检测）

(二) 交通航空领域：火车票价格制定（考虑成本、竞争对手的成本、市场的周期性）、铁路轨道检测、交通流量预测、

1. 顾客差异化定价：是企业对同一产品，根据不同的销售对象、不同的消费地点和不同的销售时间、不同产品等方面的需求差异而制定不同的价格。

(三) 冶金行业：生产过程优化、产品之类控制

1. 流程工业：指生产连续不间断或半间断连续批量生产的工业过程，如炼油、化工、造纸、冶金等。共同特点是：工艺流程基本不变，但生产周期长，生产过程复杂，工艺参数特别多。

2. 流程工业的生产过程优化问题按时间分为：产品设计时的优化（可调整生产流程、操作）、运行时的优化（调整运行变量）

3. 逆质量问题：根据产品质量目标值反推相应的影响因素参数值。采用遗传算法建立其预测模型。

4. 产品质量预测：根据对产品质量的影响因素和产品质量指标的测量数据，推出其函数关系，然后对新的工况参数，推断其对应的质量指标。采用LASSO模型建立 产品质量预测模型。LASSO模型可以在回归误差尽可能小的情况下剔除冗余变量。

5. 增量式支撑向量机，增量学习是指在原来学习样本情况下，增加新样本的在学习方法。基于以下两点：1、由于在整个训练样本集中得到的训练回归函数只与支撑向量上的训练的结果一样，我们就可以用较少量的支撑向量代表整个训练集；2、增量样本中如果属于非支撑向量集合R，即在回归间隔线之内的点，将其加入工作集中，不会改变训练结果。若增量样本不在间隔线之间时，则将改变支撑向量机的回归函数。

(四) 电信行业：市场分群、精确营销、新业务响应、客户流失。

1. 市场细分（Market segmentation），指营销者通过市场调研，依据消费者的需求和欲望、购买行为和习惯等方面的差异，把一个产品划分为若干个消费者群的市场分类过程。它可按很多维度去区分，如人口特征、消费行为等。最主要应该围绕着营销目标进行。

2. 聚类和分类模型不一样，聚类属于非预测性模型（描述性模型）。聚类模型解决的问你是对用户进行分组（分群），特征相似的用户在一个组内，特征不同的用户分在不同的组。分类模型是预测性模型，解决的问题是对类别未知的用户进行预测，以判断其属于哪个类别的概率比较高。

3. 精确营销：一种基于数据分析的量化过程，对用户使用行为和偏好的精准衡量和分析，从而实现在合适的时间、地点精确推荐给合适的人。

4. 精确营销解决的两大问题：哪些用户是某个产品或者营销活动的目标用户？每个欧诺个户最适合被推荐的产品是什么？

利用关联模型可以解决上面俩问题：一是对用户进行商品推荐，即交叉销售问题；二是哪些商品在一起销售更好？即捆绑销售问题。

交叉销售：发现客户有多种需求，通过销售多种相关产品或服务的营销方式。

关联模型又叫购物篮分析，度量两个产品关联性的主要三个指标：支持度、可信度和提升度。

支持度；同时买A、B的人/总购买人数。

可信度：同时买A、B的人/购买A的人数。

提升度：可信度/购买B的人数。

5. 营销学中的两大定律：

二八定律：指企业应该关注重要的人和重要的事，即重点针对创造80%利润的20%的客户做营销。

长尾理论：不仅要关注处于传统需求曲线上的那个代表畅销品的头部，更要关注所谓冷销品的尾部，这就需要我们更深入地研究目标客户群体和个体之间的需求差异。

(五) Web数据挖掘

1. 三类Web挖掘：

内容挖掘：是从文档内容或其描述中抽取内容，主要包含文本挖掘（text、HTML、XML等格式）和多媒体挖掘（包括image、audio、video等媒体类型）。

Web链接结构挖掘：是从WWW的组织和链接结构中推导知识。

Web使用模式挖掘，是从Web的访问记录中抽取感兴趣的模块。

2. 数据挖掘的互联网的应用分类：垂直搜索、电子商务、社交网络

A. 垂直搜索，是针对某一个具体行业的专业搜索引擎，它是对搜索的细分和延伸，特点是更专、更精、具有特定行业的色彩。如去哪儿。

关键：如何准确定位用户搜索行为。解决途径：1、从查询入手，搜索引擎帮助用户更好的描述自己需要什么。2、从结果入手，搜索引擎从潜在的搜索结果中，总结出更通用性、更可能产生价值的结果优先提供给用户。

B. 电子商务的数据挖掘主要任务主要是在客户关系管理方面。

关键：1、需要准确地把握用户搜索query分析，其次根据用户行为投放广告。2、商品的推荐系统应用，它通过收集和分析用户信息来了解用户的兴趣和行为，进而实现主动推荐服务。

两种手段发现Web使用模式：路径分析、关联规则挖掘。

路径分析，可以发现Web站点最经常被访问的路径从而实现站点调整。

关联规则，用于事务数据库中关联知识的发现。

C. 社交网络：1、基于朋友之间强关系的，助于朋友之间关系的维系，如Fecebook、人人、QQ空间。2、基于单向关注弱关系的，利于塑造意见领袖和消息传播，如Twitter、微博。3、现象商务人士的职业社交，帮助用户利于社交关系进行商务交流和求职招聘，如LinkedIn。

分析社交数据让我们知道：

1、找到自己的客户，客户属于哪些社交平台、有什么人口特征（角色特征）、他们的购买倾向及使用倾向。

2、获得品牌和客服信息，品牌舆情分析的走势，自身品牌有效传播者。

3、知悉竞争对手在干什么，竞争对手的影响策略，你自己哪做的不好。

社交网络的数据挖掘的研究方面：

1、社交圈子的识别（以亲密度和兴趣为首要指标）

2、影响力的计算，基于主题级别的影响力评价模型。

3、用数据预测未来，如流感。

            社交预测为什么至今还不乐观？

1、基于海量数据，但目前对海量文本数据的分析算法尚未理想，原因在于“从文本信息来进行情绪判断”是个自然语言处理和情绪心理学的交叉问题。

 短链接？就是将长的URL网址、通过程序计算等方式，转化为简短的网址字符串。短链接在微博等

 实时信息平台更具优势：

1、提升品牌曝光率，让用户一眼知道链接出自哪里。

2、控制用户，基于上一点，用户同样也希望让好友知道自己分享的东西出自哪里。

3、整合并提高用户黏度。

4、完善自身提高可信度。