1.1 数据挖掘简介

数据挖掘是适应信息社会从海量数据中提取信息的需要而产生的新学科。它是统计学、机器学习、数据库、模式识别、人工智能等学科的交叉，在各行各业的决策支持活动中扮演着越来越重要的角色。

1.1.1 数据、信息和知识

人们在长期的社会生活和实践过程中总结了许多的经验和教训，这些内容对于人们更深层次地了解事物的发展规律有着重要的指导意义。因此人们将生活和实践的经历以及在这些经历中产生的经验和教训以各种形式记录下来，如以文本的形式、音频的形式、视频的形式等。在广义上，把这些记录下来的内容称为数据。
通过对数据进行分析，找出数据之间所隐含的关系，赋予数据以某种意义和关联，就形成了更深层次的信息。
对这些信息进行再加工，即进行更深入的归纳分析，可获得更有用的、能够作为判断、决策和行动依据的信息，这就是知识。

图1.1显示了人们从客观世界中获取知识、又依靠知识继续认识世界的循环过程。

面对海量的数据，人们往往束手无策，逐渐陷入到“丰富的数据”和“贫乏的知识”这个尴尬的境地中。如何从大量的数据中提取知识，是人们目前面临的一个挑战。
多年来，数据统计方法以及人工智能和知识工程等领域的研究成果，诸如推理、机器学习、知识获取、模糊理论、神经网络、模式识别、粗糙集理论、支持向量机理论等诸多研究分支，为开发对数据进行深度分析的工具提供了坚实而丰富的理论和技术基础。数据挖掘理论与技术应运而生。

1.1.2 数据挖掘的定义

数据挖掘可以描述为：按既定决策目标，对大量的数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效的方法。

1.2 数据挖掘过程

就数据挖掘的流程来看，一个数据挖掘过程究竟应该包含哪些基本的步骤，并没有一个统一的、通用的过程模型。这方面的过程模型较多，比较权威的有SPSS的5A法，即访问（Access）、分析（Analyze）、评估（Assess）、行动（Action）、自动化（Automate）；SAS的SEMMA法，即抽样（Sample）、探索（Explore）、建模（Model）、修正（Modify）、评估（Assess）。
目前，数据挖掘领域最权威的过程模型是CRISP-DM模型，它是目前事实上最权威的行业标准。CRISP-DM（Cross-Industry Standard Process for Data Mining），即“跨行业数据挖掘过程标准”。
 CRISP-DM模型定义了6个阶段，分别是：商业理解（Business Understanding）、数据理解（Data Understanding）、数据准备（Data Preparation）、建立模型（Modeling）、模型评估（Evaluation）、结果部署（Deployment）。
CRISP-DM模型如图1.2所示。

CRISP-DM模型为一个KDD工程提供了一个完整的过程描述。一个数据挖掘项目的生命周期包括6个阶段。这6个阶段的顺序是不固定的，经常需要前后调整这些阶段，这依赖每个阶段或是阶段中特定任务的产出物是否是下一个阶段必需的输入。图1.2中箭头指出了最重要的和依赖度高的阶段关系。
图1.2的外圈象征数据挖掘自身的循环本质——在一个解决方案发布之后一个数据挖掘的过程才可以继续。在这个过程中得到的知识可以触发新的过程，经常是更聚焦的商业问题。后续的过程可以从前一个过程得到益处。
需要注意的是，CRISP-DM模型的6个步骤并非完全按照特定的顺序来执行。在应用中，应该针对不同的应用环境和实际情况做出必要的调整。例如，数据准备通常在建模之前进行，但在建模阶段所做的决策以及所收集的信息通常又会给人们一些反馈，并引导人们重新考虑数据准备阶段的部分，如此一来可能会出现新的建模问题。这两个阶段互相反馈，直到两个阶段都得以充分解决。与之相似，评估过程可能会引导人们重新评估最初的商业理解，这时，可能会修正此前的商业理解，并制定一个更好的目标，然后重新进行该过程的其余部分。
另外，一个数据挖掘项目通常并不是一次性地执行了CRISP-DM的6个步骤就结束了，它往往是一个反复迭代，不断完善的过程。从一个数据挖掘循环获得的知识几乎无所例外地会导致新的问题、新的争论以及新的机会来识别和满足客户的需求。这些新问题、新争论和新机会通常可以通过再次挖掘数据得以解决。这个挖掘和识别新机会的过程不仅应该成为人们考虑业务的方式的组成部分，还应该成为整个业务策略的基石。

1.3 数据挖掘方法

数据挖掘所涉及的学科领域和方法很多，目前比较成熟且应用广泛的方法主要有分类方法、聚类方法、关联规则分析、异常检测、预测方法等。

1.3.1 分类方法

分类（Classification）是一种数据分析形势，它可以用来抽取能够描述重要数据集合的模型。分类方法用于预测数据对象的离散类别（Categorical Label）。例如，根据一个客户的“年龄”、“性别”、“职业”、“收入情况”等属性的取值，来判定该客户“信用等级”的取值是“优”、“良”或者“差”，这就是一个典型的分类问题。

1.3.2 聚类分析

聚类分析是根据“物以类聚”的道理，对样本进行分类的一种多元统计分析方法，其处理的对象是大量的样本，要求能合理地按各自的特性来进行合理的分类，没有任何模式可供参考和指导，即是在没有先验知识的情况下进行的。
聚类是将数据划分到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。聚类分析之后所得到的类或者簇在事先是不知道的，这也是聚类和分类之间的主要区别，即分类是先验知识指导的，而聚类没有先验知识的指导。

1.3.3 关联规则分析

关联规则挖掘是由Kakesh Apwal等人首先提出的。两个或两个以上变量的取值之间存在某种规律性，就称为关联。数据关联是数据库中存在的一类重要的、可被发现的知识。关联分为简单关联、时序关联和因果关联。把寻找到的关联用指定的规则方式表达出来，就形成了关联规则，一般用支持度和置信度两个域值来度量关联规则的相关性，还不断引入兴趣度、相关性等参数，使得所挖掘的规则更符合需求。
通俗地说，对于一个关联型数据表而言，关联规则分析就是要找到潜藏在数据集中属性之间的关系。关联规则分析是一种无监督学习，既没有先验知识指导下的分析方法。
“啤酒与尿布”是我们耳熟能详的故事，这就是一个经典的关联规则分析过程。通过对超市购物数据集的挖掘，发现年轻的父亲在给自己的婴儿购买尿布时会捎带着为自己购买几罐啤酒，这一规则使得超市可以将尿布和啤酒的货架放在一起，或者将两者捆绑销售。正因为如此，关联规则分析有时也被称为“购物篮分析”。显然，关联规则分析并不仅仅限于购物篮分析。

1.3.4 异常检测

异常是在数据集中与众不同的数据，使人怀疑这些数据并非随机偏差，而是产生于完全不同的机制。他的行为与正常的行为有显著的不同。异常检测和分析是数据挖掘中一个重要的方面，也是一个非常有意义的挖掘课题。它用来发现“小的模式”，即数据集中显著不同于其他数据的对象。异常检测具有广泛的应用，如电信和信用卡欺骗、贷款审批、药物研究、医疗分析、消费者行为分析、气象预报、金融领域客户分类、网络入侵检测等。
异常检测的方法大致可以分为4类：基于统计（statistical-based）的方法、基于距离（distance-based）的方法、基于偏差（deviation-based）的方法、基于密度（density-based）的方法。
1.3.5 预测方法

预测就是根据历史数据和当前数据来推测出未来数据的一种挖掘方法。和分类一样，预测也是一种有指导的学习过程。不同的是，分类用于处理离散型数据，而预测用于分析连续型数据。从这个意义上来讲，很多数据挖掘方法都可以划归到预测中，例如回归分析、神经网络、时间序列分析等。
回归分析（Regression Analysis）是确定两个或两个以上变量间相互依赖的定量关系的一种统计分析方法，应用十分广泛。
神经网络是依据人类大脑信息处理的特点，进行分布式并行信息处理的数学模型。
时间序列分析是根据系统观测得到的时间序列数据，通过曲线拟合和参数估计来建立数学模型的理论和方法。1.4 数据挖掘工具及软件

古人云：“工欲善其事，必先利其器”，说的是要想把工作完成，做的完善，应该先把工具准备好。数据挖掘所处理的往往是海量的数据集，没有高效的挖掘工具和软件是难以实现的。
数据挖掘工具根据其适用的范围可分为专用挖掘工具和通用挖掘工具。
专用数据挖掘工具是针对某个特定领域的问题提供解决方案，在涉及算法的时候充分考虑了数据、需求的特殊性，并作了优化。对任何领域，都可以开发特定的数据挖掘工具。
通用数据挖掘不区分具体数据的含义，采用通用的挖掘算法，处理常见的数据类型。
下面介绍几款优秀的通用数据挖掘工具软件。
1. QUEST
2. MineSet
3. DBMiner
4. Intelligent Miner
5. SAS Enterprise Miner
6. SPSS Clementine

1.4.1 QUEST

QUEST是IBM公司Almaden研究中心开发的一个多任务数据挖掘系统，目的是为新一代决策支持系统的应用开发提供高效的数据挖掘基本构件。

1.4.2 MineSet

MineSet是由SGI公司和美国Standford大学联合开发的多任务数据挖掘系统。MineSet集成多种数据挖掘算法和可视化工具，帮助用户直观地、实时地发掘、理解大量数据背后的知识。

1.4.3 DBMiner

DBMiner是加拿大SimonFraser大学开发的一个多任务数据挖掘系统，它的前身是DBLearn。该系统设计的目的是把关系数据和数据开采挖掘集成在一起，以面向属性的多级概念为基础发现各种知识。

1.4.4 Intelligent Miner

由美国IBM公司开发的数据挖掘软件Intelligent Miner是一种分别面向数据库和文本信息进行数据挖掘的软件系列，它包括Intelligent Miner for Data和Intelligent Miner for Text。

1.4.5 SAS Enterprise Miner

这是一种在我国的企业中得到采用的数据挖掘工具，比较典型的包括上海宝钢配矿系统应用和铁路部门在春运客运研究中的应用。SAS Enterprise Miner是一种通用的数据挖掘工具，按照“抽样-探索-转换-建模-评估”的方法进行数据挖掘。可以与SAS数据仓库和OLAP集成，实现从提出数据、抓住数据到得到解答的“端到端”知识发现。

1.4.6 SPSS Clementine

SPSS Clementine是一个开放式数据挖掘工具，曾两次获得英国政府SMART创新奖，它不但支持整个数据挖掘流程，从数据获取、转化、建模、评估到最终部署的全部过程，还支持数据挖掘的行业标准——CRISP-DM。Clementine的可视化数据挖掘使得“思路”分析成为可能，即将精力集中在要解决的问题本身，而不是局限于完成一些技术性工作。提供了多种图形化技术，有助理解数据间的关键性联系，指导用户以最便捷的途径找到问题的最终解决办法。