数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据集中识别有效的、新颖的、潜在有用的,以及最终可理解的模式的非平凡过程。它是一门涉及面很广的交叉学科,包括机器学习、数理统计、神经网络、数据库、模式识别、粗糙集、模糊数学等相关技术。数据挖掘可粗略地理解为三部曲:数据准备(data
preparation)、数据挖掘,以及结果的解释评估(interpretation and
evaluation)。
随着计算机、网络技术的发展,获得有关资料已经非常简单易行。但是对于数量大、涉及面宽的数据,依靠以往那种由简单汇总、按指定模式去分析的统计方法是无法完成这类数据的分析。因此,一种智能化的、综合应用各种统计分析、数据库、智能语言来分析庞大数据资料的技术就应运而生,这就是目前国际上统计最热门的话题“数据挖掘”(Data
Mining)技术
数据挖掘的历史虽然较短,但从20世纪90年代以来,它的发展速度很快,加之它是多学科综合的产物,目前还没有一个完整的定义,人们提出了多种数据挖掘的定义,例如:
SAS研究所(1997):“在大量相关数据基础之上进行数据探索和建立相关模型的先进方法”。
Bhavani(1999):“使用模式识别技术、统计和数学技术,在大量的数据中发现有意义的新关系、模式和趋势的过程”。
Hand et
al(2000):“数据挖掘就是在大型数据库中寻找有意义、有价值信息的过程”。
数据挖掘就是从海量的数据中挖掘出可能有潜在价值的信息的技术。这些信息是可能有潜在价值的,支持决策,可以为企业带来利益,
数据挖掘综合了各个学科技术,有很多的功能,当前的主要功能如下
1. 分类:按照分析对象的属性、特征,建立不同的组类来描述事物。
2. 聚类:识别出分析对内在的规则,按照这些规则把对象分成若干类。
3. 关联规则和序列模式的发现:关联是某种事物发生时其他事物会发生的这样一种联系。
4. 预测:把握分析对象发展的规律,对未来的趋势做出预见。
5. 偏差的检测:对分析对象的少数的、极端的特例的描述,揭示内在的原因。
需要注意的是:数据挖掘的各项功能不是独立存在的,在数据挖掘中互相联系,发挥作用。
数据挖掘的方法及工具
(1) 传统统计方法:①
抽样技术:我们面对的是大量的数据,对所有的数据进行分析是不可能的也是没有必要的,就要在理论的指导下进行合理的抽样。②
多元统计分析:因子分析,聚类分析等。③
统计预测方法,如回归分析,时间序列分析等。
(2)
可视化技术:用图表等方式把数据特征用直观地表述出来,如直方图等,这其中运用的许多描述统计的方法。可视化技术面对的一个难题是高维数据的可视化。
(3)
决策树:利用一系列规则划分,建立树状图,可用于分类和预测。常用的算法有CART、CHAID、ID3、C4.5、C5.0等。
(4)
神经网络:模拟人的神经元功能,经过输入层,隐藏层,输出层等,对数据进行调整,计算,最后得到结果,用于分类和回归。
(5)
遗传算法:基于自然进化理论,模拟基因联合、突变、选择等过程的一种优化技术。
(6)
关联规则挖掘算法:关联规则是描述数据之间存在关系的规则,形式为“A1∧A2∧…An→B1∧B2∧…Bn”。一般分为两个步骤:①
求出大数据项集。② 用大数据项集产生关联规则。
除了上述的常用方法外,还有粗集方法,模糊集合方法,Bayesian
Belief Netords ,最邻近算法(k-nearest neighbors
method(kNN))等。
由于数据挖掘一开始就是面向应用的,是为决策服务,而决策者又不一定具备太多的技术的知识,现许多公司和研究机构开发了一系列的工具用于数据挖掘,
数据挖掘的实施步骤:问题理解和提出 —> 数据准备 —> 数据整理
—> 建立模型 —> 评价和解释
网络游戏行业数据挖掘应用现状:
数据挖掘所要处理的问题,就是在庞大的数据库中找出有价值的隐藏事件,并且加以分析,获取有意义的信息,归纳出有用的结构,作为企业进行决策的依据。
网络游戏运营公司作为数字化虚拟文化产品运营,几乎每个部门都涉及到数据的收集和处理,面对庞大的原始数据,很多游戏公司无所适从,
如何建立一套适合于本企业应用的数据处理体系,是摆在决策层一个重大难题,行业中的领先代表企业建立了相关的体系,但行业中缺少运用数据挖掘的成功案例,数据是网络游戏的最大资源,同时也是最大的问题,面对海量的数据,总有不知如何下手的感觉,如何在不同部门,不同数据类型中找出其中有价值的关联,汇总分析得出对游戏市场运营管理有参考价值的结论。
尽管数据挖掘有如此多的优点,但当前数据挖掘也面临着许多的问题,
1. 数据挖掘的基本问题就在于数据的数量和维数,数据结构也因此显的非常复杂,如何进行探索,选择分析变量,也就成为首先要解决的问题。
2. 面对如此大的数据,现有的统计方法等都遇到了问题,我们直接的想法就是对数据进行抽样,那么怎么抽样,抽取多大的样本,又怎样评价抽样的效果,这些都是值得研究的难题。
3. 既然数据是海量的,那么数据中就会隐含一定的变化趋势,在数据挖掘中也要对这个趋势做应有的考虑和评价。
4. 各种不同的模型如何应用,其效果如何评价。不同的人对同样的数据进行挖掘,可能产生不同的结果,甚至差异很大,这就涉及到可靠性的问题。
5. 数据挖掘涉及到数据也就碰到了数据的私有性和安全性。
6. 数据挖掘的结果是不确定的,要和专业知识相结合才能对其做出判断。
数据挖掘只是一个工具,不是万能的,它可以发现一些潜在的用户,但是不会告诉你为什么,也不能保证这些潜在的用户成为现实。数据挖掘的成功要求对期望解决问题的领域有深刻的了解,理解数据,了解其过程,才能对数据挖掘的结果找出合理的解释。网络游戏市场运营对于数据的理解与感悟直接表现在市场行为方面,某些运营公司的创新与开拓性市场行为背后的数据理论支持值得同行业学习和借鉴。
下面简单介绍几种数据挖掘工具:
1.QUEST
QUEST是IBM公司Almaden研究中心开发的一个多任务数据挖掘系统,目的是为新一代决策支持系统的应用开发提供高效的数据开采基本构件。系统具有如下特点:
提供了专门在大型数据库上进行各种开采的功能:关联规则发现、序列模式发现、时间序列聚类、决策树分类、递增式主动开采等。
各种开采算法具有近似线性(O(n))计算复杂度,可适用于任意大小的数据库。
算法具有找全性,即能将所有满足指定类型的模式全部寻找出来。
为各种发现功能设计了相应的并行算法。
2.MineSet
MineSet是由SGI公司和美国Standford大学联合开发的多任务数据挖掘系统。MineSet集成多种数据挖掘算法和可视化工具,帮助用户直观地、实时地发掘、理解大量数据背后的知识。MineSet有如下特点:
MineSet以先进的可视化显示方法闻名于世。
支持多种关系数据库。可以直接从Oracle、Informix、Sybase的表读取数据,也可以通过SQL命令执行查询。
多种数据转换功能。在进行挖掘前,MineSet可以去除不必要的数据项,统计、集合、分组数据,转换数据类型,构造表达式由已有数据项生成新的数据项,对数据采样等。
操作简单、支持国际字符、可以直接发布到Web。
3.DBMiner
DBMiner是加拿大SimonFraser大学开发的一个多任务数据挖掘系统,它的前身是DBLearn。该系统设计的目的是把关系数据库和数据开采集成在一起,以面向属性的多级概念为基础发现各种知识。DBMiner系统具有如下特色:
能完成多种知识的发现:泛化规则、特性规则、关联规则、分类规则、演化知识、偏离知识等。
综合了多种数据开采技术:面向属性的归纳、统计分析、逐级深化发现多级规则、元规则引导发现等方法。
提出了一种交互式的类SQL语言——数据开采查询语言DMQL。
能与关系数据库平滑集成。