ITPub博客

首页 > 大数据 > 数据挖掘 > 零星概念记录 KDD&CRISP-DM

零星概念记录 KDD&CRISP-DM

数据挖掘 作者:maneryan 时间:2014-12-25 10:42:42 0 删除 编辑
知识发现(KDD:Knowledge Discovery in Databases)
KDD是从数据集中识别出有效的、新颖的、潜在有用的,以及最终可理解的模式的非平凡过程。知识发现将信息变为知识,从数据矿山中找到蕴藏的知识金块,将为知识创新和知识经济的发展作出贡献。

数据库知识发现(knowledse discovery in databases,KDD)的研究非常活跃。该术语于1989年出现,Fayyad定义为"KDD"是从数据集中识别出有效的、新颖的、潜在有用的,以及最终可理解的模式的非平凡过程”。在上面的定义中,涉及几个需要进一步解释的概念:“数据集”、“模式”、“过程”、“有效性”、“新颖性”、“潜在有用性”和“最终可理解性”。数据集是一组事实F(如关系数据库中的记录)。模式是一个用语言L来表示的一个表达式E,它可用来描述数据集F的某个子集凡上作为一个模式要求它比对数据子集FE的枚举要简单(所用的描述信息量要少)。过程在KDD中通常指多阶段的处理,涉及数据准备、模式搜索、知识评价以及反复的修改求精;该过程要求是非平凡的,意思是要有一定程度的智能性、自动性(仅仅给出所有数据的总和不能算作是一个发现过程)。有效性是指发现的模式对于新的数据仍保持有一定的可信度。新颖性要求发现的模式应该是新的。潜在有用性是指发现的知识将来有实际效用,如用于决策支持系统里可提高经济效益。最终可理解性要求发现的模式能被用户理解,目前它主要是体现在简洁性上。有效性、新颖性、潜在有用性和最终可理解性综合在一起称为兴趣性。

由于知识发现是一门受到来自各种不同领域的研究者关注的交叉性学科,因此导致了很多不同的术语名称。除了KDD外,主要还有如下若干种称法:“数据挖掘”(data mining),“知识抽取”(information extraction)、“信息发现”(in1ormation discovery)、“智能数据分析”(intelligent data analysis)、“探索式数据分析”(exploratory data analysis)、“信息收获”(Information harvesting)和“数据考古”(data archedogy)等等。其中,最常用的术语是“知识发现”和“数据挖掘”。相对来讲,数据挖掘主要流行于统计界(最早出现于统计文献中)、数据分析、数据库和管理信息系统界;而知识发现则主要流行于人工智能和机器学习界。

------------------------------------------------------
CRISP-DM (cross-industry standard process for data mining), 即为"跨行业数据挖掘过程标准". 此KDD过程模型于1999年欧盟机构联合起草. 通过近几年的发展,CRISP-DM 模型在各种KDD过程模型中占据领先位置,采用量达到近60%.(数据引自Cios and Kurgan于2005年合著的论文trands in data mining and knowledge discovery中 )

CRISP-DM过程描述

  CRISP-DM 模型为一个KDD工程提供了一个完整的过程描述.该模型将一个KDD工程分为6个不同的,但顺序并非完全不变的阶段.
1: business understanding: 即商业理解. 在第一个阶段我们必须从商业的角度上面了解项目的要求和最终目的是什么. 并将这些目的与数据挖掘的定义以及结果结合起来.
2.data understanding: 数据的理解以及收集,对可用的数据进行评估.
3: data preperation: 数据的准备,对可用的原始数据进行一系列的组织以及清洗,使之达到建模需求.
4:modeling: 即应用数据挖掘工具建立模型.
5:evaluation: 对建立的模型进行评估,重点具体考虑得出的结果是否符合第一步的商业目的.
6: deployment: 部署,即将其发现的结果以及过程组织成为可读文本形式.(数据挖掘报告)

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/26344835/viewspace-1379469/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 测试oracle sqlldr
请登录后发表评论 登录
全部评论

注册时间:2014-09-22

  • 博文量
    6
  • 访问量
    10696