首页 > 大数据 > 数据挖掘 > 数据挖掘与分析新手入门指导
本文面向数据挖掘新手,对数据挖掘理论知识、数据库、常用数据挖掘工具、数据挖掘技术发展潮流等各个方面介绍数据挖掘进行介绍,同时给数据挖掘的新手推荐本网站课程的对应视频,令数据挖掘的门外汉等领略到数据挖掘的奥妙,成为一名专业的“矿工”。
一、数据挖掘概念与技术入门
做数据挖掘前我们首先要明确什么叫数据挖掘,它与数据分析的本质区别是数据挖掘是在没有明确假设的条件下去挖掘信息,发现知识;然后我们要知道,成为一名数据挖掘工程师需要了解机器学习、统计学、数据库等理论知识;同时要熟悉数据挖掘的几个工作内容,包括预处理、分类、聚类、关联分析和离群点分析;最后,我们要了解目前的数据挖掘技术的应用与发展趋势。
为了能让初学者尽快了解以上数据挖掘的完整体系理论,我们推荐你观看以下视频,同时推荐大家可以阅读《数据挖掘导论》一书。
二、数据库与数据仓库
数据挖掘的数据主要有两个来源,一个是数据库,一个是数据仓库。数据库与数据仓库
本质上是一样的,但后者对于决策分析处理却有更大的优势,能减少我们在数据挖掘前期对数据预处理所付出的时间和代价。
三、常用数据挖掘工具介绍
目前数据挖掘软件包括商业挖掘软件和开源的软件。前者普遍因为操作简单,支持多种数据格式,对于特定商业用途有针对性,因此普遍受到企业或决策者的青睐;后者因为其使用免费,源代码开源,能直接对数据挖掘的算法进行研发、改进和二次开发,受学生及科研人员的欢迎。本文针对目前比较主流的两种数据挖掘商业软件进行介绍:
SPSS一款集成式的软件包,将数据录入、整理、分析功能集于一身,其中Clementine模块专用于数据挖掘。该模块集成了丰富的数据挖掘模型和算法,操作容易,挖掘流程模块化,图形化界面友好,非技术人才也很容易上手,对于所建立的模型能提供不同的评估准则
SAS也是一个专业的数据分析软件,它由数十个专用模块构成,功能包括数据访问、数据储存及管理、应用开发、图形处理、数据分析等等。SAS Enterprise Miner是SAS软件里一个用于数据挖掘的模块,它除了有Clementine以上的优点之外,比其还更有优势:SAS EM
四、海量数据挖掘
传统的数据库管理系统通过单一的超级电脑来存储、处理数据不仅对硬件要求高,成
本高,而且对于大数据的处理显得力不从心。因此,对于海量数据的分析、处理,业界开始使用分布式系统,采用计算机网络技术把一组或大量普通计算机统一起来,每台计算机之间采用节点进行通信。当用户要面对海量数据进行分析处理时,分布式系统能将数据分别存储到不同的计算机上,并能使不同的计算机同时作业,提高运行的效率,减少内存的占用。
Hadoop
五、数据分析软件介绍
除了上面介绍的SAS和SPSS软件外,我们在此也简单介绍一下两款分析软件:R语言
和Matlab。R语言是一门比较简单的编程语言,可直接调用大量的数学计算函数和统计函数,实现数据处理和数据分析多项功能,另外还有大量R语言写的数据挖掘算法包可以直接用于数据挖掘。Matlab作为传统的数学工具软件,其强大的运算能力在图像处理、通信信号、电力工程等行业的得到广泛使用。Matlab中能直接使用的数据挖掘算法较少,因此行业内使用其做数据挖掘工具的较少。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/12479306/viewspace-1118849/ ,如需转载,请注明出处,否则将追究法律责任。