数据分析师系统成长之路——数据挖掘篇

数据挖掘挖什么？

        前一篇我总结了一些软件的区别和选择。在数据分析的学习道路上，放正了心态（心术篇），扎实了基础（理论篇），熟练了工具（软件篇）后，无论是学术研究还是业务应用，基本可以独立地进行数据分析的工作了，而更多技能的提升需要在数据分析这个平台里不断的进行实战研究，不断提升对业务的敏锐分析，不断的精通对软件的创新演练。
      然而，有了这些还不够，数据分析只是在已定的假设，先验约束上处理原有计算方法，统计方法，将数据分析转化为信息，而这些信息需要进一步的获得认知，转化为有效的预测和决策，这时就需要数据挖掘，也就是我们数据分析师系统成长之路的“更上一楼”。

      数据挖掘与数据分析两者紧密相连，具有循环递归的关系，数据分析结果需要进一步进行数据挖掘才能指导决策，而数据挖掘进行价值评估的过程也需要调整先验约束而再次进行数据分析。
      而两者的具体区别在于：
（其实数据分析的范围广，包含了数据挖掘，在这里区别主要是指统计分析）

•数据量上：数据分析的数据量可能并不大，而数据挖掘的数据量极大。
•约束上：数据分析是从一个假设出发，需要自行建立方程或模型来与假设吻合，而数据挖掘不需要假设，可以自动建立方程。
•对象上：数据分析往往是针对数字化的数据，而数据挖掘能够采用不同类型的数据，比如声音，文本等。
•结果上：数据分析对结果进行解释，呈现出有效信息，数据挖掘的结果不容易解释，对信息进行价值评估，着眼于预测未来，并提出决策性建议。

数据分析是把数据变成信息的工具，数据挖掘是把信息变成认知的工具，如果我们想要从数据中提取一定的规律（即认知）往往需要数据分析和数据挖掘结合使用。

举个例子说明：你揣着50元去菜市场买菜，对于琳琅满目的鸡鸭鱼猪肉以及各类蔬菜，想荤素搭配，你逐一询问价格，不断进行统计分析，能各自买到多少肉，多少菜，大概能吃多久，心里得出一组信息，这就是数据分析。而关系到你做出选择的时候就需要对这些信息进行价值评估，根据自己的偏好，营养价值，科学的搭配，用餐时间计划，最有性价比的组合等等，对这些信息进行价值化分析，最终确定一个购买方案，这就是数据挖掘。
数据分析与数据挖掘的结合最终才能落地，将数据的有用性发挥到极致。

    关于数据挖掘，涉及的主要方法主要有：数据分析的方法、可视技术、关联法则、神经网络、决策树、遗传算法等。

    主要使用的工具有：R语言，SAS，weka，SPSS Modeler(Clementine)等，可参考几款开源的软件：http://www.iteye.com/news/4693