ITPub博客

首页 > IT职业 > IT职场 > 数据分析的三大组成部分

数据分析的三大组成部分

IT职场 作者:bluetooth 时间:2021-09-11 10:36:44 0 删除 编辑

数据分析由三大重要部分组成:

1.数据采集。它是我们的原材料,因为任何分析都是需要数据源;

2.数据挖掘。它可以说是最“高大上”的部分,也是整个商业价值所在。数据挖掘的核心是挖掘数据的商业价值,也就是我们所谈的商业智能BI

3.数据可视化。它可以说是数据领域中万金油的技能,可以让我们直观的了解到分析数据的结果。 

下面总结详解这三大部分的内容:

一、数据采集

采集工具:八爪鱼,自动抓取的神器,它可以帮你抓取 99% 的页面源。

python爬虫:可编写,采集,存储数据,以及自动化采集设计。

1562142492662652.png

相关推荐:《Python视频教程》

二、数据挖掘

它可以说是知识型的工程,相当于整个专栏中的“算法”部分。首先要知道他的基本流程,算法,以及底层的数学基础。

基本流程:商业理解,数据理解,数据准备,模型建立,模型评估,上线发布。

算法:分类算法,聚类算法,关联分析,连接分析。

数学基础:概率论和数据统计,线性代数,图论,最优化方法。

1562142504133415.png

三、数据可视化

当数据量大的时候很难理解,可视化可以帮我们很好地理解这些数据的结构,以及分析结果的视觉呈现。

数据可视化有两种方法(并不是全部):

1.python第三方库:Matplotlib,Seaborn等

2.第三方工具:如果生成了csv格式文件,想要采用所见即得的方式进行呈现,可以采用微图,DataV,Data GIF Maker等第三方工具。

 1562142521865999.png

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/3402/viewspace-2837270/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-07-11

  • 博文量
    280
  • 访问量
    20974