ITPub博客

首页 > IT职业 > IT职场 > 【芝麻IP代理】Python的五个数据项目,你知道吗?

【芝麻IP代理】Python的五个数据项目,你知道吗?

原创 IT职场 作者:芝麻小A 时间:2019-01-23 10:17:56 0 删除 编辑

【芝麻IP代理】大数据时代下,生活和数据息息相关,越来越多的行业和个人都需要大数据的帮助。这样的背景下,数据采集成为技术主流,但是大量的采集受到了各种限制,其中最为常见的就是IP受限,该如何解决代理IP的问题也成为一大问题。

一、数据清洗

数据科学家往往要耗费高达80%的时间来清理新项目的数据,这是数据科学团队最大的痛点。如果能告诉他们你拥有丰富的数据清理经验,你的价值马上就能体现出来了。现在,找一些需要清理的数据集,创建一个数据清洗项目,开始数据清理吧。

用Python的话,Pandas绝对是首选,如果用的是R,可以使用dplyr这个包。记得要表现出以下几项技能:

导入数据;

合并多个数据集;

检测缺失值;

检测异常值;

插入缺失值;

数据质量验证。

二、探索性数据分析

数据科学的另一项重要工作是探索性数据分析(EDA,Exploratory Data Analysis ),它是提出问题、使用可视化方法研究问题的过程。探索性数据分析可以让分析师通过数据得出结论,进而影响业务决策。这项工作可以是通过客户细分得出洞察结果,也可以是分析季节因素对销售趋势的影响。一般来说,探索性数据分析会带来一些让人意想不到的发现。

Python用户可以使用Pandas和Matplotlib(译注:强烈推荐国内用户使用PyEcharts,交互式的可视化图,非常好用!)这两个库进行探索性数据分析。R用户可以使用ggplot2这个包,也非常实用。

探索性数据分析这个项目要展示出如下几方面的技能:

能够提出探索性的问题;

能够识别趋势;

能够识别变量的共变性(covariation);

能够使用可视化(散点图、直方图,箱须图等)有效地沟通分析结果。

三、交互式数据可视化

     

交互式数据可视化包括使用Dashboard这样的工具。数据科学团队和终端业务用户都喜欢使用这些工具。数据科学团队可以使用Dashboard进行协作,一起开展数据分析工作。更重要的是,Dashboard为终端业务用户提供了交互式的工具,让他们把精力放在战略目标上,而不用关注过多的技术细节。很多时候,数据科学团队提交给用户的可交付成果都是以Dashboard这种形式体现的。

Python用户可以使用Bokeh和Plotly,这两个库都是编制Dashboard的利器。R用户则必选RStudio的Shiny包。

Dashboard的项目一定要突出以下这些重要的技能:

列出客户需求相关的指标;

提取有用的特征;

使用有逻辑的布局,比如易于浏览的“F模式”;

创建最优的刷新率;

生成报告或其它自动化的操作。

四、机器学习

机器学习项目是你的作品集里另一项非常重要的内容。

我建议从线性回归与逻辑斯蒂回归做起,和高管沟通时,解释这些模型也会相对容易一点。这个项目的重点应该是突出项目对业务的影响,比如客户流失、欺诈监测,或贷款拖欠这些内容。

机器学习项目是你的作品集里另一项非常重要的内容。

Python用户可以用 Scikit-learn这个机器学习库,R用户可以使用Caret这个包。机器学习项目要传达给读者你具有以下技能:

能够说明选择某个机器学习模型的原因;

能够避免过拟合,将数据分割为训练集与测试集(K折交叉验证);

能够选择正确的评估指标(AUC~Area Under Curve, 调整R方~Adj-R2, 混淆矩阵~confusion matrix);

能够开展特征工程与选择的能力;

能够进行超参数调优。

五、沟通

沟通对于数据科学的重要性比你想的要大得多,能否有效地沟通、交流数据分析结果是区分牛X数据科学家和普通数据科学家的标准。不管你做的模型多花哨,如果不能给同事或客户讲清楚,不能让他们理解,就没人会买你的账。幻灯片和笔记是超强大的沟通工具,你可以尝试把机器学习项目改造成幻灯片,还可以使用Jupyter Notebook或RMarkdown辅助沟通。

首先要搞清楚目标受众是谁,给公司高管做汇报和给机器学习专家做演讲完全是两码事儿。注意要突出以下这些能力:

搞清楚你的目标受众是谁;

展示可视化图;

幻灯片要清爽,不要塞进去太多信息;

陈述流程一定要流畅;

结合业务影响(比如减少成本、增加收入)说明分析结果。

使用Jupyter Notebook或RMarkdown文件记录项目,也可以使用免费的Github Pages将Markdown文件转化为静态网页。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31561243/viewspace-2564520/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-11-07

  • 博文量
    24
  • 访问量
    15711