ITPub博客

首页 > 数据库 > 数据库开发技术 > 知识众筹第10期:如何利用Python爬取数据 | 开始分红报名

知识众筹第10期:如何利用Python爬取数据 | 开始分红报名

原创 数据库开发技术 作者:猴子数据分析 时间:2017-12-14 21:00:00 0 删除 编辑


什么是知识众筹?投资者选择自己看好的知识分享项目,并与知识分享者一起享受项目分红。


本期项目邀请了猴子数据分析社群会员、擅长Python爬虫的 唐亦六安。

网络爬虫,通俗点讲,就是从网页获取你想要的数据。房地产人员可能会想得到房价数据,运营人员可能想得到竞争对手数据,数据分析新手发愁没有数据练手。第三方数据获取平台又太贵,想要获取数据怎么这么难呢?

 

于是你上网查了下,发现一个叫Python的东东可以做到从网页爬取数据,也就是所谓的“爬虫”。


 然而你发现自己需要学习的东西太多太多: http中的post,get,API,各类反爬机制,ip代理池,selenium,管道函数等等。

 

可自己又不是专业的爬虫工程师,该怎么办呢?

 

任何爬虫相关的书或者网课都是层层深入,可这些知识是大而全的,可能对于获取数据会告诉你四五种方式,自己造轮子或者调框架,解析函数用beautifulsoup4,request,xpath,css等五花八门的方法。最后你发现,换个网站你还是不会。

 

如果你想成为一名专业的爬虫工程师,不好意思,没有捷径可走,请从造轮子学起,踏踏实实学习爬虫的每个知识点。如果你只是想利用python获取数据,其实完全可以通过调用更改代码模板来获取数据。这个”模板”就是Python的scrapy框架。

 

 我是唐亦六安,猴子数据分析社群成员,本科统计专业,善于调用Python的scrapy框架获取数据。成功爬取过豆瓣、房天下等网站数据,在知乎写数据分析相关实践笔记,5周时间内知乎文章收藏量破2K,个人页面浏览量破万,本次分享我将分享自己是如何从零学会数据分析的,并讲述自己如何调用Python中scrapy框架获取想要的数据。


分享内容包括以下4部分:

第1部分:我是如何从零学会数据分析的?


第2步部分:什么是爬虫?如何利用Python爬取数据?

别人口中的“网络爬虫”究竟是什么?为什么那么多人都在用爬虫?


第3部分:Python scrapy框架安装及基础知识讲解

不造轮子,直接从调用scrapy框架说起,包括scrapy安装及组件介绍,xpath语法讲解,如何将数据存储到本地,遇到问题如何进行调试等

 

第4部分:新手爬数据常见的坑及解决方案

遇见不让爬的网站如何做?xpath解析数据为空怎么办?文件乱码怎么解决?等常见问题都会讲解。

 

第4部分:项目实战 -大众点评美食数据获取

最后通过实战项目带你轻轻松松完成一次爬数据之旅

 

本次分享适合的人群:

  • 不知道如何获取数据的数据爱好者

  • Python零基础但想直接调用代码模板获取数据的上班族

  • 不想”造轮子,想直接从scrapy框架学习爬数据的大学生或在职人员

  • 在scrapy学习中不知道如何进行调试的初学者


知识众筹项目参与规则非常简单:


1. 凯文凯利在新书中说“现在最缺乏的不是答案,而是好的问题”,为了能有效帮助到你,在下面留言框留言一个与“数据分析”相关的问题,留言点赞数前5名自动成为本期项目投资人(截止时间2018年1月13日 20:00)


2. 本期付费知识课程结束后,投资人会被邀请进入股东群,进入分红阶段:投资人与知识分享者按课程净收入的二八分成(5位投资人平分其中的二)。


原文作者:猴子数据分析;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2017-01-16

  • 博文量
    865
  • 访问量
    345458