ITPub博客

zone目前就职于深圳某大厂，涉及方向为Python、产品。公众号主要分享Python、算法、产品、小程序、爬虫、数据分析、后端、赚钱等相关知识，聊技术也聊人生。期待你的关注，共同进步！个人小程序「编程面试题库」，知乎：「zone7」

2020 年元旦，蚂蚁金服在其元旦微博中提到，支付宝在 2019 年一共新增了 4 亿代码。 近日，腾讯发布了《2019 年腾讯研发大数据报告》，其中披露了 2019 年鹅厂在产品及技术研发方面的重要数据。

今天分享一下悉尼大学硕士小姐姐的经验，看她对大公司和小公司的一些看法？2018年，花光了80万留学经费的我回国了。年少轻狂啊，觉得自己海归名校硕士啊，虽然大环境不好，但是找个工作还不简单？

最近《都挺好》真的挺火。火到什么程度？微博热搜霸榜，办公室评弹声四起，大强轻松攻占表情包，甚至连N年不追剧的瘦宅们也开始沉迷其中，大呼真香。

在拿到一份数据准备做挖掘建模之前，首先需要进行初步的数据探索性分析（你愿意花十分钟系统了解数据分析方法吗？），对数据探索性分析之后要先进行一系列的数据预处理步骤。因为拿到的原始数据存在不完整、不一致、有异常的数据，而这些“错误”数据会严重影响到数据挖掘建模的执行效率甚至导致挖掘结果出现偏差，因此首先要数据清洗。数据清洗完成之后接着进行或者同时进行数据集成、转换、归一化等一系列处理，该过程就是数据预处理。一方面是提高数据的质量，另一方面可以让数据更好的适应特定的挖掘模型，在实际工作中该部分的内容可能会占整个工作的70%甚至更多。

如果你现在想模拟登陆知乎，会发现 fromdata 是一串加密的字符串，看了之后是不是很痛苦？你是不是就想使用 selenium 来模拟登陆？不过好像知乎对 selenium 也进行了相应的反爬处理，哈哈。但是我不也想用 selenium，效率太慢了，直接破解 js 才是我最喜欢挑战的。好，我现在教你如何用 js 硬撸破解,废话不多说，直接进入正题。

Pandas是一个开源的Python数据分析库，结合 NumPy 和 Matplotlib 类库，可以在内存中进行高性能的数据清洗、转换、分析及可视化工作。

很早之前发过一篇关于某拼车平台爬虫的文章，因为工作比较忙，一直没有下文。最近年底稍微空了些，加上碰上春节返乡大潮，刚好再拿过来写一下数据分析的思路。

大家好，这几天偶尔陪朋友玩玩吃鸡，每次都是信心满满跳伞，然后两分钟就结束游戏，还得忍受某人的一脸嫌弃，一次两次可能是点背，经常落地成盒，可能就需要科学来解释了

爬过豆瓣的同学应该都有过这样的经历，一开始爬取的过程挺正常的，但爬着爬着就不能获取到数据了。这是因为豆瓣对IP作了限制，如果短时间内来自同一个IP的请求太多，就会禁止来自这个IP的访问，我们的爬虫也就无法继续获取到数据了。

之前写了《scrapy遇上ajax，抓取QQ音乐周杰伦专辑与歌词（6）》这篇文章，其中有些参数，如果不查看其 JS 代码，是无法知道它是怎么来的。说到这里，我们来看看啥是反爬虫？某度如是说：

mitmproxy 是一款工具，也可以说是 python 的一个包，在命令行操作的工具。MITM 即中间人攻击（Man-in-the-middle attack）

感谢关注，本公众号涉及的知识点将会有：Python爬虫、Python数据分析、nodejs、docker，kubernetes，后端架构等。后台回复【资源】，获取海量视频学习资源。

2019年第一个开源小项目：玩转统计代码量，0.导语，1.项目功能，2.你会学到，3.如何使用，4.结果展示

pk 哥在元旦前写了一篇关于自动化抢票的程序 用Python抢火车票加邮件通知，同时建了一个火车票助力群，本来只是写着玩玩，增加抢票的另一种途径而已。没想到短短几天，群里加了将近 150 名小伙伴，这也预示春节的火车票真是一票难求啊。pk 哥写这个程序的初衷是因为去年我的返程票是通过手动不停的刷新点击抢到的，我想着能不能通过程序自动化去刷新并点击抢票，所以就有了这个 Python 抢票程序。

Kying，西二旗程序单身汪一枚。从事智慧旅游、数据挖掘。新晋python 小白，希望与志同道合者一起煮酒论英雄，数据森麟公众号（ID:shujusenlin）特邀作者。

爬虫过程中的反爬措施非常重要，其中设置随机 User-Agent 是一项重要的反爬措施，Scrapy 中设置随机 UA 的方式有很多种，有的复杂有的简单，本文就对这些方法进行汇总，提供一种只需要一行代码的设置方式。

我们在抓取数据的过程中，除了要抓取文本数据之外，当然也会有抓取图片的需求。那我们的 scrapy 能爬取图片吗？答案是，当然的。说来惭愧，我也是上个月才知道，在 zone7 粉丝群中，有群友问 scrapy 怎么爬取图片数据？后来搜索了一下才知道。现在总结一下分享出来。

为什么要学 scrapy 呢？看下图中的招聘要求，就清楚了。很多招聘要求都有 scrapy，主要是因为 scrapy 确实很强。那到底强在哪里呢？请在文中找答案。