ITPub博客

Kying，西二旗程序单身汪一枚。从事智慧旅游、数据挖掘。新晋python 小白，希望与志同道合者一起煮酒论英雄，数据森麟公众号（ID:shujusenlin）特邀作者。

爬虫过程中的反爬措施非常重要，其中设置随机 User-Agent 是一项重要的反爬措施，Scrapy 中设置随机 UA 的方式有很多种，有的复杂有的简单，本文就对这些方法进行汇总，提供一种只需要一行代码的设置方式。

我们在抓取数据的过程中，除了要抓取文本数据之外，当然也会有抓取图片的需求。那我们的 scrapy 能爬取图片吗？答案是，当然的。说来惭愧，我也是上个月才知道，在 zone7 粉丝群中，有群友问 scrapy 怎么爬取图片数据？后来搜索了一下才知道。现在总结一下分享出来。

为什么要学 scrapy 呢？看下图中的招聘要求，就清楚了。很多招聘要求都有 scrapy，主要是因为 scrapy 确实很强。那到底强在哪里呢？请在文中找答案。