一、反爬虫原因

1、网络爬虫在短时间内发出大量要求，消耗大量服务器带宽，可能会影响正常用户的访问。

2、数据已经成为公司的核心资产。企业需要保护自己的核心数据，以维护或提高自己的核心竞争力，所以反爬虫非常重要。

二、反爬虫机制处理

（1）防止服务器长时间不响应-设定时间间隔(timeout)

（2）防止爬虫抓取过快-items类和时间设定。

（3）伪装成浏览器或反盗链

如果爬虫集中在某些地方，那么在我们的浏览网页环境中，最直接的结果就是网站拥挤。于我们这些网站的访问者来说，这也没什么好处。网页堵塞。站长面对过多的爬虫，必须采取一系列限制措施。

以上就是设置反爬虫机制的原因，过量的爬虫会影响到正常网页的使用，大家在爬取数据的时候需要注意到这点。在使用爬虫时结合代理ip是不错的选择，如果大家想测试使用下，可以尝试品易云http代理ip，免费测试包含各种类ip资源，无限调用IP量！更多常见问题解决：ip

（推荐操作系统：windows7系统、Python 3.9.1、DELL G3电脑。）

ITPub博客

为什么设置反爬虫机制