1、在RequestHeaders中设置User-Agent
在RequestHeaders中设置User-AgentquestHeaders中设置User-Agent，可以突破。
2、设置随机访问频率
遇到访问频率的限制，可以通过设定随机访问频率来突破。
3、代理IP或分布式爬虫
此外，如果对页面爬虫的效率有要求，则无法通过设定访问时间间隔来绕过频率检查，可采用代理IP或分布式爬虫：
代理IP访问可以解决这个问题。如果用100个代理IP访问100个页面，可以给网站造成100个人访问1页的错觉。这自然不会限制你的访问。
分布式爬虫将部署在多个服务器上，每个服务器上的爬虫将从一个地方获取网站。这样，每个服务器平均访问网站的频率就会降低。由于服务器掌握在我们手中，爬虫将更加稳定和高效。
4、在协议中声明权利
网站所有者必须在网站协议或用户协议中声明允许正常浏览、访问和获取数据。对于异常、高频和威胁网站服务器稳定性的行为，将保留进一步处理的权利。
以上就是反爬虫的方法，可以有效的解决短时间内大量爬虫访问网站的情况，学会的小伙伴也可以尝试这方面的使用。当然爬虫也是有着获取数据的优点，在使用爬虫时结合代理ip是不错的选择，如果大家想测试使用下，可以尝试品易云http代理ip，免费测试包含各种类ip资源，无限调用IP量！更多常见问题解决：ip
（推荐操作系统：windows7系统、Python 3.9.1、DELL G3电脑。）
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/4019/viewspace-2829690/ ，如需转载，请注明出处，否则将追究法律责任。
