1、放慢爬取的速度
减少对目标网站的压力，但会减少单位时间爬行量。
2、伪装cookies
如果你能从浏览器中正常访问一个页面，你可以复制浏览器中的cookies使用。
3、伪装User-Agent
将User-Agent设置为浏览器中的User-Agent，以伪造浏览器访问。
4、使用高匿名代理
要突破网站的反爬虫机制，需要使用代理IP，通过更换IP的方式行多次访问。使用多线程，还需要大量的IP，并使用高匿名代理，否则会被目标网站检测到你使用了代理IP，并透露出你的真实IP，这样肯定会封IP。假如使用高匿名代理就不一样了，对方也没发现。
5、多线程采集
收集数据时，我们都想尽快收集更多的数据，否则一个接一个地收集大量的工作太费时了。比如几秒钟收集一次，一分钟可以收集10次左右，一天可以收集1万多页。如果是小网站，但是大网站上千万的网页呢？按照这个速度收集需要很多时间。建议采集大量的数据，可以使用多线程，可以同步完成多个任务，每个线程采集不同的任务，提高采集数量。
以上就是使用爬虫防止代理ip被封的方法，常见的降低爬取速度等方面都是不错的选择。在采集数据被封时，可以就这些解决办法进行尝试。如果大家想测试使用下，可以尝试品易http代理ip，免费测试包含各种类ip资源，无限调用IP量！更多常见问题解决：ip
本文教程操作环境：windows7系统、Python 3.9.1，DELL G3电脑。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/615/viewspace-2829603/ ，如需转载，请注明出处，否则将追究法律责任。
