1、分布式爬虫。我们爬虫的时候可以采用分布式的方法，有一定几率起到反爬虫的作用，也可以增加抓取量。
2、保存cookies。当模拟登陆比较麻烦时，可以直接在网上登陆取下cookie并保存下来，然后带上cookie做爬虫，但是这不是一个长期的方法，cookie可能会在一段时间内失效。
3、多个帐号反爬虫。许多网站会根据一个帐号在一定时间内访问的频率来判断是否是机器人。这样可以测试单个账户的固定时间值，然后在即将到达时间时切换高匿名IP，如IPIDEA等循环抓取。
4、模仿真实用户行为。爬虫程序毕竟是一种程序，是机器人，和真实用户的访问还是有区别的，所以很多时候爬虫程序被封，很大程度上是因为被爬的服务器识别了爬虫程序，想要模拟真实用户的访问过程，首先要改变的是访问频率和间隔时间，延长访问时间的间隔，并将访问时间设置为随机数字，这样可以提高爬虫的成功率，其次是访问页面的顺序，可以设置为随机模式，想要正常运行爬虫程序，还需要对爬虫程序的代码等进行一些简单的修改，比如请求头或UserAgent经常更换，或者根据实际需要稍作调整，当然这些都需要根据实际情况来操作，总之，就是要让被访服务器认为这是正常用户的正常访问过程，就不会有太大问题。
以上就是使用代理ip遇到反爬虫的解决方法，虽然我们有代理ip的辅助，但是遇到反爬虫的网站，也是需要采取一些破解的办法的。在使用爬虫时建议结合代理ip，如果大家想测试使用下，可以尝试品易云http代理ip，免费测试包含各种类ip资源，无限调用IP量！更多常见问题解决：ip
推荐操作环境：windows7系统、Python 3.9.1，DELL G3电脑。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/357/viewspace-2829639/ ，如需转载，请注明出处，否则将追究法律责任。
