假如是多次频繁爬取的机器人，那么属于你机器的唯一身份ip地址将被对方封禁，你将无法访问该网站。那该怎么办？
常用的措施有：
1、放慢抓取速度，减少对目标网站的压力，但会减少单位时间抓取量。
2、对于这种措施，最有效的方法就是不用自己的ip直接访问，而是用虚拟的代理身份访问。一旦被封，只需要换ip，不会干扰我的正常使用。
而且对python爬虫来说，有时候业务量很大，分布式爬虫是提高效率的最佳途径，而分布式爬虫又急需大量的IP资源，这点免费IP是无法满足的，所以对于免费代理，真的不用考虑了。
以上就是反爬虫遇到困难的解决，推荐大家使用品易http代理ip，千万ip资源百兆带宽，保证爬虫数据传输安全。提供高匿稳定代理ip服务，方便快捷获取网站数据，流量免费测试正在进行！更多常见问题解决：ip
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/1679/viewspace-2828668/ ，如需转载，请注明出处，否则将追究法律责任。
下一篇：
什么是隧道代理技术？
请登录后发表评论
登录
全部评论
